🤖 AI

AdaRank: Adaptive Rank Pruning for Enhanced Model Merging

يُعد AdaRank إطار عمل مبتكر لدمج النماذج يقوم بتقليم المكونات المفردة الضارة لمتجهات المهام بشكل تكيفي أثناء وقت الاختبار عبر تقليل الإنتروبيا للتخفيف من التداخل بين المهام وتحقيق أداء رائد عبر مختلف الهياكل الأساسية وتكوينات المهام.

المؤلفون الأصليون: Chanhyuk Lee, Jiho Choi, Chanryeol Lee, Donggyun Kim, Seunghoon Hong

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chanhyuk Lee, Jiho Choi, Chanryeol Lee, Donggyun Kim, Seunghoon Hong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فريقاً من الطهاة المتخصصين. أحدهم خبير في المعكرونة الإيطالية، والآخر خبير في السوشي، والثالث عبقري في الحلويات. لقد أمضى كل واحد منهم سنوات في إتقان حرفته.

الآن، تخيل أنك تريد افتتاح مطعم يقدم هذه المطابخ الثلاثة ببراعة، ولكن ليس لديك سوى مطبخ واحد ورئيس طهاة واحد لإدارته. لا يمكنك استئجار ثلاثة طهاة منفصلين (لأن ذلك مكلف ويستهلك مساحة كبيرة). لذا، تحاول دمج معرفتهم في شخص واحد.

المشكلة: "تضارب الأساليب"

في عالم الذكاء الاصطناوي، يسمى هذا دمج النماذج (Model Merging). نحن نأخذ ثلاثة نماذج ذكاء اصطناعي (الطهاة) ونحاول دمج "أوزانهم" (معرفتهم) في نموذج واحد.

الطريقة القديمة للقيام بذلك كانت تشبه طلب من الطهاة أن يقوموا ببساطة بـ متوسط وصفاتهم.

الشيف (أ) يقول: "ضع 10 أكواب من الدقيق في المعكرونة."
الشيف (ب) يقول: "ضع كوبين من الدقيق في السوشي."
المتوسط: "ضع 6 أكواب من الدقيق في كل شيء."

النتيجة: المعكرونة جافة، والسوشي عبارة عن كتلة دقيقية فوضوية. تتداخل النماذج مع بعضها البعض، فيصاب الذكاء الاصطناعي بالارتباك، وينخفض الأداء.

الحل السابق: "قاعدة الـ 10% الأعلى"

أدرك الباحثون أنه بدلاً من متوسط كل شيء، يجب عليهم النظر في "مكونات" المعرفة. استخدموا أداة رياضية تسمى SVD (تحليل القيم المفردة) لتفكيك المعرفة إلى طبقات من الأهمية.

قرروا الاحتفاظ فقط بـ أهم 10% من المكونات (قاعدة "Top-K") ورمي الباقي، آملين في تقليل الضجيج.

العيب: هذه مثل كتاب قواعد صارم يقول: "احتفظ دائماً بأهم 10% من المكونات لكل طبق".

المشكلة 1: أحياناً يكون "المكون الأكثر أهمية" لطاهي المعكرونة (مثل توابل معينة) سيئاً للغاية لطاهي السوشي. الاحتفاظ به يسبب تضارباً في النكهات.
المشكلة 2: بعض الأطباق بسيطة (مثل الأرز السادة) وتحتاج فقط إلى عدد قليل من المكونات. بينما أطباق أخرى معقدة (مثل كعكة متعددة الطبقات) وتحتاج إلى الكثير من المكونات. قاعدة "الـ 10% الثابتة" تعامل الطبق البسيط والكعكة المعقدة بنفس الطريقة تماماً، وهذا غير فعال.

الحل: AdaRank (مساعد الشيف الذكي)

يقترح مؤلفو هذه الورقة البحثية AdaRank. تخيل أن AdaRank هو مساعد شيف ذكي ومتكيف لا يتبع كتاب قواعد صارم، بل يتذوق الطعام ويعدل الوصفة في الوقت الفعلي. بدلاً من ذلك، هو لا يتبع قاعدة جامدة، بل يتذوق الطعام ويعدل الوصفة في الوقت الفعلي.

إليك كيف يعمل AdaRank، باستخدام تشبيه المطبخ الخاص بنا:

1. "القناع الثنائي" (مفتاح المكونات)

بدلاً من مجرد الاحتفاظ بـ "أفضل 10%" من المكونات، يعطي AdaRank الشيف مفتاحاً لكل مكون على حدة.

المفتاح يعمل (ON): احتفظ بهذا المكون.
المفتاح لا يعمل (OFF): ارمِ هذا المكون بعيداً.

الأمر الجوهس هو أن الشيف يمكنه أن يقرر إيقاف تشغيل (OFF) مكون "عالي الرتبة" إذا كان يسبب تضارباً، وتشغيل (ON) مكون "منخفض الرتبة" (أقل وضوحاً) إذا كان يساعد طبقاً معيناً. الأمر لا يتعلق بالترتيب؛ بل بما ينجح بالفعل.

2. "التكيف وقت الاختبار" (جلسة التذوق)

كيف يعرف الشيف أي المفاتيح يجب أن يقلب؟ إنه لا يملك كتاب الوصفات (بيانات التدريب) بعد الآن. بدلاً من ذلك، يستخدم التكيف وقت الاختبار (Test-Time Adaptation).

تخيل أن الشيف على وشك تقديم الطعام للزبائن (بيانات الاختبار). هو لا يعرف أسماء الزبائن، لكن يمكنه رؤية ما إذا كان الزبائن يبدون سعداء أو غير سعداء.

يجرب الشيف مزيجاً من المكونات.
إذا بدا الزبائن مرتبكين (ارتفاع "الاعتلاج" أو عدم اليقين)، يعرف الشيف: "عذراً، هذا المكون يسبب تضارباً".
يقوم الشيف بقلب مفتاح، فيزيل المكون السيئ، أو يضيف مكوناً مفقوداً.
يكرر العملية حتى يبتسم الزبائن (انخفاض الاعتلاج).

يحدث هذا تلقائياً وفورياً قبل استخدام النموذج في المهام الفعلية.

لماذا يعد هذا أمراً هاماً؟

إنه مرن: يدرك أن مهمة "المعكرونة" تحتاج إلى مجموعة مختلفة من المكونات عن مهمة "السوشي". إنه لا يفرض حلاً واحداً يناسب الجميع.
إنه فعال: لا يحتاج إلى ثلاثة مطابخ منفصلة (ثلاثة نماذج منفصلة). إنه يضع كل شيء في مطبخ واحد، ولكن المطبخ الآن منظم بشكل مثالي لكل طبق.
إنه أذكى: من خلال النظر إلى النتيجة الفعلية (رد فعل الزبائن) بدلاً من قاعدة محددة مسبقاً (أفضل 10%)، فإنه يتجنب "التضاربات" التي تفسد الوجبة.

الخلاصة

AdaRank يشبه الترقية من شيف آلي صارم يتبع القواعد إلى شيف ماهر متكيف وحساس للمذاق. إنه ينظر إلى الاحتياجات المحددة لكل مهمة، ويقوم بتقليم المكونات التي تسبب المشاكل، ويحتفظ بتلك التي تساعد، مما ينتج عنه نموذج ذكاء اصطناعي واحد يكاد يكون بجودة وجود ثلاثة خبراء منفصلين، ولكن دون التكلفة أو المساحة الإضافية.

في تجارب الورقة البحثية، جعلت هذه الطريقة النماذج المدمجة للذكاء الاصطناعي تؤدي بشكل أفضل بكثير، مما قلص الفجوة بين النموذج "المدمج" والنموذج الفردي "المدرب بشكل مثالي"، وكل ذلك باستخدام نفس القدر من ذاكرة الكمبيوتر.

إليك ملخص تقني مفصل لورقة البحث بعنوان "AdaRank: Adaptive Rank Pruning for Enhanced Model Merging" (AdaRank: تقليم الرتب التكيفي لتعزيز دمج النماذج).

1. بيان المشكلة

يهدف دمج النماذج (Model merging) إلى دمج نماذج متعددة تم ضبطها بدقة بشكل مستقل في إطار عمل موحد واحد لتمكين التعلم متعدد المهام بكفاءة دون الحاجة لإعادة التدريب. وبينما يعد "حساب مهام الجمع" (Task Arithmetic) (وهو المتوسط البسيط لأوزان متجهات المهام) معياراً أساسياً، إلا أنه يعاني من التداخل بين المهام (inter-task interference)، حيث يؤدي إضافة المعرفة لمهمة واحدة إلى تدهور الأداء في المهام الأخرى.

تستخدم الحلول الحديثة تحليل القيم المفردة (SVD) لتقليص متجهات المهام إلى فضاء فرعي منخفض الرتبة (الاحتفاظ بأعلى $k$ من المكونات المفردة فقط)، بافتراض أن هذا يقلل من التداخل. ومع ذلك، حدد المؤلفون قصورين حرجين في الطرق القائمة على SVD:

الاختيار غير الأمثل لـ Top- $k$ : المكونات المفردة العليا (التي تمتلك أكبر القيم المفردة)، رغم أنها الأفضل لإعادة بناء مهمة واحدة، غالباً ما تتسبب في تداخل كبير بين المهام عند دمجها مع مهام أخرى. يمكنها إضعاف أداء المهام غير المتشابهة بشكل أكبر مما تفيد المهمة المستهدفة.
عدم مرونة الرتبة الثابتة: تفرض الطرق الحالية رتبة ثابتة ( $k$ ) عبر جميع المهام وجميع الطبقات. ومع ذلك، فإن التعقيد الجوهري (الرتبة الجوهرية) لمتجهات المهام يختلف بشكل كبير اعتماداً على صعوبة المهمة والطبقة المحددة (على سبيل الله مثال: الطبقات المبكرة تلتقط ميزات مشتركة تتطلب رتبة عالية، بينما الطبقات اللاحقة تكون خاصة بالمهمة). الرتبة $k$ الثابتة إما أن تتخلص من معلومات حاسمة للمهام المعقدة أو تحتفظ بمكونات ضوضائية متداخلة للمهام الأبسط.

2. المنهجية: AdaRank

يقترح المؤلفون AdaRank (تقليم الرتب التكيفي)، وهو إطار عمل يستبدل قواعد "top- $k$ الهيورستية" (الاستدلالية) باختيار ديناميكي للمكونات المفردة مدفوع بالبيانات.

الآلية الأساسية

القناع الثنائي (Binary Masking): بدلاً من الاحتفاظ بأعلى $k$ $k$ من المكونات، يقدم AdaRank قناعاً ثنائياً قابلاً للتعلم $B \in \{0, 1\}$ $B \in {0, 1}$ لكل مكون مفرد لكل متجه مهمة في كل طبقة.
- $B_{ir} = 1$ : الحفاظ على المكون المفرد رقم $r$ للمهمة $i$ .
- $B_{ir} = 0$ : تقليم (إزالة) المكون.
الفضاء الفرعي المرن: يسمح هذا للنموذج باختيار أي مزيج من المكونات المفردة، وليس فقط المكونات العليا. وهذا يمكّن النموذج من تقليم المكونات ذات القيمة العالية التي تسبب التداخل والحفاظ على المكونات ذات القيمة المنخفضة التي تكون مفيدة.

التحسين عبر التكيف وقت الاختبار (TTA)

بما أن النموذج المدمج لا يملك الوصول إلى تسميات (labels) الحقيقة الأرضية أثناء مرحلة الدمج، يقوم AdaRank بتحسين الأقنعة الثنائية باستخدام تقليل إنتروبيا شانون (Shannon Entropy Minimization) على بيانات اختبار غير معلمة.

الهدف: تقليل مجموع الإنتروبيا للمخرجات عبر جميع المهام:
$\arg\min_{B} \sum_{i=1}^{T} \sum_{x_i \in D_i} H(f(\theta(B), x_i))$
الإنتروبيا الأقل تعني ثقة أعلى في التنبؤات، وهو ما يرتبط بتقليل التداخل بين المهام.
خوارزمية التحسين: يتم تحسين الأقنعة الثنائية باستخدام المقدر المباشر (Straight-Through Estimator - STE).
- التمرير الأمامي (Forward Pass): تمرير معاملات القناع المستمرة عبر دالة سيجمويد (sigmoid) وتقريبها إلى $\{0, 1\}$ .
- التمرير الخلفي (Backward Pass): تتدفق التدرجات عبر المعاملات المستمرة لتحديث اختيار القناع.

3. المساهمات الرئيسية

التحليل التجريبي لقصور SVD: تقدم الورقة أدلة تجريبية صارمة على أن:
- المكونات المفردة العليا غالباً ما تسبب زيادة صافية في خسارة المهام المتعددة بسبب التداخل مع المهام غير المتشابهة.
- الرتب الجوهرية تختلف بشكل واسع عبر المهام والطبقات، مما يجعل تقليص الرتبة الثابتة غير أمثل.
إطار عمل تقليم الرتب التكيفي: يعد AdaRank أول طريقة تختار ديناميكياً المكونات المفردة لكل مهمة ولكل طبقة باستخدام أقنعة ثنائية قابلة للتعلم، مما ينشئ فعلياً فضاءً فرعياً "مخصصاً" لكل متجه مهمة.
التحسين غير الخاضع للإشراف: نجح في استخدام تقليل الإنتروبيا على بيانات غير معلمة لتوجيه اختيار المكونات المفيدة، متجنباً الحاجة إلى بيانات اختبار معلمة أو إعادة التدريب.
الكفاءة: على عكس الطرق القائمة على الموجه (Router-based) (مثل MoErging) التي تخزن معاملات منفصلة لكل مهمة، ينتج AdaRank نموذجاً مدمجاً واحداً بنفس حجم النموذج الذي تم ضبطه بدقة، ولا يتطلب أي تخزين إضافي لمعاملات خاصة بكل مهمة.

4. النتائج التجريبية

قيم المؤلفون AdaRank على نماذج خلفية متنوعة (ViT-B/32, ViT-L/14 للرؤية؛ RoBERTa, GPT-2 لمعالجة اللغات الطبيعية) عبر 8، 14، و20 مهمة.

مكاسب الأداء:
- الرؤية (Vision): يتفوق AdaRank بشكل كبير على الطرق الثابتة (Task Arithmetic, TIES-Merging) والطرق التكيفية (AdaMerging). على سبيل المثال، في ViT-B/32 مع 8 مهام، حقق CART+AdaRank دقة بنسبة 89.2%، متفوقاً على أفضل معيار ثابت (TSV-M بنسبة 83.8%) وأفضل معيار تكيفي (AdaMerging بنسبة 80.1%).
- معالجة اللغات الطبيعية (NLP): لوحظت تحسينات مماثلة في اختبارات GLUE، حيث قلل AdaRank باستمرار الفجوة بين النماذج المدمجة والنماذج التي تم ضبطها بدقة بشكل فردي.
المقارنة مع الطرق القائمة على الموجه (Router-Based):
- تتوسع الطرق القائمة على الموجه (مثل Twin-Merging, WEMoE) خطياً مع عدد المهام، وتتطلب معاملات أكثر بكثير (تصل إلى 10 أضعاف لـ 20 مهمة).
- يحافظ AdaRank على حجم نموذج ثابت (1x) مع تحقيق أداء مماثل أو متفوق، خاصة مع زيادة عدد المهام.
دراسات الاستئصال (Ablation Studies):
- المكونات الدنيا (Bottom Components): يختار الأسلوب بشكل متكرر مكونات خارج نطاق top- $k$ (بما في ذلك المكونات الدنيا)، مما يؤكد أن تقليص الرتبة المنخفضة وحده غير كافٍ.
- الرتب التكيفية: تطابق الرتب المتعلمة عن كثب الرتبة الجوهرية للبيانات، مما يؤكد قدرة الطريقة على التكيف.
- كفاءة البيانات: يظل AdaRank قوياً حتى مع توفر 1% فقط من بيانات الاختبار لعملية TTA، متفوقاً على المعايير التي تدربت على 100% من البيانات.

5. الأهمية

يمثل AdaRank تحولاً في النموذج الفكري لدمج النماذج من خلال الانتقال من التقليص الاستدلالي الثابت إلى الاختيار التكيفي المدفوع بالبيانات.

الرؤية النظرية: يتحدى الافتراض القائل بأن "القيم المفردة الأكبر = الأفضل"، موضحاً أنه في إعدادات المهام المتعددة، فإن اتجاه المكون بالنسبة لمشهد الخسارة (loss landscape) أهم من مقدار قيمته.
الأثر العملي: يقدم حلاً عالي الكفاءة لنشر النماذج متعددة المهام في البيئات محدودة الموارد. من خلال إلغاء الحاجة إلى معاملات خاصة بكل مهمة (على عكس MoE القائم على الموجه) وتجنب انخفاض الأداء الناتج عن المتوسط الساذج، يتيح AdaRank استدلالاً متعدد المهام عالي الأداء وموجزاً باستخدام نموذج واحد مدمج.
القدرة على التعميم: الطريقة مستقلة عن النموذج والمجال (model-agnostic and modality-agnostic)، حيث تعمل بفعالية عبر نماذج Vision Transformers، وCNNs، والنماذج اللغوية (سواء كانت ثنائية الاتجاه أو توليدية).