Resolving Interference (RI): Disentangling Models for Improved Model Merging

إليك ملخص تقني مفصل لورقة البحث بعنوان "حل التداخل (RI): فك الارتباط بين النماذج لتحسين دمج النماذج".

1. بيان المشكلة

تتضمن عملية دمج النماذج (Model Merging) دمج المعلمات من عدة نماذج "خبراء" تم تدريبها بشكل مستقل (كل منها متخصص في مهمة محددة) في نموذج موحد واحد. وبينما توفر هذه العملية طريقة فعالة من حيث التكلفة لإنشاء نماذج متعددة المهام، إلا أنها تعاني غالبًا من التداخل عبر المهام (Cross-Task Interference).

• المشكلة الجوهرية: عند دمج النماذج المدربة على مهام متميزة، يمكن للميزات التي تعلمتها أن تتعارض. على سبيل المثال، قد تؤدي المعلمات المحسنة للتمييز بين سلالات الكلاب إلى الكتابة فوق أو تشويه الميزات الضرورية لسلالات القطط.
• النتيجة: يتسبب هذا التداخل في انحراف تمثيلات مخرجات النموذج المدمج بعيدًا عن تمثيلات الخبراء المكونين له، مما يؤدي إلى تدهور كبير في الأداء على المهام الفردية.
• قصور الحلول الحالية:
  • الطرق الخالية من التدرج (Gradient-free methods) (مثل متوسط الأوزان وTIES) تعمل دون استخدام بيانات، مما يحد من قدرتها على فهم كيفية تفاعل المعلمات مع المدخلات.
  • الطرق القائمة على التدرج (Gradient-based methods) تتطلب غالبًا الوصول إلى بيانات التدريب الخاصة بكل مهمة، والتي غالبًا ما تكون غير متوفرة بسبب قيود الخصوصية أو ندرة البيانات.
  • الطرق القائمة على التوجيه (Routing-based methods) تضيف أعباءً على السعة وتكاليف الاستدلال.
• الفجوة: هناك حاجة إلى استراتيجية تكيف خفيفة الوزن وقائمة على التدرج تقلل من التداخل دون الحاجة إلى بيانات خاصة بالمهمة ودون زيادة تكلفة الاستدلال.

2. المنهجية: حل التداخل (RI)

يقترح المؤلفون إطار عمل حل التداخل (RI)، وهو إطار تكيف خفيف الوزن يقوم بفك ارتباط نماذج الخبراء قبل دمجها.

أ. التعريف الرسمي للتداخل

يعرف البحث التداخل عبر المهام ($\xi$) رسميًا بأنه الانحراف بين تمثيلات مخرجات النموذج المدمج ونماذج الخبراء الأصلية عند تقييمها على مهامها الخاصة:
$$\xi = \sum_{i} \mathbb{E}_x [\text{dist}(h_i(f(x|\theta_i)), h_i(f(x|\theta_m))]$$
حيث $\theta_i$ هو الخبير، و $\theta_m$ هو النموذج المدمج، و $h_i$ هو رأس المهمة، و $\text{dist}$ هو مقياس المسافة (مثل تباعد KL). يضمن تقليل $\xi$ احتفاظ النموذج المدمج بالقدرات الخاصة بمكوناته.

ب. إطار عمل RI

بدلاً من الدمج أولاً ثم الإصلاح، يقوم RI بتكييف كل نموذج خبير بشكل فردي ليكون متعامدًا وظيفيًا (functionally orthogonal) مع المهام الأخرى قبل عملية الدمج.

1. هدف الحفاظ على المهمة (Task-Preservation Objective): يجب أن يحافظ متجه المهمة المكيف $\tau^*_i$ على مخرجات الخبير الأصلي $i$ في مهمته الخاصة.
2. هدف تقليل التداخل (Interference-Reduction Objective): يجب أن يكون لمتجه المهمة المكيف $\tau^*_i$ تأثير صفري على مخرات جميع رؤوس المهام الأخرى ($j \neq i$).
3. قيد البيانات: من الأهمية بمكان أن يتم هذا التكيف باستخدام بيانات مساعدة غير مصنفة ($D_{aux}$) بدلاً من البيانات الخاصة بالمهمة. الافتراض هو أن فرض التعامد على البيانات العامة ينتقل إلى توزيعات المهام المحددة.

ج. دالة التحسين (Optimization Loss)

تقوم الطريقة بتحسين دالة خسارة مركبة ($L_{RI}$) لكل خبير $i$:
$$L_{RI} = L_1 + \frac{\alpha}{N-1} L_2$$

• $L_1$ (الحفاظ على المهمة): يقلل المسافة بين مخرجات الخبير الأصلي ومخرجات الخبير المكيف على $D_{aux}$ باستخدام رأس المهمة المحدد $h_i$.
• $L_2$ (تقليل التداخل): يقلل المسافة بين مخرجات الخبير المكيف ومخرجات النموذج الأساسي مسبق التدريب (pretrained backbone) على $D_{aux}$ عند تمريرها عبر رؤوس المهام الأخرى $h_j$.
• $\alpha$: معامل لضبط التوازن بين الهدفين (القيمة الافتراضية هي 1).

د. سير العمل (الخوارزمية 1)

1. تهيئة المتجهات المكيفة $\tau^*_i$ من متجهات المهام الأصلية $\tau_i$.
2. أخذ عينات من بيانات غير مصنفة من $D_{aux}$.
3. حساب $L_1$ و $L_2$ وتحديث $\tau^*_i$ عبر التدرج المنحدر (gradient descent).
4. التكرار حتى التقارب (عادةً 2,500 خطوة).
5. دمج المتجهات المكيفة $\{\tau^*_1, ..., \tau^*_N\}$ باستخدام تقنيات دمج قياسية (مثل Task Arithmetic أو TIES).

3. المساهمات الرئيسية

1. صياغة التداخل: تقديم مقياس كمي ($\xi$) لقياس التداخل عبر المهام، مما يوفر تشخيصًا مبدئيًا لجودة الدمج.
2. إطار عمل RI: اقتراح استراتيجية تكيف مبتكرة وخفيفة الوزن تقوم بفك ارتباط نماذج الخبراء إلى فضاءات وظيفية منفصلة باستخدام بيانات مساعدة غير مصنفة فقط.
3. كفاءة البيانات: إثبات إمكانية إجراء دمج عالي الجودة دون الوصول إلى بيانات التدريب الخاصة بالمهمة المملوكة أو النادرة.
4. المتانة: إظهار أن النماذج المدمجة باستخدام RI أقل حساسية لضبط المعلمات الفائقة (hyperparameters) للدمج مقارنة بالطرق القياسية.

4. النتائج التجريبية

قام المؤلفون بتقييم RI على مشفرات الرؤية CLIP (ViT-B/32, ViT-B/16, ViT-L/14) عبر 8 و 14 و 20 مهمة تصنيف رؤية، بالإضافة إلى اختبارات الأداء خارج النطاق (OOD).

• الأداء داخل النطاق (In-Domain Performance):
  • حسن RI باستمرار طرق الدمج ذات الحالة الراهنة (SOTA).
  • المكاسب: تحسن يصل إلى 3.8% في متوسط الدقة مقارنة بطرق الدمج الأساسية (مثل TSV-M, Iso-CTS).
  • كانت التحسينات المحددة ملحوظة في Task Arithmetic (تحسن بنسبة 9.6%) وفي TIES.
• التعميم خارج النطاق (OOD Generalization):
  • تم الاختبار على معيار DomainNet (6 مجالات).
  • حسن RI القدرة على التعميم للمجالات غير المرئية بنسبة تصل إلى 2.3% مقارنة بالدمج القياسي.
  • يشير هذا إلى أن تقليل التداخل يسهل الانتقال الإيجابي للتمثيلات المشتركة.
• دراسات الاستئصال (Ablation Studies):
  • مقياس المسافة: وُجد أن تباعد KL (KL-Divergence) هو الأكثر فعالية لدالة الخسارة.
  • البيانات المساعدة: يعمل RI مع مصادر بيانات متنوعة (ضوضاء اصطناعية، ImageNet، MSCOCO). بينما تحقق البيانات الخاصة بالمهمة أفضل النتائج (Oracle)، فإن التنوع البصري العام في البيانات المساعدة كافٍ لتحقيق مكاسب كبيرة.
  • حساسية المعلمات الفائقة: أظهرت النماذج التي تم تكييفها باستخدام RI تباينًا في الأداء بنسبة 0.4% عند ضبط المعلمات الفائقة مقابل القيم الافتراضية، مقارنة بـ 1.8% للنماذج غير المكيفة. يشير هذا إلى أن RI يخلق مشهد تحسين أكثر استقرارًا وسلاسة.
  • القابلية للتوسع: الطريقة فعالة حاسوبيًا (نمو تحت خطي مع عدد المهام) وتتطلب استخدامًا ثابتًا للذاكرة (~4.8 جيجابايت من ذاكرة VRAM لنموذج ViT-B/32).

5. الأهمية

تعالج هذه الورقة عقبة حرجة في دمقرطة الذكاء الاصطناعي متعدد المهام: عدم القدرة على دمج النماذج دون الوصول إلى بيانات تدريبها الأصلية.

• الأثر العملي: يتيح RI إنشاء نماذج متعددة المهام قوية وعالية الأداء في البيئات شحيحة البيانات أو المقيدة بالخصوصية (مثل التصوير الطبي، أو بيانات الشركات المملوكة).
• الرؤية النظرية: يثبت أن "فك ارتباط" الخبراء إلى فضاءات وظيفية متعامدة هو استراتيجية قابلة للتطبيق للتخفيف من صراعات المعلمات، مما يقدم منظورًا جديدًا يتجاوز مجرد متوسط الأوزان أو التقليم البسيط.
• الكفاءة: بما أن RI خفيف الوزن ولا يتطلب أي سعة استدلال إضافية، فهو يعد تحسينًا عمليًا يمكن دمجه مباشرة في خطوط أنابيب دمج النماذج الحالية.