ملخص تقني: عندما تضر المعرفة المشتركة: التراكم الطيفي المفرط في دمج النماذج

1. بيان المشكلة

يعمل دمج النماذج على الجمع بين عدة نماذج تم ضبطها بدقة (fine-tuned) في نموذج موحد واحد من خلال العمل مباشرة في فضاء الأوزان، مما يوفر بديلاً خفيف الوزن لإعادة التدريب. وبينما تركز الطرق الحالية بشكل أساسست على حل النزاعات بين تحديثات المهام (على سبيل المثال، عبر القناع أو التقليم)، فإنها غالباً ما تغفل عن نمط فشل محدد وهو: التراكم الطيفي المفرط (Spectral Over-Accumulation).

حدد المؤلفون أنه عندما تتشارك مهام متعددة في اتجاهات طيفية متوافقة (أي متجهات مفردة متداخلة)، فإن الجمع الخطي البسيط لمصفوفات المهام يؤدي إلى تجميع هذه المكونات المشتركة بشكل متكرر. تؤدي هذه الظاهرة إلى:

• تضخم القيم المفردة (Singular-value inflation): تصبح القيم المفردة المقابلة للفضاءات الفرعية المشتركة كبيرة بشكل غير متناسب.
• الاختلال الطيفي (Spectral imbalance): يصبح النموذج المدمج مهيمناً من قبل عدد قليل من الفضاءات الفرعية الطيفية العليا التي تحتوي على المعرفة المشتركة، بينما يتم كبح المكونات الخاصة بالمهام في الفضاءات الفرعية المتبقية.
• تدهور الأداء (Performance degradation): خلافاً للحدس بأن المعرفة المشتركة مفيدة، فإن الإفراط في عدّها (over-counting) يؤدي إلى تحيز النموذج وتقليل الأداء في معايير الرؤية واللغة اللاحقة.

2. المنهجية: معايرة القيم المفردة (SVC)

لمعالجة التراكم الطيفي المفرط دون الحاجة إلى بيانات إضافية أو تدريب أو تحسين، يقترح المؤلفون معايرة القيم المفردة (Singular Value Calibration - SVC)، وهي طريقة معالجة لاحقة.

الأساس النظري

تعتمد الطريقة على تحليل إسقاط مساحة المخرجات. من خلال تفكيك مصفوفة المهمة المدمجة $\Delta W_{merge}$ عبر تفكيك القيم المفردة (SVD)، يحدد المؤلفون أساساً لمخرجات مشتركة $\{u_r\}$. يقومون بإسقاط مصفوفات المهام الفردية على هذا الأساس لقياس مدى مساهمة كل مهمة في فضاءات فرعية طيفية محددة.

• معامل الإسقاط ($s_i^r$): يقيس هذا المقياس حجم توسع استجابة المهمة $i$ في الفضاء الفرعي $r$ بعد الدمج. إذا كان $s_i^r > 1$، فهذا يشير إلى أن التحديث المدمج قد ضخم اتجاه المهمة $i$ بسبب التراكم البناء من المهام الأخرى (الإفراط في العد الطيفي).
• آلية التضخم (Inflation Mechanism): توضح الورقة أن نواتج الضرب الداخلي الإيجابية بين المهام في مساحة المخرجات تؤدي إلى $s_i^r > 1$، مما يجعل القيمة المفردة المدمجة $\sigma_r$ تتجاوز المقدار الأمثل للإسقاط المطلوب للحفاظ على قدرات المهام الفردية.

خطوات الخوارزمية

1. بناء الأساس (Basis Construction): حساب SVD لمصفوفة المهمة المدمجة $\Delta W_{merge} = U\Sigma V^\top$ للحصول على المتجهات المفردة اليسرى $\{u_r\}$ كنظام إحداثي مشترك.
2. تكميم التداخل (Overlap Quantification): لكل فضاء فرعي $r$ ومهمة $i$، يتم حساب معامل الإسקط $s_i^r = \frac{\langle a_{merge}^r, a_i^r \rangle}{\|a_i^r\|_2^2}$، حيث تمثل $a^r$ الاستجابة على طول $u_r$.
3. عامل المعايرة (Calibration Factor): تجميع هذه المعاملات عبر المهام لاشتقاق عامل معايرة $\gamma_r$ لكل فضاء فرعي. تم تصميم هذا العامل لتقليل وزن الفضاءات الفرعية التي تظهر عدّاً مفرطاً قوياً (حيث تكون قيم $s_i^r$ كبيرة).
   • $\gamma_r = K / \sum_{i=1}^K \max(\alpha, s_i^r)$، حيث $\alpha$ هو معلم فائق (افتراضياً $1/K$) لمنع عدم الاستقرار.
4. إعادة القياس (Rescaling): تعديل القيم المفردة مع الحفاظ على المتجهات المفردة (الاتجاهات) ثابتة: $\tilde{\sigma}_r = \gamma_r \sigma_r$.
5. إعادة البناء (Reconstruction): إعادة بناء المصفوفة المدمجة المعايرة $\tilde{\Delta W}_{merge} = \sum \tilde{\sigma}_r u_r v_r^\top$ وتحديث الأوزان سابقة التدريب.

3. المساهمات الرئيسية

• تحديد الإفراط في العد الطيفي (Identification of Spectral Over-Counting): تعزل الورقة نمط فشل محدد في دمج النماذج حيث يؤدي التجميع الزائد للمكونات المشتركة إلى تضخم القيم المفردة في الفضاءات المهيمنة، وهو أمر مختلف عن صراعات الأوزان التقليدية.
• طريقة SVC: تقنية معالجة لاحقة خالية من التدريب والبيانات، تقوم بتكميم تداخل مساحة المخرجات وإعادة قياس القيم المفردة لاستعادة التوازن الطيفي. تعمل كنموذج (module) قابل للتركيب متوافق مع أسس الدمج الحالية.
• التحقق النظري والتجريبي: يقدم المؤلفون تحليلاً نظرياً يربط عدم تطابق الإسقاط بتضخم القيمة المفردة، ويوضحون أن هذه الظاهرة تستمر عبر استراتيجيات دمج متنوعة (مثل Task Arithmetic، TIES، DARE).

4. النتائج التجريبية

قيم المؤلفون طريقة SVC على معايير متنوعة باستخدام نماذج الرؤية (ViT-B/32, ViT-B/16, ViT-L/14) واللغة (BERT, T5, LLaMA2-7B, T0).

• الرؤية الحاسوبية (CV): في معيار تصنيف مكون من 8 مهام، حسنت SVC خط الأساس حساب المهام (Task Arithmetic - TA) بنسبة 13.0% (من 68.9% إلى 81.9% متوسط الدقة). كما حققت مكاسب ثابتة على خطوط الأساس القوية الأخرى مثل TIES و DARE و TSV-M.
• معالجة اللغات الطبيعية (NLP): حسنت SVC الأداء عبر مهام التصنيف والتوليد. على سبيل المثال، في نموذج T0 مع ضبط IA3، حسنت SVC طريقة TA بنسبة 12.3%. وفي LLaMA2-7B، أظهرت مكاسب كبيرة في معايير AlpacaEval و GSM8K.
• العمومية (Generality): أثبتت الطريقة فعاليتها عبر أحجام ونماذج معمارية مختلفة. كما عملت كأداة "تحسين تفضيل"، مما يسمح للنموذج المدمج بإعطاء الأولوية لمهام معينة من خلال تعديل المعايرة بناءً على مهمة مستهدفة.
• الكفاءة: تقدم SVC حداً أدنى من التكاليف الإضافية، حيث تتطلب فقط خطوة واحدة من SVD غير متصلة (offline) وإعادة بناء دون الحاجة إلى حساب التدرج أو بيانات مساعدة.

5. الأهمية والادعاءات

تدعي الورقة أن فشل دمج النماذج لا يعود فقط إلى التحديثات المتعارضة ولكن أيضاً إلى التراكم الزائد للمكونات المتوافقة. ومن خلال نقل التركيز من حل النزاع إلى التوازن الطيفي، توفر SVC آلية بسيطة وفعالة لتصحيح "الإفراط في العد" للمعرفة المشتركة.

يضع المؤلفون SVC كأداة مكملة يمكن تطبيقها فوق طرق الدمج الحالية (بما في ذلك طرق الفضاء الطيفي مثل Iso-CTS) لزيادة تحسين الأداء. ويؤكدون أنه بينما قد تعالج الطرق الأخرى النزاعات أو انهيار الرتبة، فإن SVC تستهدف تحديداً تضخم الفضاءات الفرعية المهيمنة الناتج عن التداخل البناء، مما يعيد توازناً طيفياً أكثر استقراراً ويحسن التعميم عبر مهام متعددة.