Transport and Merge: Cross-Architecture Merging for Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "النقل والدمج: الدمج عبر البنى الهيكلية المختلفة للنماذج اللغوية الكبيرة" (Transport and Merge: Cross-Architecture Merging for Large Language Models).

1. بيان المشكلة

تحقق النماذج اللغوية الكبيرة (LLMs) أداءً فائقاً من خلال التوسع الهائل في المعلمات (Parameters) والبيانات. ومع ذلك، تتطلب عمليات النشر في العالم الحقيقي غالباً نماذج أصغر ومحدودة الموارد (مثل النماذج المخصصة للغات ذات الموارد المنخفضة مثل الماليزية أو الكانتونية، أو المجالات المتخصصة مثل التمويل أو الطب).

• الفجوة: هناك فجوة كبيرة في الأداء بين النماذج عالية الموارد وواسعة النطاق، وبين النماذج المستهدفة الصغيرة ذات الموارد المنخفضة.
• قصور الطرق الحالية:
  • التكيف القائم على التدرج (SFT/Distillation): يتطلب كميات هائلة من بيانات التدريب والموارد الحسابية، والتي غالباً ما تكون غير متوفرة في سيناريوهات الموارد المنخفضة.
  • دمج النماذج القياسي: تفترض تقنيات الدمج الحالية (مثل Model Soups و TIES-Merging) أن النماذج المصدر والمستهدف تشترك في نفس البنية الهيكلية. لذا لا يمكنها دمج الأوزان مباشرة بين نماذج متباينة (على سبيل المثال، دمج نموذج Qwen بحجم 7 مليار بارامتر في نموذج LLaMA بحجم 1 مليار بارامتر) لأن أبعاد الأوزان وهياكل الخلايا العصبية لا تتوافق.
• السؤال الجوهري: هل يمكننا تمكين نقل المعرفة من الموارد العالية إلى الموارد المنخفضة عبر بنى هيكلية متباينة من خلال دمج مباشر للأوزان دون الحاجة لإعادة تدريب مكثفة؟

2. المنهجية: النقل والدمج (Transport and Merge)

يقترح المؤلفون إطار عمل يعتمد على النقل الأمثل (Optimal Transport - OT) لمحاذاة النماذج المتباينة في مساحة التنشيط (Activation Space) وترجمة هذه المحاذاة إلى دمج في مساحة الأوزان.

أ. الرؤية الجوهرية

رغم الاختلافات الهيكلية، فإن النماذج اللغبية التي تعالج نفس المدخلات غالباً ما تظهر تنشيطات داخلية مترابطة. تستفيد هذه الطريقة من ذلك عبر استنتاج الارتباطات بين الخلايا العصبية من النموذج المصدر ($M_B$) والنموذج المستهدف ($M_A$) باستخدام مجموعة صغيرة من مدخلات المعايرة.

ب. خط الإنتاج (Pipeline) خطوة بخطوة

1. استخراج التنشيط ومحاذاة الميزات (OT على مستوى الميزة)

• المدخلات: يتم تمرير مجموعة بيانات صغيرة $D$ عبر كل من النموذج المصدر والنموذج المستهدف.
• العملية: يتم استخراج التنشيطات الوسيطة من الطبقات الفرعية الخطية (إسقاطات الانتباه $Q, K, V$ وإسقاطات MLP).
• مصفوفة التكلفة: يتم إنشاء مصفوفة تكلفة قائمة على الارتباط $C_{\ell m}$ بين قنوات تنشيط النموذج المستهدف وقنوات تنشيط النموذج المصدر باستخدام مسافة ارتباط بيرسونون ($1 - \rho$).
• التحسين: يتم حل مشكلة النقل الأمثل المنتظمة إنتروبياً لإيج p خطة نقل $Q_{\ell m}$. تمثل هذه المصفوفة مراسلة ناعمة، توضح كيف يمكن إعادة بناء ميزات الهدف كمجموعات موزونة من ميزات المصدر.
  $$Q_{\ell m} = \arg\min_{Q} \langle C_{\ell m}, Q \rangle - \epsilon H(Q)$$

2. محاذاة الطبقات (OT على مستوى الطبقة)

• العملية: يتم تجميع تكاليف النقل على مستوى الميزة لحساب مصفوفة تكلفة الطبقة إلى الطبقة $C_{layer}$.
• التحسين: يتم حل مشكلة OT ثانية لإيجاد مصفوفة مراسلة الطبقات العالمية $P$، والتي تحدد أي طبقات المصدر تتوافق بشكل أفضل مع أي طبقات الهدف.
• المراسلة الفعالة: يتم دمج خطط نقل ما قبل التنشيط وما بعد التنشيط لتشكيل مراسلة الطبقة الفعالة $P_{eff}$.

3. دمج الأوزان عبر استبدال الخلايا العصبية

• اختيار الخلايا العصبية: لضمان المتانة وتجنب التداخل، تختار الطريقة أعلى $k$ من الخلايا العصبية الأكثر تنشيطاً في النموذج المستهدف بناءً على مجموعة المعايرة. يقتصر الدمج فقط على هذه الخلايا.
• نقل الأوزان: يتم "نقل" أوزان المصدر إلى أساس خلايا النموذج المستهدف باستخدام خرائط النقل المتعلمة ($Q_{in}, Q_{out}$) ومراسلة الطبقات ($P_{eff}$).
• صيغة الدمج: يتم حساب الأوزان المدمجة للطبقة المستهدفة $\ell$ كإضافة متبقية (Residual Addition):
  $$W^{\ell, fused}_A = W^{\ell}_A + \alpha \cdot M_\ell \odot \left( \sum_{m} P_{eff}[\ell, m] Q^{out}_{\ell m} W^m_B (Q^{in}_{\ell m})^\top - W^{\ell}_A \right)$$
  حيث $M_\ell$ هي قناع (Mask) لأعلى $k$ من الخلايا العصبية، و $\alpha$ يتحكم في قوة الدمج.

4. التكيف المتبقي المجمد (اختي- اختياري)

• بعد الدمج، يتم تجميد معاملات المتبقي المنقولة ($\Delta W$).
• يتم فقط ضبط المعلمات الأساسية الأصلية للنموذج المستهدف على المهمة النهائية.
• أخيراً، يتم طي المتبقي (Fold back) في الأوزان الأساسية لعملية الاستنتاج، مما ينتج نموذجاً بالبنية الهيكلية الأصلية للهدف ولكن بمعلمات معززة.

3. المساهمات الرئيسية

1. إطار عمل للدمج عبر البنى الهيكلية المختلفة: أول طريقة تمكن الدمج المباشر في مساحة الأوزان بين نماذج LLM ذات بنى هيكلية وسعات مختلفة دون الحاجة لعمليات التقطير (Distillation) أو الضبط الدقيق الكامل.
2. النقل الأمثل لمحاذاة الخلايا العصبية: نهج مبني على أسس رياضية باستخدام OT لاستنتاج مراسلات مهيكلة على مستوى الخلية العصبية بين النماذج المتباينة بناءً على إحصائيات التنشيط.
3. التفسير النظري: تقدم الورقة إثباتاً رياضياً (Theorem 4.1) يوضح أن نقل الأوزان يكافئ رسم خرائط ميزات الهدف إلى إحداثيات المصدر، ثم تطبيق الخريطة الخطية للمصدر، ثم الرسم العكسي.
4. الكفاءة: تتطلب الطريقة مجموعة معايرة صغيرة فقط (لا تحتاج لبيانات تدريب ضخمة) وتنفذ عملية الدمج في تمريرة واحدة، مما يجعلها عالية الكفاءة في سيناريوهات الموارد المنخفضة.

4. النتائج التجريبية

تم تقييم الطريقة عبر لغات ذات موارد منخفضة (الماليزية، الإندونيسية، التايلاندية، الكانتونية) ومجالات متخصصة (التمويل، الطب).

• اللغات ذات الموارد المنخفضة:
  • الماليزية (MalayMMLU): أدى النموذج المدمج مع التكيف إلى تحسين الدقة بنسبة +6.51% في العلوم الإنسانية و +5.99% في العلوم الاجتماعية مقارنة بالنموذج الأساسي.
  • الكانتونية (CMMLU): حققت تحسناً إجمالياً بنسبة +2.18%.
  • التايلاندية: تحقيق مكاسب كبيرة في MGSM (الاستدلال الرياضي) من 0.50 إلى 0.72 مع التكيف.
• نقل المجال (التمويل والطب):
  • تحسينات متسقة في مجموعات MMLU الفرعية (أخلاقيات العمل، الاقتصاد الجزئي، التشريح، الوراثة الطبية).
  • عمل الدمج كبداية (Initialization) فعالة، حيث تفوق غالباً على النموذج الأساسي حتى بدون التكيف ما بعد الدمج.
• المقارنة مع SFT والتقطير (Distillation):
  • تفوقت الطريقة المقترحة باستمرار على الضبط الدقيق الخاضع للإشراف (SFT) وتقطير المعرفة (Knowledge Distillation) في جميع المجالات، خاصة في السيناريوهات التي تندر فيها البيانات.
• المتانة:
  • الطريقة متينة تجاه مختلف النماذج الأساسية للمصدر (مثل LLaMA-3 مقابل Qwen2.5).
  • يتناسب الأداء مع حجم النموذج المصدر (دمج نموذج مصدر بحجم 32B يعطي نتائج أفضل من مصدر بحجم 8B).
  • القدرات العامة: تحافظ الطريقة على قدرات الاستدلال العامة للنموذج المستهدف، حيث لم تظهر أي تدهور كبير في الاختبارات القياسية العامة (ARC, CommonsenseQA, إلخ).

5. الأهمية

• ديمقراطية النماذج اللغية الكبيرة: تسمة هذه الطريقة المؤسسات من الاستفادة من معرفة النماذج الضخمة وعالية الموارد لتعزيز النماذج الأصغر والمتخصصة دون التكلفة الباهظة للتدريب أو التقطير.
• حل معضلة التباين الهيكلي: تكسر هذه الطريقة القيد الذي يشترط أن يكون الدمج متطابقاً في البنية، مما يفتح الباب لخلط ومطابقة النماذج من عائلات مختلفة (مثل Qwen, LLaMA, Mistral) لمهام محددة.
• النشر العملي: من خلال اشتراط مجموعة معايرة صغيرة وتقديم آلية دمج "جاهزة للتشغيل" (Plug-and-play)، توفر الطريقة حلاً عملياً لنشر نماذج لغوية عالية الأداء في البيئات محدودة الموارد (مثل أجهزة الحافة، واللغات ذات الموارد المنخفضة).

باختصار، يضع بحث "النقل والدمج" (Transport and Merge) نموذجاً جديداً لنقل المعرفة، منتقلاً من التكيف القائم على التدرج إلى الدمج المعتمد على محاذاة التنشيط، مما يسد الفجوة بفعالية بين النماذج التأسيسية واسعة النطية والتطبيقات المتخصصة ذات الموارد المحدودة.