Signature-Guided Capacity Occupancy for Dense Expert Merging

ملخص تقني: SigMerge (إشغال السعة الموجه بالتوقيع - Signature-Guided Capacity Occupancy)

بيان المشكلة
يهدف دمج الخبراء الكثيف (Dense expert merging) إلى الجمع بين نماذج لغوية متعددة متخصصة في مجالات معينة في نقطة تحقق (checkpoint) واحدة دون الحاجة لمزيد من التدريب، وعادة ما يتم ذلك عبر العمل على ناقلات المهام (task vectors) في فضاء الأوزان. ومع ذلك، تواجه الطرق الحالية قيداً جوهرياً: حيث يجب على مجموعة واحدة من المعلمات المشتركة ترميز مهارات تم اكتسابها بشكل منعزل، مما يؤدي إلى "تداخل الخبراء" (expert interference) حيث تؤدي التحديثات الخاصة بمجال ما إلى محو القدرات التي تعلمها مجال آخر.

بينما تعالج الاستراتيجيات الحالية هذا الأمر جزئياً، إلا أنها تفشل في الإجابة على ثلاثة أسئلة حاسمة تتعلق بقبول دعم ناقل المهمة:

1. أين: في أي الطبقات يجب فتح السعة، وبأي مقدار؟
2. من: أي المجالات يجب أن تشغل تلك السعة بناءً على الطلب؟
3. كيف: كيف ينبغي قبول الدعم دون الاعتماد على البحث المكلف عن وصفات الدمج؟

يكشف التحليل التجريبي أن عمليات الدمج الكثيفة تترك "فجوة خبير متبقية" (residual expert gap) كبيرة (بمتوسط 12.13 نقطة مئوية عبر إعدادات مختلفة)، مما يشير إلى أن قدرات المتخصصين لا يتم استعادتها بالكامل. وتطبق الطرق الحالية غالباً قواعد موحدة أو تعتمد على بدائل بحثية قد لا تلتقط أداء المتخصص الحقيقي، مما يفشل في توجيه السعة إلى المجالات الأكثر احتياجاً إليها.

المنهجية: SigMerge
يقترح المؤلفون SigMerge، وهو عامل تشغيل (operator) لا يتطلب تدريباً يعمل على استعادة قدرة المتخصص عبر تخصيص عدد محدود من إحداثيات ناقل المهمة عبر الطبقات والمجالات. تعمل هذه الطريقة فوق دمج أساسي كثيف (المرساة - anchor) وتتكون من ثلاثة مكونات أساسية:

1. من الصراع إلى السعة (أين):
   يحدد SigMerge سعة كل طبقة ($C_i$) بناءً على عدم الاتفاق بين الخبراء. يقوم بتجميع ثلاث رؤى متكاملة للصراع في كل طبقة:

• هندسة الحالة الخفية (Hidden-state geometry): تُقاس عبر محاذاة النواة المركزية (CKA) للحالات الخفية المجمعة.
• اتجاه ناقل المهمة (Task vector direction): يُقاس عبر تشابه جيب التمام (cosine similarity) بين تحديثات الخبراء.
• طلب الإحداثيات الموقعة (Signed coordinate demand): يُقاس عبر تكرار الإشارات المتضادة في الأوزان الفردية.
  يتم تطبيع هذه الإشارات ومتوسطها لتشكيل درجة صراع ($\bar{S}_i$). ومن ثم تُشتق سعة الطبقة خطياً: الطبقات ذات الصراع العالي تتلقى سعة أقل (لتجنب التداخل)، بينما الطبقات ذات الصراع المنخفض تتلقى سعة أكبر.

2. من العجز إلى التخصيص (من):
   تخصص الطريقة السعة المفتوحة بين المجالات بناءً على "عجز الخبير المتبقي". لكل مجال $d$، يُعرف العجز $g_d$ بأنه فجوة الأداء بين النموذج المدمج الأساسي وأفضل خبير في المجموعة لهذا المجال تحديداً. وتكون حصة السعة ($\rho_d$) المخصصة لكل مجال متناسبة مع عجزه. أما المجالات التي يطابقها الدمج الأساسي تماماً، فتتلقى سعة صفرية، مما يضمن أن عملية الإصلاح تستهدف فقط القدرات المفقودة.

3. الإشغال المتسلسل (كيف):
   لملء ميزانية الطبقة والمجال دون بحث، يستخدم SigMerge قاعدة مطالبة متسلسلة. يتم ترتيب المجالات حسب حجم عجزها (العجز الأكبر أولاً). ويطالب كل مجال حصته المخصصة من الإحداثيات من مجموعة الإحداثيات "التي لم يتم المطالبة بها بعد" داخل الطبقة، باختيار تلك ذات المقدار الأكبر في ناقل مهمته ($\Delta_{d,i}$). وهذا يمنع المجالات المتعددة من التنافس على نفس الإحداثيات ذات المقدار الكبير ويضمن حصول المجالات الأكثر احتياجاً على الأولوية في الوصول إلى التحديثات الأكثر تأثيراً.

يتم بناء النموذج المدمج النهائي كـ $\hat{\theta} = \theta_{base} + \sum_d V_d$، حيث تمثل $V_d$ الزيادة المحدودة التي تم قبولها بواسطة قاعدة الإشغال المتسلسل.

المساهمات الرئيسية

1. التوصيف التجريبي: يوضح المؤلفون أن عجز المتخصصين في الدمج الكثيف كبير وغير متجانس عبر النماذج والمجالات وعائلات الدمج، ويجادلون بأن الإصلاح يتطلب تخصيص الإحداثيات بدلاً من مجرد قواعد متوسط حسابي أفضل.
2. إطار عمل لا يتطلب تدريباً: يحل SigMerge التحديات الثلاثة لتخصيص السعة (أين، من، كيف) دون تدريب أو بحث. فهو يستخدم إشارات قابلة للقياس (توقيعات الصراع وعجز الأداء) لبناء مصفوفة ميزانية من الرتبة الأولى ($B = C\rho^\top$).
3. ضمانات نظرية وخوارزمية: تقدم الورقة برهاناً (النظرية 1) يثبت أن قاعدة الإشغال المتسلسل هي مثالية مرحلياً (stagewise optimal) لتعظيم كتلة ناقل المهمة المقبولة في ظل حصص ثابتة وترتيب أسبقية.
4. تقييم شامل: تم تقييم الطريقة عبر 21 إعداداً مزدوجاً (7 مراسي $\times$ 3 مجموعات نماذج) ومقارنتها بستة نماذج أساسية، بما في ذلك الطرق المدركة للصراع، والطبقية، والبحثية.

النتائج

• تحسين الأداء: يحسن SigMerge كل واحد من الـ 21 إعداداً مزدوجاً، محققاً متوسط تحسن نسبي قدره 15.0% في درجات Macro-5.
• تقليل الفجوة: انخفض متوسط فجوة الخبير المتبقية من 12.13 إلى 5.77 نقطة مئوية.
• الترتيب: يحقق SigMerge أفضل متوسط ترتيب (1.67) من بين ست طرق دمج، متفوقاً على جميع النماذج الأساسية عبر ثلاث فئات (المدركة للصراع، والطبقية، والبحثية).
• دراسات الاستئصال (Ablation Studies): يؤدي إزالة إما السعة المشتقة من الصراع أو التخصيص المدفوع بالعجز إلى انخفاض كبير في الأداء (يماثل المكسب الإجمالي)، مما يؤكد أن كلا الإشارتين ضروريتان. كما أن اختيار الإحداثيات المحدد (الإشغال المتسلسل) يمثل حوالي 80% من المكسب عند ميزانية ثابتة.
• الكفاءة: تضيف الطريقة حوالي 0.6 ساعة من زمن المعالجة بـ GPU إلى تكلفة المرساة، مما يضعها ضمن النماذج الأساسية الخالية من البحث، وهي أسرع بكثير من الطرق القائمة على البحث مثل MERGE3 (التي تستغرق حوالي 26.8 ساعة).

الأهمية والادعاءات
تزعم الورقة أن SigMerge يقدم نهجاً مبدئياً لا يتطلب تدريباً لدمج الخبراء الكثيف يعالج صراحةً عدم تجانس عجز المجالات والصراعات على مستوى الطبقات. ومن خلال تأسيس قرارات السعة على إشارات قابلة للقياس بدلاً من البحث أو الاستدلالات الموحدة، ينجح SigMerge بفعالية في استعادة قدرات المتخصصين المفقودة في عمليات الدمج الكثيفة القياسية.

يشير المؤلفون بتواضع إلى أن الطريقة لا تحدد المرساة أو مجموعة الخبراء؛ بل تعمل ضمن النطاق الذي يحددهما. علاوة على ذلك، فإن التقييم الحالي محدود بخمسة مجالات، وتظل قابلية التوسع إلى مجموعات أكبر أو ضرورة استخدام مصفوفات ميزانية ذات رتبة أعلى مسألة مفتوحة. ومع ذلك، تشير النتائج إلى أن قياس وتوجيه السعة بناءً على عجز الأداء الفعلي هو استراتيجية أكثر فعالية من الاعتماد على هندسة ناقل المهمة وحدها أو إجراءات البحث المكلفة.