Navigating the Accuracy-Size Trade-Off with Flexible Model Merging

إليك ملخص تقني مفصل لورقة البحث بعنوان "التنقل عبر مقايضة الدقة والحجم باستخدام دمج النماذج المرن" (FLEXMERGE)، المنشورة كأوراق بحثية في مؤتمر ICLR 2026.

1. بيان المشكلة

تتناول الورقة التوتر الجوهري في نشر النماذج اللغوية الكبيرة (LLMs) ونماذج المحولات الرؤية (ViTs) في سيناريوهات تعدد المهام:

• معضلة التخزين مقابل الدقة:
  • الضبط الدقيق الفردي: يؤدي نشر نموذج مضبوط دقيق لكل مهمة على حدة إلى تحقيق أعلى دقة، ولكنه يتسبب في تكاليف تخزين ونشر باهظة (تتوسع خطياً مع عدد المهام، $M$).
  • دمج النموذج الواحد: يدمج دمج النماذج التقليدي جميع المهام $M$ في نموذج واحد (حجم $1\times$). ورغم كونه فعالاً من حيث التخزين، إلا أنه غالباً ما يؤدي إلى فجوة كبيرة في الدقة بسبب تداخل المعلمات (التعارضات بين الأوزان الخاصة بكل مهمة).
• محدودية الحلول الحالية:
  • الدمج الخالي من البيانات: معظم طرق الدمج الحالية الخالية من البيانات (مثل Task Arithmetic و TIES-Merging) تقتصر على إنتاج نموذج مدمج واحد (حجم $1\times$). وهي تفتقر إلى القدرة على توليد نماذج وسيطة توازن بين التخزين والدقة.
  • الدمج المعتمد على البيانات: الطرق التي تستخدم بيانات التحقق لتحسين الدمج غالباً ما تكون غير عملية بسبب قيود الخصوصية أو قيود البيانات المملوكة.
  • التدرج الصلب: محاولات الدمج في أحجام أكبر (مثل دمج القنوات - Channel Merging) تعتمد غالباً على تجميع ثابت (مثل K-Means) لا يمكنه توليد أحجام نماذج كسرية (مثل $1.75\times$) أو تحديد التجميع الأمثل لكل طبقة بشكل تكيفي.

الأسئلة البحثية الجوهرية:

1. كيف يمكننا اشتقاق النماذج المدمجة عبر طيف كامل من الأحجام (من $1\times$ إلى $M\times$، بما في ذلك الأحجام الكسرية) بطريقة خالية من البيانات؟
2. ما هي طبيعة مقايضة الدقة والحجم التي تظهرها خوارزميات الدمج المختلفة الخالية من البيانات؟

---

2. المنهجية: FLEXMERGE

يقترح المؤلفون FLEXMERGE، وهو إطار عمل جديد وخالٍ من البيانات يتيح دمج النماذج بمرونة من خلال معاملة النماذج كسلاسل من الكتل (blocks) وإجراء عملية دمج تدريجية من الأسفل إلى الأعلى.

أ. المفهوم الجوهري: التدرج على مستوى الكتلة (Block-Level Granularity)

بدلاً من دمج النماذج بأكملها دفعة واحدة، يقوم FLEXMERGE بتفكيك النموذج إلى $B$ من الكتل المتسلسلة (على سبيل المثال: طبقات Transformer فردية، أو رؤوس الانتباه، أو طبقات MLP).

• المدخلات: $M$ من متجهات المهام المضبوطة دقيقاً $\{\tau_1, \dots, \tau_M\}$، حيث يتم تفكيك كل $\tau_i$ إلى متجهات على مستوى الكتلة $\{\tau_i^b\}_{b=1}^B$.
• الهدف: تقليل الحجم الإجمالي المنشور من $M \times$ (جميع النماذج) إلى حجم مستهدف $S_{target}$ (حيث $1 \le S_{target} \le M$) مع تعظيم الدقة.

ب. خوارزمية الدمج الجشعة (Greedy Merging Algorithm)

يستخدم FLEXMERGE نهجاً جشعاً من الأسفل إلى الأعلى (الخوارزمية 1):

1. التهيئة: البدء بـ $M$ من مجموعات المهام المتميزة لكل كتلة.
2. مقياس التشابه: في كل تكرار، تحسب الخوارزمية التشابه بين جميع أزواج مجموعات المهام داخل كل كتلة. ويُعرف التشابه بين مجموعتين $g_i$ و $g_j$ بأنه الحد الأدنى للتشابه الجيبي (cosine similarity) بين أي زوج من متجهات المهام الأصلية عبر المجموعتين:
   $$\text{SIMILARITY}(g_i, g_j) = \min_{k_1 \in g_i, k_2 \in g_j} \cos(\tau_{k_1}^b, \tau_{k_2}^b)$$
   المبرر: تضمن استراتيجية "الحد الأدنى" (min) أن الدمج لا يحدث إلا عندما تكون حتى المهام الأكثر اختلافاً في المجموعات متوافقة بما يكفي، مما يمنع إدخال تعارضات عالية التداخل.
3. الاختيار: تحديد الكتلة $b^*$ وزوج المجموعات $(g_{i^*}, g_{j^*})$ صاحب أعلى درجة تشابه.
4. الدمج:
   • اتحاد مجموعات المهام: $T_{uni} = g_{i^*} \cup g_{j^*}$.
   • تطبيق خوارزمية دمج خالية من البيانات $F$ مختارة (مثل Task Arithmetic، أو TIES-Merging، أو Consensus) على متجهات الكتل لهذه المهام: $\tau_{uni}^b = F(\{\tau_k^b \mid k \in T_{uni}\})$.
   • استبدال المجموعتين بالمجموعة المدمجة الجديدة.
5. الإنهاء: التكرار حتى يصل إجمالي عدد المعلمات إلى الحجم المستهدف $S_{target}$.

ج. التوافق مع الخوارزميات الحالية

FLEXMERGE هو إطار عمل موحد يمكنه تغليف أي خوارزمية دمج حالية خالية من البيانات:

• الطرق القياسية (TA, TIES, PCB, TSV-M): تولد متجهاً موحداً واحداً $\tau_{uni}^b$. وتكون أوزان الكتلة النهائية هي $\theta_{uni}^b = \theta_{pre}^b + \tau_{uni}^b$.
• الطرق القائمة على الأقنعة (Consensus, EMR-Merging): تولد متجهاً موحداً بالإضافة إلى أقنعة خاصة بكل مهمة. يقوم FLEXMERGE بتخزين المتجه الموحد والأقنعة للمجموعة المدمجة، مما يسمح بإعادة بناء أوزان المهام عند الاستنتاج. وهذا يتيح لـ FLEXMERGE دعم هذه الطرق عالية الدقة مع توفير مرونة في الحجم.

د. التعقيد

• التعقيد الزمني: $O(B M^2 d_{max})$، ويهيمن عليه الحساب المسبق للتشابهات الزوجية.
• الكفاءة: عملية الدمج سريعة للغاية (على سبيل المثال، حوالي 20 ثانية لـ 30 مهمة على ViT-L/14)، مما يجعلها عملية لتوليد نماذج بأحجام مختلفة عند الطلب.

---

3. المساهمات الرئيسية

1. أول إطار عمل للحجم المرن: يعد FLEXMERGE أول طريقة تولد نماذج مدمجة عبر طيف كامل من الأحجام، بما في ذلك الأحجام غير الصحيحة (مثل $1.75\times$)، مما يسد الفجوة بين دمج النموذج الواحد ونشر المجموعة الكاملة.
2. دعم خوارزمي موحد: يوفر إطار عمل واحداً لتطبيق خوارزميات دمج متنوعة خالية من البيانات (من المتوسط البسيط إلى الطرق المعقدة القائمة على الأقنعة) على مستوى الكتلة.
3. توصيف منهجي للمقايضات: ترسم الورقة بدقة منحنى الدقة والحجم، وتكشف أن:
   • المكاسب الأولية الحادة: تؤدي الزيادات الطفيفة في حجم النموذج (مثل الضعف من $1\times$ إلى $2\times$) إلى تحسينات هائلة في الدقة (تصل إلى 13.5%).
   • تناقص العوائد: تقترب الدقة من حد الضبط الدقيق الكامل قبل الوصول إلى الحجم الأقصים ($M\times$) بوقت طويل.
   • عدم استقرار التصنيف: ترتيب أداء الخوارزميات ليس متسقاً عبر الأحجام المختلفة. فالطريقة التي تعتبر أدنى مستوى عند $1\times$ (مثل المتوسط البسيط) يمكن أن تتفوق على الطرق المتطورة (مثل TIES-Merging) عند الأحجام الأكبر ($>2\times$).
4. الكفاءة: يقدم الإطار عبئاً ضئيلاً جداً عند الاستنتاج، حتى بالنسبة للنماذج المدمجة الأكبر حجماً، وذلك من خلال استخدام مشاركة التنسورات (tensor sharing) وتوجيه الكتل الخاص بكل مهمة.

---

4. النتائج التجريبية

قيم المؤلفون FLEXMERGE عبر اختبارات واسعة النطاق:

• الرؤية (Vision): اختبارات مكونة من 8 مهام و30 مهمة باستخدام ViT-B/32 و ViT-L/14 (CLIP).
• اللغات الطبيعية (NLP): اختبار PEFT المكون من 11 مهمة باستخدام (IA)³ على T0-3B، و7 مهام ضبط دقيق لكامل المعلمات (FFT) على T5-Base/Large.
• متعدد الوسائط (Multi-modal): BEiT-3-base على COCO، ImageNet، إلخ.

النتائج الرئيسية:

• مكاسب الدقة:
  • في 8 مهام رؤية (ViT-B/32)، حسّن FLEXMERGE + Task Arithmetic (TA) الدقة من 67.5% ($1\times$) إلى أكثر من 80% ($2\times$)، أي بزيادة قدرها 13.5%.
  • في 30 مهمة، أدت مضاعفة الحجم من $\approx 3\times$ إلى $6\times$ باستخدام Consensus إلى زيادة بنسبة 8.5%.
  • تم تحقيق دقة قريبة جداً من دقة الضبط الدقيق الكامل عند أحجام أصغر بكثير من $M$ (على سبيل المثال، $\approx 6\times$ لـ 8 مهام، و $\approx 23.5\times$ لـ 30 مهمة).
• تحول تصنيف الخوارزميات:
  • عند $1\times$، غالباً ما تتفوق الطرق المتقدمة مثل TIES-Merging أو PCB-Merging على المتوسط البسيط.
  • عند $>2\times$، تتقلص فجوة الأداء بشكل كبير، وغالباً ما تضاهي الطرق الأبسط (مثل Averaging أو TA) الطرق المعقدة أو تتفوق عليها. يشير هذا إلى أن زيادة حجم النموذج تقلل طبيعياً من تداخل المعلمات، مما يقلل الحاجة إلى آليات معقدة لتقليل التداخل.
• المقارنة مع دمج القنوات (Channel Merging): تفوق FLEXMERGE باستمرار على Channel Merging (وهي طريقة حديثة تعمل بحجم $>1\times$) لأن نهج FLEXMERGE الجشع والزوجي يسمح بـ أحجام تجميع متغيرة لكل كتلة، بينما يفرض دمج القنوات تجميعاً ثابتاً.
• الأداء خارج التوزيع (OOD): تفوقت نماذج FLEXMERGE ذات الأحجام $>1\times$ باستمرار على أفضل خبير داخل النطاق (in-domain) في المهام الخارجة عن التوزيع (OOD)، مما يشير إلى تحسن في التعميم.

---

5. الأهمية والآثار المترتبة

• بعد تصميم جديد: تجادل الورقة بأن على المجال أن يتجاوز "حد النموذج الواحد" ($1\times$). يجب على الممارسين تقييم وتطوير خوارزميات الدمج عبر طيف الحجم الكامل، لأن ترتيب الخوارزميات يعتمد على الحجم.
• استراتيجية النشر العملية: يوفر FLEXMERGE "نقطة مثالية" للنشر. يمكن للمؤسسات تحقيق دقة تقارب الدقة الكاملة مع زيادة طفيفة فقط في التخزين (على سبيل المثال، $2\times$ أو $3\times$ بدلاً من $M\times$)، مما يتجنب التكاليف الهائلة لتخزين $M$ من النماذج المنفصلة مع تجنب عقوبة الدقة في النموذج المدمج الواحد.
• المرونة للطرق القائمة على الأقنعة: من خلال السماح بأحجام أكبر، يقلل FLEXMERGE من عبء زمن إعادة بناء الأقنعة (reconstruction latency) للطرق القائمة على الأقنعة (مثل Consensus)، حيث يلزم إعادة بناء عدد أقل من الكتل أثناء الاستنتاج.
• القابلية للتوسع: توضح الورقة أن توسيع حجم النموذج بما يتناسب مع عدد المهام ($M$) أمر بالغ الأهمية للحفاظ على الدقة مع نمو عدد المهام، وهو قانون توسع تفشل النماذج ذات الحجم الثابت في تحقيقه.

في الختام، يعيد FLEXMERGE تعريف دمج النماذج ليس كخيار ثنائي بين "نموذج واحد" و"نماذج كثيرة"، بل كمساحة مقايضة مستمرة يمكن فيها ضبط الدقة بدقة عبر تعديل حجم النموذج المنشور، مما يقدم حلاً عملياً للغاية للنشر متعدد المهام في البيئات محدودة الموارد.