ملخص تقني: دمج النماذج البايزي (BMM)

تعريف المشكلة

يهدف دمج النماذج إلى الجمع بين عدة نماذج خبراء متخصصة في مهام محددة ضمن بنية واحدة دون الحاجة لإعادة التدريب المشترك أو الوصول إلى بيانات التدريب الأصلية. يعالج هذا النموذج مشكلة أعباء التخزين والنشر الناتجة عن الاحتفاظ بوسطاء منفصلين، بالإضافة إلى التكاليف الباهظة للتعلم متعدد المهام في ظل قيود خصوصية البيانات أو صوامع البيانات (data silos).

تواجه طرق الدمج الحالية قصورين أساسيين:

1. عدم الاستفادة من التحيز الاستقرائي (Inductive Bias): تقوم معظم الطرق بتقدير الأوزان المدمجة من الصفر، مما يؤدي إلى الفشل في استغلال المعرفة المسبقة القيمة المضمنة في نماذج "المرتكز" (anchor models) القوية (مثل حلول الدمج الحالية مثل Task Arithmetic أو TSV).
2. الافتقار إلى الأمثلة العالمية (Global Optimization): غالبًا ما تعمل الطرق المتقدمة على مستوى الوحدات (modules) بشكل منعزل، أو تعتمد على معاملات فائقة (hyperparameters) مشتركة عبر وحدات شبكية متباينة، مما يفتقر إلى استراتيجية لتنسيق قوة التنظيم (regularization) عالميًا لتعظيم الأداء النهائي.

علاوة على ذلك، تتطلب العديد من الطرق بيانات معايرة مساعدة (مدعومة بالبيانات)، والتي غالبًا ما تكون غير متوفرة بسبب قيود الخصوصية أو التخزين، بينما تفتقر الطرق الخالية من البيانات (data-free) إلى الأساس النظري لتقريب إحصائيات التنشيط بشكل فعال.

المنهجية

يقدم البحث دمج النماذج البايزي (BMM)، وهو إطار عمل للتحسين ثنائي المستوى (bi-level optimization) يعمل بنظام "التوصيل والتشغيل" (plug-and-play).

1. الانحدار البايزي القائم على التنشيط (الحلقة الداخلية)

يصيغ BMM دمج الوحدات كمسألة انحدار خطي بايزي.

• استحثاث المسبق (Prior Induction): بدلاً من تقدير الأوزان من الصفر، يستخدم BMM نموذج مرتكز قوي (مثل TA أو TIES أو TSV) لتحديد "مسبق". يتم تنظيم متجه المهمة المدمج $U$ بواسطة متجه مهمة المرتكز $U^{(0)}$ عبر مسبق غاوسي مستقل لكل عنصر.
• الأرجحية (Likelihood): في الإعداد المدعوم بالبيانات، تُشتق الأرجحية من إحصائيات التنشيط التجريبية ($X$) والمخرجات المتبقية ($Y$) التي تم جمعها من مجموعة معايرة صغيرة.
• الحل ذو الصيغة المغلقة: يتم اشتقاق تقدير الاحتمال الأقصى البعدي (MAP) لمتجه المهمة المدمج تحليليًا:
  $$U_{MAP} = (YX^\top + \lambda U^{(0)})(XX^\top + \lambda I)^{-1}$$
  حيث $\lambda$ هو وزن التنظيم الذي يوازن بين الملاءمة التجريبية والمسبق المرتكز. يوفر هذا حلاً فعالاً بصيغة مغلقة لدمج الوحدات.

2. الأمثلة البايزية للتنسيق العالمي (الحلقة الخارجية)

لمعالجة عدم تجانس وحدات الشبكة، لا يستخدم BMM معاملًا فائقًا واحدًا مشتركًا. بدلاً من ذلك، يستخدم الأمثلة البازية (Bayesian Optimization - BO) للبحث عن قوى التنظيم الخاصة بكل وحدة ($\lambda$) على مستوى عالمي.

• الهدف: تعمل الحلقة الخارجية على تعظيم الدليل التنبؤي (المُقدر عبر أداء مجموعة التحقق) بالنسبة للمعاملات الفائقة $\lambda$.
• الكفاءة: يقوم نموذج بديل يعتمد على العمليات الغاوسية (Gaussian Process - GP) بتوجيه عملية البحث، موازناً بين الاستكشاف والاستغلال. ولإدارة التعقيد الحسابي في النماذج الكبيرة (مثل ViT-L/14)، يقترح المؤلفون استراتيجية ربط المعلمات حسب الكتلة (block-wise parameter tying)، حيث يتم تجميع الوحدات حسب وظيفتها (مثل attention-in، MLP-out) لتقليل أبعاد فضاء البحث.

3. المتغير الخالي من البيانات عبر المحاذاة النظرية

لتمكين الدمج دون بيانات معايرة مساعدة، اشتق المؤلفون متغيرًا خاليًا من البيانات يعتمد على محاذاة نظرية بين إحصائيات التنشيط ومتجهات المهام.

• النظرية 1: تحت افتراضات بسيطة تتعلق بالمرحلة النهائية من الضبط الدقيق (الانهيار العصبي وهندسة التمثيل)، ترتبط مصفوفة جرام لتنشيطات المدخلات ($E[xx^\top]$) ارتباطًا إيجابيًا بمصفوفة جرام لمتجهات المهام ($U^\top U$).
• التقريب: تسمح هذه المحاذاة باستبدال إحصائيات التنشيط التجريبية ببديل مشتق حصريًا من أوزان الخبراء: $XX^\top \approx c \sum (U^{(t)})^\top U^{(t)}$.
• النتيجة: ينتج عن ذلك تقدير MAP خالي من البيانات يحتفظ بالحل ذي الصيغة المغلقة، ولا يتطلب سوى متجهات المهام للخبراء والمرتكز، دون الحاجة لبيانات معايرة.

المساهمات الرئيسية

1. إطار عمل للتحسين ثنائي المستوى: يجمع BMM بين مُقدر MAP للحلقة الداخلية ذي الصيغة المغلقة (الذي يستفيد من المسبقات المرتكزة) وبين الأمثلة البازية للحلقة الخارجية لتنسيق المعاملات الفائقة عالميًا.
2. الاشتقاق النظري للخالي من البيانات: يضع البحث رابطًا نظريًا بين إحصائيات التنشيط ومتجهات المهام (النظرية 1)، مما يسمح بإنشاء نسخة خالية من البيانات من الدمج البايزي تحافظ على الحل ذي الصيمة المغلقة.
3. مرونة التوصيل والتشغيل: الإطار معياري (modular)، مما يسمح لأي حل دمج موجود بالعمل كمرتكز مسبق، ويدعم كلاً من الإعدادات المدعومة بالبيانات والخالية من البيانات.

النتائج التجريبية

قيم المؤلفون BMM على معايير الرؤية (ViT-B/32, ViT-L/14) واللغة (Llama-3.2-3B, Llama-3.1-8B) عبر سيناريوهات دمج تتراوح بين 8 و14 و20 مهمة.

• مكاسب الأداء: تفوق BMM باستمرار على جميع النماذج المرتكزة (baselines) القابلة للتشغيل (TA, TIES, RegMean, TSV, WUDI-Merging, ISO-CTS) في كل من الإعدادات المدعومة بالبيانات والخالية من البيانات.
  • في اختبار الـ 8 مهام لنموذج ViT-L/14، حقق نموذج مدمج واحد باستخدام BMM دقة 95.1% (مدعوم بالبيانات) و 95.0% (خالي من البيانات)، وهو ما يقارب الأداء المتوسط لثمانية خبراء متخصصين في المهام (95.8%).
  • وصلت التحسينات النسبية مقارنة بالمرتكزات الأضعف (مثل TA و TIES) إلى 27%.
• القابلية للتوسع: حافظ BMM على فعاليته مع زيادة عدد المهام المدمجة (حتى 20 مهمة)، مما نجح في تخفيف تداخل المهام.
• الكفاءة: رغم استخدام بحث BO، ظل BMM منافسًا من حيث الحوسبة. فعلى سبيل المثال، في ViT-B/32، تفوق BMM باستخدام 20 تجربة BO فقط على النماذج المرجعية التي تتطلب عمليات بحث شبكية شاملة (225 تكوين) مع تقليل وقت التنفيذ بشكل كبير.
• دراسات الاستئصال (Ablation Studies):
  • التنسيق العالمي: أدى استبدال BO بمعامل $\lambda$ مشترك أو البحث العشوائي إلى أداء أقل، مما يؤكد ضرورة الأمثلة العالمية على مستوى الوحدات.
  • صحة النموذج الخالي من البيانات: قدم المتغير الخالي من البيانات أداءً مشابهًا للمتغير المدعوم بالبيانات، مما أكد صحة المحاذاة النظرية بين إحصائيات التنشيط ومتجهات المهام.
  • معايرة عدم اليقين: أظهر متغير يعتمد على أخذ العينات (باستخدام التوزيع الخلفي الغاوسي الكامل) تحسنًا في خطأ المعايرة المتوقع (ECE) مقارنة بالتقدير النقطي، دون التضحية بالدقة.

الأهمية والادعاءات

يدعي البحث أن BMM يوفر مسارًا عمليًا وقابلًا للتوسع نحو دمج النماذج عندما تكون بيانات المعايرة المساعدة محدودة أو غير متوفرة. ومن خلال الجمع بين المسبقات المرتكزة المعلوماتية وتنسيق المعاملات الفائقة العالمي، يسد BMM الفجوة بين أداء الخبراء المتخصصين في المهام والنماذج الموحدة متعددة المهام.

يؤكد المؤلفون أن نهجهم لا يتطلب إعادة تدريب مشترك أو الوصول إلى بيانات التدريب الأصلية، مما يجعله مناسبًا للبيئات التي تعاني من صوامع البيانات أو قيود الخصوصية. ويبرز البحث الاشتقاق الخاص بالمتغير الخالي من البيانات كإسهام نظري رئيسي، موضحًا أن البنية الهندسية لمتجهات المهام يمكن أن تحل محل إحصائيات التنشيط التجريبية بفعالية. وتشير النتائج إلى أن الاستفادة من حلول الدمج الحالية كـ "مسبقات" (priors)، بدلاً من التعامل مع الدمج كعملية دمج صفرية (zero-shot)، يعد عاملًا حاسمًا في تحقيق أداء رائد.