ملخص تقني: MetaMoE

بيان المشكلة

تتعرض النماذج التأسيسية الضخمة لعمليات ضبط دقيق متزايدة على بيانات خاصة ونوعية عبر مختلف المؤسسات، مما يؤدي إلى مجموعة من النماذج "الخبيرة" المتخصصة. وبينما يمكن نظرياً توحيد هؤلاء الخبراء في نموذج واحد من نوع "خليط الخبراء" (Mixture-of-Experts - MoE) لتوفير قدرات متعددة المجالات، إلا أن هذه العملية تعوقها قيود صارمة على الخصوصية تمنع مشاركة البيانات الخام للتدريب. وتواجه الأساليب الحالية عيوباً جوهرية:

• التعلم الاتحادي (Federated Learning): يتطلب عمليات تحسين متزامنة مكلفة وغالباً ما يعاني من تدهور الأداء تحت تأثير توزيعات البيانات غير المتجانسة.
• دمج النماذج (مثل Model Soup): يقوم بمتوسط الأوزان مباشرة، وهو أمر هش عندما تتباعد وظائف الخبراء بشكل كبير في فضاء الوظائف.
• التجميع (مثل BTM): يجمع التنبؤات وقت الاستدلال، لكنه يفشل في إنتاج نموذج واحد قابل للنشر للمهام اللاحقة مثل الضبط الدقيق أو التعلم التعزيزي من التغذية الراجعة البشرية (RLHF).
• التوحيد القائم على الوكيل (مثل FlexOlmo): يستخدم بيانات عامة كوكلاء لتدريب الموجه (Router)، لكنه يعتمد على الاختيار القائم على التشابه، مما يؤدي غالباً إلى وكلاء مكررين ومركزين بشكل ضيق يفشلون في تغطية "منوع البيانات" (data manifold) الخاص بالبيانات الخاصة. علاوة على ذلك، فإن تدريب الخبراء حصرياً على البيانات الخاصة يخلق عدم تطابق في "العزل النطاقي"، حيث لا يتعرض الخبراء أبداً لبيانات الوكيل المستخدمة في التوجيه.

التحدي الجوهري هو توحيد خليط الخبراء مع الحفاظ على الخصوصية: كيف يمكن توحيد الخبراء المدربين بشكل مستقل في نموذج MoE قابل للنشر دون مشاركة البيانات الخاصة، مع ضمان التنسيق الفعال بين الخبراء غير المتجانسين.

المنهجية: MetaMoE

MetaMoE هو إطار عمل يوحد الخبراء المدربين بشكل مستقل باستخدام بيانات وكيلة عامة كبدائل للبيانات الخاصة التي لا يمكن الوصول إليها. يعمل الإطار عبر ثلاث مراحل رئيسية:

1. اختيار الوكيل الواعي بالتنوع

لتقريب توزيعات البيانات الخاصة دون مشاركتها، يختار MetaMoE عينات وكيلة من مجموعة بيانات عامة ($D_0$) لكل عميل.

• عملية DPP الموزونة بالارتباط: على عكس الطرق السابقة التي تختار الوكلاء بناءً على التشابه (الارتباط) فقط، يستخدم MetaMoE عملية "عملية نقطة التحديد" (Determinant Point Process - DPP) موزونة بالارتباط. تعمل هذه الطريقة على تعزيز نواة DPP القياسية بدرجات ارتباط خاصة بالعميل ($g(x, D_p)$).
• الآلية: تعظم احتمالية الاختيار حداً من "لوغاريتم المحدد" (log-determinant) يوازن بين هدفين:
  1. الارتباط: تفضيل العينات المشابهة لنطاق العميل الخاص.
  2. التنوع: فرض تفاعلات سلبية بين العينات المختارة لتجنب التكرار وضمان تغطية واسعة لمنوع البيانات الخاص.
• التحسين: يتم إجراء الاختيار عبر استدلال MAP جشع فعال مع تحديثات Cholesky، مما يقلل التعقيد الحسابي من $O(nm^3)$ إلى $O(nm)$.

2. تدريب الخبير المتوافق مع الوكيل

للتخفيف من عدم التطابق بين سلوك الخبير والإشراف الموجه، يقدم MetaMoE استراتيجية تدريب متوافقة مع الوكيل.

• العملية: يقوم كل عميل بإجراء ضبط دقيق لطبقات الشبكة العصبية التغذية الأمامية (FFN) لنموذج الخبير الخاص به باستخدام مزيج من بياناته الخاصة ($D_p$) وبيانات الوكيل الخاصة بالعميل ($\hat{D}_p$).
• المواءمة: من خلال تعريض الخبراء لنفس بيانات الوكيل المستخدمة لاحقاً لتدريب الموجه، يتم معايرة تمثيلات الخبراء لتناسب التوزيع الذي سيواجهه الموجه. هذا يمنع "العزل النطاقي" ويسمح بالتنسيق الفعال وقت التوحيد.

3. الموجه الواعي بالسياق والتوحيد

• تهيئة الموجه: يتم تهيئة الموجه بمتجهات مدركة للنطاق مشتقة من متوسط التضمينات (embeddings) لكل من البيانات الخاصة وبيانات الوكيل.
• التوجيه الواعي بالسياق: بدلاً من الاعتماد فقط على ميزات مستوى الرمز (token-level)، يستخدم الموجه تمثيلاً مختلطاً $\tilde{z}_t = (1-\lambda)z_t + \lambda z_x$، حيث $z_x$ هو تضمين على مستوى التسلسل يلتقط السياق العالمي. هذا يحسن موثوقية تعيين الخبراء، خاصة عندما تمتلك الرموز أشكالاً سطحية متشابهة ولكنها تنتمي إلى نطاقات مختلفة.
• التوحيد النهائي: يتم دمج طبقات FFN لجميع الخبراء في طبقات MoE. ثم يتم ضبط النموذج الموحد بشكل مشترك على اتحاد جميع مجموعات بيانات الوكيل لضبط الموجه وضمان تشغيل الخبراء بشكل متماسك.

ضمانات الخصوصية

يلتزم MetaMoE بنموذج صارم لإقامة البيانات. يتواصل العملاء فقط عبر:

1. فهارس عينات الوكيل العامة المختارة (دوال حتمية للبيانات العامة).
2. أوزان الخبير النهائية (طبقات FFN).
3. متجهات التوجيه (متوسط التضمينات).

تقدم الورقة تحليلاً رسمياً للخصوصية يظهر أن متجهات التوجيه لها حساسية محدودة لكل عينة ($O(1/m)$) وأن متوسط التضمين الخاص غير قابل للاسترداد دون معرفة حجم مجموعة البيانات الخاصة ($N$)، والذي لا يتم إبلاغه أبداً. وهذا يوفر ضمانات خصوصية أقوى بكثير من طرق مثل FlexOlmo، التي تشارك متوسط التضمينات المستمدة فقط من البيانات الخاصة.

المساهمات الرئيسية

1. اقتراح إطار العمل: يُقترح MetaMoE كإطار عمل يحافظ على الخصوصية لتوحيد الخبماء الذين تم ضبطهم بدقة بشكل مستقل دون مشاركة بياناتهم الخاصة، مع تقديم ضمانات خصوصية رسمية.
2. اختيار الوكيل الواعي بالتنوع: يعالج تقديم عملية DPP الموزونة بالارتباط قيود أخذ العينات القائمة على التشابه فقط، مما يضمن أن مجموعات بيانات الوكيل تمثل نطاق العميل وتتمتع بتنوع كافٍ لتغطية منوع البيانات.
3. التدريب المتوافق مع الوكيل والتوجيه الواعي بالسياق: يوضح تصميم استراتيجية تدريب الخبير المتوافقة مع الوكيل والموجه الواعي بالسياق أن مواءمة تدريب الخبير مع الإشراف على التوجيه يحسن التنسيق والأداء بشكل كبير.

النتائج التجريبية

تم تقييم MetaMoE في مهام الرؤية الحاسوبية (CV) ومعالجة اللغات الطبيعية (NLP).

• مهام الرؤية الحاسوبية (CV): باستخدام CLIP ViT-B/32 و ViT-B/16 كنماذج أساسية عبر مجموعات بيانات Pets و Flowers و EuroSAT. حقق MetaMoE متوسط دقة بلغ 94.52% و 96.24% على التوالي. وقد تفوق على أقوى خط أساس، FlexOlmo، بنحو 1.6 إلى 2.7 نقطة مئوية.
• مهام معالجة اللغات الطبيعية (NLP): باستخدام LLaMA-3.2-3B و LLaMA-3.1-8B كنماذج أساسية عبر CommonsenseQA و CosmosQA و SocialIQA. حقق MetaMoE متوسط دقة بلغ 74.42% و 81.59%، متفوقاً باستمرار على جميع خطوط الأساس التي تحافظ على الخصوصية (BTM, Model Soup, BTX, FlexOlmo).
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة مكون التنوع (باستخدام الارتباط فقط) إلى تدهور الأداء بشكل كبير، مما أكد ضرورة الاختيار القائم على DPP.
  • أدى تدريب الخبراء حصرياً على البيانات الخاصة (بدون المواءمة مع الوكيل) إلى ضعف التنسيق في التوجيه.
  • أدى تدريب الخبراء حصرياً على بيانات الوكيل (بدون البيانات الخاصة) إلى انخفاض كبير في الدقة، مما يثبت أن البيانات الخاصة ضرورية للخبرة النطاقية بينما تعمل الوكلاء أساساً للمواءمة والتوجيه.
  • ظلت الطريقة قوية حتى عندما لم يكن لمجموعة البيانات العامة أي تداخل دلالي مع نطاقات العملاء.

الأهمية والادعاءات

تدعي الورقة أن MetaMoE يعالج بنجاح المقايضة الأساسية بين خصوصية البيانات وتوحيد النماذج. من خلال الاستفيد من اختيار الوكيل الواعي بالتنوع والتدريب المتوافق مع الوكيل، فإنه يتيح إنشاء نموذج MoE واحد قابل للنشر يمكنه التعميم عبر نطاقات العملاء غير المتجانسة دون انتهاك قيود إقامة البيانات.

يؤكد المؤلفون أن MetaMoH يوفر بديلاً مبدئياً للتعلم الاتحادي (لتجنب اختناقات التزامن) ودمج النماذج البسيط (للحفاظ على التخصص النطاقي). ويظهر التحليل الرسمي للخصوصية أن العناصر المشتركة تكشف عن معلومات خاصة ضئيلة، مما يوفر ضماناً أقوى من الطرق القائمة على الوكيل الحالية. وتشير النتائج إلى أن التنوع في اختيار الوكيل هو عامل حاسم، لم يتم استغلاله بشكل كافٍ سابقاً، في توحيد خليط الخبراء مع الحفاظ على الخصوصية.