ملخص تقني: FLEX-MoE

بيان المشكلة

تتناول الورقة البحثية نشر نماذج خليط الخبراء (Mixture-of-Experts - MoE) ضمن أطر التعلم الاتحادي (Federated Learning - FL) عبر الشبكات اللاسلكية والشبكات الطرفية لإنترنت الأشياء (IoT edge) محدودة الموارد. وبينما يوفر نموذج MoE قابلية التوسع من خلال الحوسبة الشرطية، ويضمن التعلم الاتحادي الخصوصية والتدريب اللامركزي، فإن الجمع بينهما يواجه عقبتين حرجتين في البيئات الطرفية:

1. قيود الموارد: تمتلك العقد الطرفية (مثل الطائرات بدون طيار، الهواتف الذكية، عقد إنترنت الأشياء) ذاكرة وقدرة معالجة محدودة، مما يجعل من المستحيل تخزين أو مزامنة المجموعة الكاملة من الخبراء المطلوبة لطرق MoE الموزعة التقليدية.
2. عدم توازن حمل الخبراء: في إعدادات التعلم الاتحادي ذات البيانات غير المتماثلة (non-IID)، تطور العقد بطبيعتها تفضيلات لخبراء محددين يتناسبون مع أنماط بياناتها المحلية. وتؤدي الأساليب الحالية، مثل اختيار أفضل $k$ (top-$k$) الجشع، إلى إعطاء الأولوية للتخصيص المحلي ولكنها تتجاهل توزيع الحمل العالمي. يؤدي هذا إلى انحراف شديد في استغلال الخبراء، حيث يتم الإفراط في استخدام عدد قليل من الخبراء "الشائعين" بينما يظل الآخرون غير مستغلين بشكل كافٍ، مما يقلل من تعميم النموذج وأدائه العام.

التحدي الجوهري هو تصميم إطار عمل يعمل على تحسين تعيين الخبراء (مطابقة العملاء مع الخبراء المناسبين) وتوازن الحمل (ضمان تدريب جميع الخبراء بشكل كافٍ) بشكل مشترك تحت حدود سعة العميل الصارمة.

المنهجية: FLEX-MoE

يقترح المؤلفون FLEX-MoE (التعلم الاتفادي لخليط الخبراء مع تعيين متوازن للحمل)، وهو إطار عمل ينسق فيه الخادم لتعيين مجموعات فرعية من الخبراء للعملاء ديناميكيًا. تعمل دورة العمل في أربع مراحل لكل جولة اتصال:

1. تسجيل لياقة العميل والخبير

لقياس مدى ملاءمة خبير معين لبيانات عميل محلي، يحافظ الخادم على مصفوفة درجة لياقة العميل والخبير $Q$. يتم تحديث هذه الدرجة بناءً على التغذية الراجعة من جولات التدريب المحلية، وتحديدًا:

• القائمة على الدقة: باستخدام دقة التصنيف المحلية التي حققها الخبير.
• القائمة على الفقد (Loss): باستخدام دالة أسية للفقد المحلي ($\exp(-\alpha_L \ell)$).
  يتم تحديث الدرجات باستخدام المتوسط المتحرك الأسي (EMA) لتنعيم التقلبات بمرور الوقت.

2. خوارزمية تعيين الخبراء المتوازنة للحمل

على عكس الأساليب الجشعة التي تقوم ببساطة بتعيين أفضل $k$ من الخبراء لكل عميل، يصيغ FLEX-MoE عملية التعيين كـ مشكلة تحسين مقيدة (مقتبسة من مشكلة التعيين المعممة).

• الهدف: تعظيم إجمالي درجات لياقة العميل والخبير المتراكمة ($\sum Q(c,e) \cdot X_{c,e}$).
• القيود:
  • سعة العميل: يتم تعيين بالضبط $k_c$ من الخبراء لكل عميل $c$.
  • حدود الحمل: يجب أن يقع إجمالي حمل البيانات المعين لكل خبير $e$ ضمن حدود عليا ($\Gamma$) ودنيا ($L$) محسوبة ديناميكيًا.
• الحدود الديناميكية: يحسب الخادم حملًا مستهدفًا $\tau$ بناءً على السعة الإجمالية للنظام ويعدل الحدود بناءً على انحرافات الحمل التاريخية (باستخدام التنعيم الأسي) لتصحيح الاختلالات من الجولات السابقة.
• الحل: يحل الخادم مشكلة البرمجة الخطية هذه لتحديد مصفوفة التعيين الثنائية المثلى $X_{c,e}$.

3. التدريب والتجميع

• التدريب المحلي: تقوم العقد بتحميل معاملات الخبراء المعينة لها ومستخرج ميزات مشترك. تقوم بالتدريب محليًا باستخدام شبكة توجيه (gating network) مخصصة لتوجيه المدخلات إلى الخبراء المعينين لها.
• التغذية الراجعة: ترفع العقد تحديثات المعاملات ومقاييس التغذية الراجعة (أعداد الاستخدام، الدقة، الفقد) إلى الخادم.
• تجميع الخادم: يتم تجميع مستخرج الميزات المشترك عبر خوارزمية FedAvg. يتم تحديث معاملات الخبراء عبر المتوسط الموزون بالاستخدام، مما يضمن أن الخبماء الذين تم تدريبهم على بيانات أكثر يساهمون بشكل أكبر في التحديث العالمي.

المساهمات الرئيسية

تدعي الورقة صراحةً المساهمات التالية:

1. صياغة مبتكرة للمشكلة: يعد هذا أول عمل يعالج صراحةً المشكلة المشتركة لتعيين الخبراء وتوازن الحمل في التعلم الاتفادي لـ MoE تحت قيود الموارد.
2. آلية تسجيل اللياقة: تقديم آلية تسجيل لياقة العميل والخبير الكمية التي تدمج التغذية الراجعة للتدريب لتمكين اختيار الخبراء المصمم خصيصًا، مما يحسن كل من التخصيص وكفاءة التدريب.
3. التعيين القائم على التحسين: تصميم خوارزمية تعيين متوازنة للحمل تعمل على تحسين التخصص وتوازن الحمل على مستوى النظام بشكل مشترك، مما يمنع صراحةً عدم التوازن في تدريب الخبراء الذي تسببه الأساليب الجشعة.
4. التحقق التجريبي: إثبات أن فرض توازن الحمل أمر ضروري للأداء، خاصة في ظل توزيعات البيانات شديدة الانحراف، حيث تتفوق الطريقة على الاستراتيجيات الحالية في كل من الدقة ومقاييس توازن الحمل.

النتائج التجريبية

تم تقييم الإطار على ثلاثة مجموعات بيانات (CIFAR-10، EMNIST، GTSRB) تحت كل من توزيعات IID وغير المتماثلة (Dirichlet و Class Partition).

• الدقة: حقق FLEX-MoE باستمرار أعلى أو أعلى دقة اختبار في معظم التكوينات. وبينما قد تضاهي الأساليب الجشعة الدقة أحيانًا في سيناريوهات محددة (مثل GTSRB مع المقاييس القائمة على الفقد)، أظهر FLEX-MoE متانة فائقة، خاصة في إعدادات non-IID.
• توازن الحمل: حقق FLEX-MoE معامل تباين (CV) أقل بكثير في استغلال الخبراء مقارنة بالنماذج المرجعية. وبينما أدت الأساليب الجشعة غالبًا إلى قيم CV تتجاوز 0.2 (مما يشير إلى اختلال شديد)، حافظ FLEX-MoE على قيم CV قريبة من 0.003–0.005، مما يشير إلى تدريب موحد تقريبًا للخبراء.
• انحراف البيانات الشديد: في السيناريوهات شديدة الانحراف (مثل 2-Class partition أو Dirichlet $\alpha=0.1$)، عانت الأساليب الجشعة من انخفاض كبير في الدقة بسبب عدم توازن الحمل. حافظ FLEX-MoE على دقة عالية (على سبيل المثال، 61.00% مقابل 51.28% للأسلوب الجشع في 2-Class CIFAR-10) من خلال منع تجويع الخبراء.
• العبء الإضافي: كان العبء الحسابي للتحسين من جانب الخادم متواضعًا، مما أدى إلى زيادة بنسبة ~6% فقط في وقت التدريب الإجمالي مقارنة بالنماذج المرجعية الجشعة، وهو ما يعتبر عمليًا للتدريب الاتفادي.

الأهمية والادعاءات

تضع الورقة FLEX-MoE كتحول ضروري لـ الاتصالات اللاسلكية الأصلية للذكاء الاصطناعي (AI-native wireless communications) وحوسبة الحافة. يجادل المؤلفون بأن:

• توازن الحمل ليس خيارًا: في Federated MoE، يؤدي تجاهل عدم توازن الحمل إلى تدهور جودة النموذج، خاصة عندما تكون عدم تجانس البيانات مرتفعًا.
• التحسين العالمي يتفوق على الجشع المحلي: بينما يعد التخصيض المحلي مهمًا، يتطلب نموذج MoE موحد مشاركة جميع الخبراء بشكل كافٍ لضمان التعميم.
• القابلية للتوسع: من خلال السماح للعملاء بتخزين مجموعات فرعية فقط من الخبراء، يتيح FLEX-MoE نشر نماذج MoE واسعة النطاق على الأجهزة الطرفية محدودة الموارد، وهو شرط أساسي للشبكات اللاسلكية من الجيل القادم.

تخلص الورقة إلى أن التحسين المشترك لتعيين الخبراء وتوازن الحمل أمر بالغ الأهمية للنشر الفعال لـ Federated MoE في البيئات غير المتجانسة والمحدودة الموارد.