Expert Threshold Routing for Autoregressive Language Modeling with Dynamic Computation Allocation and Load Balancing

إليك ملخص تقني مفصل لورقة البحث بعنوان "Expert Threshold Routing for Autoregressive Language Modeling with Dynamic Computation Allocation and Load Balancing" (توجيه عتبة الخبير للنمذجة اللغوية ذاتية الانحدار مع تخصيص الحوسبة الديناميكي وموازنة الحمل).

1. بيان المشكلة

تعد بنى "خليط الخبراء" (Mixture-of-Experts - MoE) بالغة الأهمية لتوسيع نطاق النماذج اللغوية بكفاءة من خلال فصل عدد المعلمات عن التكلفة الحسابية. ومع ذلك، تواجه آليات التوجيه الحالية مقايضة جوهرية بين موازنة الحمل (load balancing) والسببية (causality) (وهي المتطلب بأن تعتمد قرارات الاستدلال فقط على الرموز السابقة):

• توجيه اختيار الرمز (Token Choice - TC): يوجه كل رمز إلى عدد ثابت من $G$ من الخبراء. ورغم أنه يتسم بالسببية، إلا أنه يعاني من عدم توازن الحمل، وغالبًا ما يتطلب خسائر مساعدة أو متحكمات PID لمنع "انهيار التوجيه" (حيث يتم الإفراط في استخدام عدد قليل من الخبراء). كما أنه يفتقر إلى تخصيص الحوسبة الديناميكي (حوسبة ثابتة لكل رمز).
• توجيه اختيار الخبير (Expert Choice - EC): يختار كل خبير أفضل $k$ من الرموز من ضمن دفعة (batch) معينة. يحقق هذا التوجيه موازنة مثالية للحمل ويسمح بالحوسبة الديناميكية (يمكن توجيه الرموز إلى 0 أو 1 أو عدة خبراء). ومع ذلك، فهو غير سببي (non-causal) بالنسبة للتوليد ذاتي الانحدار لأن اختيار أفضل $k$ من الرموز يتطلب الوصول إلى الدفعة بأكملة، بما في ذلك الرموز المستقبلية التي لا توجد أثناء الاستدلال. وهذا يخلق فجوة حادة بين التدريب والاستدلال.

تهدف الورقة إلى حل هذا التوتر عبر إنشاء آلية توجيه تدعم تخصيص الحوسبة الديناميكي وموازنة الحمل مع البقاء سببية تماماً للنمذجة اللغوية ذاتية الانحدار.

2. المنهجية: توجيه عتبة الخبير (Expert Threshold - ET)

يقترح المؤلفون توجيه عتبة الخبير (ET)، والذي يخفف من القيود الصارمة لكل دفعة في توجيه (EC) لصالح توقع عشوائي فوق توزيع الرموز العالمي.

الآلية الجوهرية

بدلاً من اختيار أفضل $k$ من الرموز داخل دفعة محددة، يحافظ توجيه (ET) على متوسط متحرك أسي (EMA) للعتبة ($c_i$) لكل خبير $i$. تمثل هذه العتبة المئينية العالمية (global quantile) لدرجات الموجه المطلوبة للتنشيط.

• قاعدة التوجيه: لأي رمز $t$ وخبير $i$، يتم توجيه الرمز إذا تجاوزت درجة الموجه الخاصة به $r_{t,i}$ عتبة الخبير:
  $$z_{t,i} = \mathbb{1}\{r_{t,i} > c_i\}$$
• تحديث العتبة: أثناء التدريب، يتم تحديث العتبة $c_i$ باستخدام متوسط متحرك أسي لأكبر قيمة لوغاريتمية (logit) لـ $k$ من الرموز المرصودة في الدفعة (حيث $k = N/E$ هي السعة المستهدفة).
  $$c_i \leftarrow \beta c_i + (1 - \beta) \cdot \text{k-th-largest}(\{r_{t,i}\}_{t=1}^N)$$
• السببية: بما أن القرار الخاص بالرمز $t$ يعتمد فقط على درجته الحالية $r_{t,i}$ وعتبته العالمية التاريخية $c_i$، فإن الآلية سببية تماماً. فهي لا تتطلب معرفة بالرموز المستقبلية أو تكوين الدفعة الحالية.

استراتيجية الإحماء (Warmup Strategy)

في بداية التدريب، تكون درجات الموجه غير مستقرة، ولم تستقر عتبة المتوسط المتحرك الأسي بعد. يمكن أن يؤدي هذا إلى "مجاعة الخبراء" (حيث يفشل معظم الرموز في تجاوز العتبة). لمعالجة ذلك، يستخدم المؤلفون مرحلة إحماء:

1. استخدام توجيه (EC) القياسي (اختيار أفضل $k$) لأول 4,000 خطوة.
2. السماح لعتبات المتوسط المتحرك الأسي بالاستقرار تحت موازنة حمل محكومة.
3. الانتقال إلى توجيه (ET) بمجرد أن تصبح العتبات ذات معنى.

3. المساهمات الرئيسية

1. التوجيه الديناميكي السببي: يعد (ET) أول آلية تحقق فوائد توجيه "اختيار الخبير" (التخصيص الديناميكي للحوسبة والموازنة المثالية للحمل في التوقع) مع الحفاظ على السببية الكاملة، مما يجعله مناسباً للنماذج اللغوية ذاتية الانرداد.
2. إلغاء الخسائر المساعدة: على عكس توجيه (TC)، يحقق (ET) موازنة الحمل بشكل طبيعي من خلال آلية العتبة، مما يلغي الحاجة إلى خسائر موازنة الحمل المساعدة التي قد تسبب انحيازاً لدرجات الموجه.
3. الاتساق بين التدريب والاستدلال: نظرًا لاستخدام نفس المنطق القائم على العتبة في كل من التدريب والاستدلال، فإن (ET) يلغي الفجوة بين التدريب والاستدلال المتأصلة في نماذج (EC) (التي غالباً ما تتطلب إعادة تدريب أو تنبؤات معقدة للتعامل مع الاستدلال).
4. التقريب على مستوى المجتمع: نظرياً، يقرب (ET) حد توجيه (EC) مع اقتراب حجم الدفعة من اللانهاية، حيث تصبح عتبة الاختيار مستقلة عن تكوين الدفعة المحددة.

4. النتائج التجريبية

قيم المؤلفون (ET) على مجموعة بيانات FineWeb-Edu باستخدام نماذج تم توسيعها لتصل إلى 2.4 مليار معلمة (0.56 مليار معلمة نشطة).

• الأداء مقابل اختيار الرمز (TC):
  • حقق (ET) خسارة تقاطع (CE) أقل بمقدار 0.067 مقارنة بتوجيه (TC).
  • هذا التحسن يعادل الوصول إلى نفس مستوى الأداء باستخدام 1.6 ضعف أقل من الرموز.
  • تفوق (ET) أيضاً بشكل كبير على (TC) في اختبار CORE (مجموعة من مهام التعلم داخل السياق).
• الأداء مقابل اختيار الخبير (EC):
  • طابق (ET) أداء (EC) المدرب مع أحجام دفعات كبيرة جداً (512 ألف رمز).
  • يصل أداء (EC) إلى حالة التشبع حول حجم دفعة يتراوح بين 64 ألف إلى 512 ألف؛ بينما يحقق (ET) أداء "الدفعة الكبيرة" هذا دون الحاجة إلى تنسيق الدفعات الكبيرة أثناء الاستدلال.
  • فجوة التدريب-التقييم: أظهر (EC) مع الدفعات الصغيرة (مثل 2 ألف) فجوة كبيرة بين خسارة التدريب وخسارة التقييم بسبب الطبيعة غير السببية للاختيار (top-$k$). بينما أظهر (ET) فجوة ضئيلة، مما يؤكد استقراره.
• تخصص الخبراء:
  • أظهر التحليل أن (ET) يطور أنماط تخصص للخبراء (على سبيل المثال، خبراء محددون يتعاملون مع البرمجة مقابل الرياضيات) مماثلة لـ (EC) ذي الدفعات الكبيرة، مما يشير إلى أن عتبة مستوى المجتمع تلتقط بنجاح هياكل التوجيه الخاصة بالمجالات.
• الحوسبة الديناميكية:
  • نجح (ET) في تخصيص المزيد من الحوسبة للرموز الصعبة (مثل الأرقام في المسائل الرياضية، والكلمات المفتاحية في البرمجة) وأقل للرموز السهلة، مما يدل على تخصيص فعال للموارد الديناميكية.

5. الأهمية

تجسر هذه الورقة فجوة حرجة في أبحاث (MoE). لسنوات، كان توجيه "اختيار الخبير" (Expert Choice) يُعتبر متفوقاً نظرياً لموازنة الحمل وتخصيص الحوسبة الديناميكي، ولكنه كان غير قابل للاستخدام عملياً للتوليد ذاتي الانحدار بسبب انتهاكات السببية. بينما كان "اختيار الرمز" (Token Choice) هو المعيار للنماذج ذاتية الانحدار، لكنه عانى من عدم توازن الحمل وتخصيص الحوسبة الثابت.

يحل "عتبة الخبير" (ET) هذه المعضلة عبر نقل النموذج من التحسين على مستوى الدفعة إلى التقدير على مستوى المجتمع. من خلال استخدام عتبات متتبعة بواسطة المتوسط المتحرك الأسي (EMA)، يسمح (ET) للنماذج بـ:

• التوسع بكفاءة دون الحاجة لخسائر مساعدة.
• تخصيص الحوسبة ديناميكياً بناءً على صعوبة الرمز.
• الحفاظ على موازنة حمل مثالية في التوقع.
• العمل بشكل سببي صارم، مما يتيح تدريباً واستدلالاً سلساً دون تغييرات في البنية أو إعادة تدريب.

تفتح هذه الآلية آفاقاً جديدة لبناء نماذج لغوية ذاتية الانحدار قابلة للتوسع، فعالة، وعالية الأداء.