ملخص تقني: التدريب المشترك للتنبؤ متعدد الرموز في التعلم التعزيزي عبر المعايرة المثلى للمعاملات

بيان المشكلة

أصبح التعلم التعزيزي من المكافآت القابلة للتحقق (RLVR) هو النموذج القياسي لتعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs). وبالتزامن مع ذلك، أظهر التنبؤ متعدد الرموز (MTP)، وهو هدف مساعد يتم تدريبه أثناء مرحلة ما قبل التدريب للتنبؤ بعدة رموز مستقبلية، فوائد كبيرة في كفاءة العينات والعمل كنموذج مسودة لفك التشفير الاستشرافي (speculative decoding).

من الناحية الحدسية، ينبغي أن يسمح التحسين المشترك لأهداف MTP وRL أثناء مرحلة ما بعد التدريب للنماذج بالاستفيد من الإشراف متعدد الرموز مع اكتساب قدرات الاستنتاج. ومع ذلك، تظهر الأدلة التجريبية أن التدريب المشترك لـ MTP-RL غالبًا ما يؤدي إلى تدهور كبير في أداء النموذج الرئيسي. وبناءً على ذلك، فإن الممارسات الحالية (على سبيل المثال، في أطر عمل مثل veRL وslime) تقوم عادةً بفصل تدرجات MTP عن النموذج الرئيسي أثناء تدريب RL. هذا الفصل يجبر معاملات MTP على التكيف فقط من خلال ضبط دقيق لاحق ومستقل، مما يضحي بالمكاسب المحتملة من الإشراف المتزامن متعدد الرموز. المشكلة الجوهرية التي يتناولها البحث هي: لماذا يفشل التدريب المشترك لـ MTP-RL، وهل يمكن تصميم استراتيجية مبدئية لتمكين التدريب المشترك الفعال؟

المنهجية

التحليل النظري

يتناول المؤلفون المشكلة من منظور التحسين، حيث يحللون تأثير MTP لكل خطوة على هدف RL المسمى $J(\theta)$. بافتراض وجود دالة هدف ذات نعومة $L$ (L-smooth)، يستنتجون حداً أدنى للتحسن في كل خطوة. يكشف هذا التفكيك أن تأثير MTP محكوم بمصطلحين متنافسين:

1. مصطلح الارتباط من الدرجة الأولى: يتحدد من خلال الاتفاق الاتجاهي (الضرب الداخلي) بين تدرج RL ($g_{RL}$) وتدرج MTP ($g_{MTP}$).
2. عقوبة الاضطراب من الدرجة الثانية: مصطلح غير موجب يعكس الاضطراب الناتج عن مقدار تدرج MTP.

يحدث التحسن في الأداء فقط إذا تفوق مصطلح الارتباط على مصطلح العقوبة.

تحليل الأنظمة الحالية

باستخدام هذا التفكيك، يوحد البحث ويفسر ثلاثة أنظمة تدريب موجودة:

• الفصل (Detach): حيث يكون $g_{MTP} = 0$ بالنسبة للنموذج الرئيسي. وبالتالي $\Delta_{MTP} = 0$. هذا الخيار آمن ولكنه يضيع المكاسب المحتملة.
• خسارة الإنتروبيا المتقاطعة (CE Loss): يكون مصطلح الارتباط قريباً من الصفر في التوقع لأن RL يرفع وزن العينات ذات المكافأة العالية بينما تعامل CE جميع العينات بالتساوي. نتيجة لذلك، تسود عقوبة الدرجة الثانية السالبة، مما يسبب تدهوراً في الأداء.
• خسارة السياسة (Policy Loss): تستخدم نفس صيغة هدف RL لـ MTP. في البداية، تكون التدرجات متوافقة، ويتفوق مصطلح الارتباط، مما يحقق مكاسب. ومع ذلك، مع تقدم التدريب ودخول النموذج في مناطق مسطحة من مشهد الخسارة، يتلاشى الارتباط بينما يستمر مقدار التدرج (وبالتالي تستمر العقوبة). يؤدي هذا إلى منحنى أداء "ارتفاع ثم انخفاض"، حيث لا يمكن للمعامل الثابت تتبع الانتقال الطوري.

الحل المقترح: المعايرة المثلى للمعاملات (OCC)

لمعالجة الانتقال الطوري، يقترح المؤلفون المعايرة المثلى للمعاملات (OCC)، وهي آلية تكيفية تتبع المعامل الأمثل لـ MTP ($\lambda$) عبر الإنترنت.

1. الأمثل ذو الصيغة المغلقة: يستنتج التحليل تعبيراً ذا صيغة مغلقة لـ $\lambda^*$ الأمثل عند كل خطوة، والذي يتناسب طردياً مع نسبة الارتباط في التدرج ($c$) إلى مربع مقدار التدرج ($v^2$).
2. وكيل الاحتمال اللوغاريتمي: حساب تدرجات النموذج الكامل لـ $c$ و $v^2$ مكلف للغاية في الأنظمة الموزعة واسعة النطاق. لذا يستخدم OCC وكيل احتمال لوغاريتمي مشتق من التغير في الاحتمال اللوغاريتمي تحت تحديثات الخطوة الصغيرة ($\delta \approx \log \pi_\theta - \log \pi_{old}$).
   • وكيل المحاذاة ($\hat{c}_t$): يقدر الضرب الداخلي.
   • وكيل التباين ($\hat{v}^2_t$): يقدر مربع المقدار.
3. التحديث التكيفي: يتم تحديث المعامل كالتالي $\lambda_t = \lambda_+ \cdot \frac{\hat{c}_t}{\hat{v}^2_t + \epsilon}$. يسمح هذا لـ OCC بتعديل وزن MTP ديناميكياً، مما يحافظ على مكاسب إيجابية طوال التدريب دون الحاجة لحساب التدرجات الكاملة للنموذج.

المساهمات الرئيسية

1. التوحيد النظري: يقدم البحث تحليلاً نظرياً يوحد أنظمة Detach وCross-Entropy وPolicy Loss، موضحاً نجاحها أو فشلها بناءً على التفاعل بين ارتباط الدرجة الأولى واضطراب الدرجة الثانية.
2. خوارزمية OCC: يقترح المعايرة المثلى للمعاملات، وهي إجراء تكيفي يعاير معامل MTP عبر الإنترنت باستخدام وكيل الاحتمال اللوغاريتمي. تتطلب هذه الطة تكلفة حوسبية ضئيلة وتتجنب حساب تدرج النموذج الكامل.
3. التحقق التجريبي: أظهرت التجارب المكثفة عبر نماذج متعددة (MiMo-7B, GLM-4.5-Air) وخوارزميات مختلفة (DAPO, GSPO) على معايير الاستنتاج الرياضي التنافسية أن OCC يتفوق باستمرار على خط الأساس Detach.

النتائج التجريبية

قيم المؤلفون OCC على ستة معايير: AIME24، AIME25، AMC، MATH، Minerva، وOlympiadBench.

• الأداء: عبر جميع المعايير ومقاييس النماذج (7B كثيف و106B MoE)، تفوق OCC باستمرار على خط الأساس Detach وعلى Policy Loss ذي المعامل الثابت.
  • في نموذج MiMo-7B مع DAPO، حقق OCC متوسط دقة بلغ 61.7%، متفوقاً على Detach (58.9%) وPolicy Loss (57.4%).
  • في نموذج GLM-4.5-Air، حقق OCC متوسط دقة بلغ 67.6% مقابل 65.9% لـ Detach.
• ديناميكيات التدريب: بينما أظهرت Policy Loss اتجاه "الارتفاع ثم الانخفاض" (التدهور في المراحل المتأخرة)، حافظ OCC على تحسينات مستقرة طوال فترة التدريب. أما CE Loss فقد كان أداؤه أقل باستمرار من Detach.
• الكفاءة: قدم OCC عبئاً حسابياً ضئيلاً. كان وقت تدريب الخطوة الواحدة (wall-clock time) لـ OCC (8.07 ثانية) مقارباً لـ Detach (8.11 ثانية)، بينما تطلب الانتشار الخلفي للنموذج الكامل 45.06 ثانية (تباطؤ بمقدار 5.6 ضعفاً).
• الدراسة الاستقصائية (Ablation): أظهرت دراسة الحساسية أن عامل القياس المحدد مسبقاً $\lambda_+$ قوي عبر مجموعة من القيم، حيث حقق $\lambda_+ = 1.0$ أفضل متوسط أداء.

الأهمية والادعاءات

يزعم البحث أن فشل تدريب MTP-RL المشترك ليس متأصلاً في الطبيعة، بل ينبع من عدم التطابق بين المعاملات الثابتة والانجراف الديناميكي للمحاذاة التدرجية أثناء التدريب. ومن خلال تقديم تفكيك نظري لمشهد التحسين واقتراح OCC، يثبت المؤلفون أنه يمكن إعادة إدخال MTP بأمان في مرحلة ما بعد تدريب RL.

تكمن الأهمية في تمكين النماذج من اكتساب قدرات الاستنتاج عبر RL والاستفادة من التمثيلات متعددة الرموز في آن واحد دون التضحية بالأداء أو تحمل تكاليف حوسبية باهظة. يشير العمل إلى أن المعايرة التكيفية ضرورية للتدريب المشترك في مشاهد التعلم العميق غير المحدبة، مما يقدم بديلاً مبدئياً للمعيار الصناعي الحالي المتمثل في فصل التدرج.

القيود

يشير المؤلفون إلى أن تحليلهم النظري يعتمد على افتراضات النعومة $L$ التي قد لا تتحقق تماماً في المشاهد غير المحدبة، مما يوفر توجيهاً نوعياً بدلاً من الكمي. كما أن وكيل الاحتمال اللوغاريتمي هو تقريب من الدرجة الأولى قد يفقد دقته تحت معدلات التعلم الكبيرة. علاوة على ذلك، تركز التجارب على الاستنتاج الرياضي مع المكافآت القابلة للتحقق؛ ويظل تعميم النتائج على إعدادات مثل RLHF مع نماذج مكافأة متعلمة أو التوليد مفتوح النهايات أمراً يحتاج إلى تحقق.