Complementing reinforcement learning with SFT through logit averaging in the post training of LLMs

ملخص تقني: استكمال التعلم التعزيزي عبر الضبط الدقيق الموجه (SFT) من خلال متوسط اللوغاريتمات (Logit Averaging)

1. بيان المشكلة

تعتمد مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs) عادةً على نموذجين: الضبط الدقيق الموجه (SFT) والتعلم التعزيزي (RL) مع مكافآت قابلة للتحقق (RLVR). وبينما يوفر الـ SFT إشرافاً كثيفاً لكل رمز (token) لتعلم التنسيق والأسلوب، إلا أنه يظل محدوداً بتوزيع النماذج التجريبية. وفي المقابل، يمكن لطرق التعلم التعزيزي مثل تحسين السياسة القريبة (PPO) وتحسين السياسة النسبية للمجموعة (GRPO) أن تتجاوز هذه الحدود التوزيعية، لكنها تعاني من إشارات مكافأة متفرقة ومشوشة.

النهج القياسي يجمع بينهما بالتتابع: يتم تطبيق SFT أولاً، يليه التعلم التعزيزي مع حد تنظيم "كولباك - ليبلر" (KL)، وهو $\beta \text{KL}(\pi_\theta \| \pi_{\text{sft}})$، لربط السياسة القابلة للتدريب $\pi_\theta$ بالمرجع $\pi_{\text{sft}}$. ويحدد المؤلفون توتراً جوهرياً في وصفة "الارتباط بـ KL" هذه: حيث يعمل جزاء الـ KL على سحب $\pi_\theta$ نحو $\pi_{\text{sft}}$، مما قد يقيد السياسة بحدود نسخة الـ SFT (مثل الأخطاء الجبرية أو حلقات التكرار)، ويمنعها من الاستفادة الكاملة من قدرات الاستدلال التي طورها التعلم التعزيزي. وغالباً ما يحاول الممارسون التخفيف من ذلك باختيار قيمة صغيرة لـ $\beta$، لكن المؤلفين يقترحون بديلاً هيكلياً للتنظيم.

2. المنهجية

يقدم البحث طريقة تستبدل تنظيم KL بـ متوسط اللوغاريتمات (logit averaging). فبدلاً من معاقبة التباعد، يتم ربط السياسة القابلة للتدريب $\pi_\theta$ والسياسة المرجعية المجمدة $\pi_{\text{ref}}$ (مثل SFT) عن طريق متوسط لوغاريتماتهما لتشكيل سياسة مختلطة $\pi^{\text{mix}}_{\theta, \alpha}$.

الآلية الجوهرية:
بإعطاء وزن $\alpha \in [0, 1]$ وحالة $s$، تُعرف اللوغاريتمات المختلطة $z^{\text{mix}}_{\theta, \alpha}(s)$ كالتالي:
$$z^{\text{mix}}_{\theta, \alpha}(s) = (1 - \alpha) z_\theta(s) + \alpha z_{\text{ref}}(s)$$
تكون السياسة المختلطة هي $\pi^{\text{mix}}_{\theta, \alpha}(a | s) = \text{softmax}(z^{\text{mix}}_{\theta, \alpha}(s))$.

هدف التدريب:
يكيف المؤلفون هدف GRPO ليتناسب مع هذه السياسة المختلطة:

• المسارات (Rollouts): يتم أخذ عينات من المسارات من السياسة المختلطة $\pi^{\text{mix}}_{\theta, \alpha}$ بدلاً من السياسة النقية القابلة للتدريب $\pi_\theta$.
• تقدير الميزة (Advantage Estimation): تُحسب المزايا النسبية للمجموعة بناءً على المكافآت من هذه المسارات المختلطة.
• التحسين (Optimization): يتم تحديث المعلمات القابلة للتدريب $\theta$ لتعظيم المكافأة تحت السياسة المختلطة. وتظل لوغاريتمات المرجع $z_{\text{ref}}$ مجمدة طوال فترة التدريب.
• مخططات الوزن:
  1. الأوزان الثابتة: يتم تثبيت $\alpha$ (على سبيل المثال $\alpha=0.5$) طوال التدريب.
  2. الأوزان التكيفية: يتم تحديث $\alpha$ ديناميكياً بناءً على مجموعة تحقق (validation set) محجوزة. تستخدم قاعدة التحديث مقياس "صافي الربح" (net-gain) الذي يقارن بين صحة السياسة النقية مقابل السياسة المختلطة، مما يدفع $\alpha$ نحو 1 إذا حقق الخلط صافي ربح، ونحو 0 بخلاف ذلك.

المقارنة بـ RLVR:
على عكس طرق RLVR القياسية (PPO, GRPO, DAPO) التي تستخدم ناقداً (critic) وتنظيم KL، لا تستخدم هذه الطريقة حداً لـ KL أو ناقداً. تشارك السياسة المرجعية في عملية الاستكشاف عبر متوسط اللوغاريتمات، وتُحسب نسب الأهمية (importance ratios) في دالة الفقد بين السياسات المختلطة الحالية والقديمة.

3. المساهمات والنتائج الرئيسية

المهارات المتكاملة (النمط 1 و 2):
يكشف التحليل التجريبي عبر مجموعات بيانات MATH و cn-k12 و MMLU أن SFT والسياسة المدربة بالتعلم التعزيزي تمتلكان مهارات متكاملة:

• SFT: يتفوق في التنسيق (الالتزام بنماذج المخرجات) ولكنه قد يفشل في الاستدلال المعقد.
• سياسة التعلم التعزيزي ($\pi_\theta$): تتفوق في الاستدلال (استخراج الإجابات الرقمية الصحيحة) ولكنها غالباً ما تفقد الانضباط في التنسيق.
• التكامل: يتم حل نسبة كبيرة من المشكلات (22%–38%) بشكل صحيح بواسطة سياسة واحدة فقط من السياستين. يعمل متوسط اللوغاريتمات كـ "حاصل ضرب الخبراء" (Product of Experts)، حيث يجمع قوة التنسيق في SFT مع قوة الاستدلال في سياسة التعلم التعزيزي.

نتائج الأداء:
تم التقييم على نماذج Qwen2.5-Instruct (بأحجام 1.5B، 3B، 7B) عبر ثلاث مجموعات بيانات:

• الدقة: يحقق منهج متوسط اللوغاريتمات دقة إجابة أعلى أو مكافئة لـ GRPO التقليدي المنظم بـ KL في جميع الحالات التسع (مجموعة البيانات $\times$ حجم النموذج).
• دراسة الاستبعاد (Ablation): أدى استبدال مرجع SFT بنموذج Instruct أساسي إلى أداء أقل بكثير، مما يؤكد أن المكاسب ناتجة عن الخلط مع مرجع مدرك للتنسيق.
• متوسط اللوغاريتمات مقابل متوسط الاحتمالات: يتفوق متوسط اللوغاريتمات (المتوسط الهندسي للتوزيعات) على متوسط الاحتمالات (المتوسط الحسابي). يحقق متوسط اللوغاريتمات معدلات حل أعلى بأوزان خلط أصغر ويصل لذروته عند $\alpha=0.5$، بينما يتطلب متوسط الاحتمالات أوزانًا أعلى ويصل لذروته عند $\alpha=0.6$.

الارتباط النظري:
يؤكد البحث أن متوسط اللوغاريتمات يكافئ رياضياً "حاصل ضرب الخبراء" (POE). السياسة الناتجة تقلل من مجموع أوزان تباعدات KL تجاه سياسات التعلم التعزيزي والمرجع. هذا الهيكل يسمح للسياسة بتركيز الاحتمالية على الرموز (tokens) التي يفضلها كلا الخبيرين، مما يصحح بفعالية الأخطاء الجبرية في SFT مع الحفاظ على قيود التنسيق الخاصة به.

4. الأهمية والادعاءات

يزعم المؤلفون أن هذه الطريقة تقدم ميزة متميزة على وصفة تنظيم KL القياسية من خلال فصل "مرجع التنسيق" عن "قيد التدرج" (gradient constraint).

• التغلب على القيود: بينما يجبر تنظيم KL السياسة $\pi_\theta$ على البقاء قريبة من $\pi_{\text{sft}}$ (مما قد يرث عيوب الاستدلال الخاصة بها)، فإن متوسط اللوغاريتمات يسمح لـ $\pi_\theta$ بتجاوز قيود المرجع مع الحفاظ على مزايا التنسيق من خلال الربط الهيكلي للسياسة المختلطة.
• منطقة الثقة الضمنية: يعمل الخلط كمنطقة ثقة ضمنية، مما يمنع الانحراف التوزيعي بعيداً عن أساليب التنسيق التي غالباً ما تصاحب التعلم التعزيزي الصرف عند النطاقات الواسعة.
• الأولويات الكثيفة: على عكس التعلم التعزيزي الذي ينشر الإشارات فقط من رمز المكافأة النهائي، يدمج متوسط اللوغاريتمات "أولوية" (prior) كثيفة على مستوى الرمز من مرجع SFT في كل خطوة فك تشفير.
• القابلية للتوسع: يمتد النهج بشكل طبيعي إلى مجموعات نماذج اللغات الصغيرة (SLMs)، مما يسمح للنظام بالاستفادة من خبراء متخصصين (مثل البرمجة، السلامة، أو المصطلحات المتخصصة) دون تكلفة تدريب سياسة واحدة ضخمة.

يخلص البحث إلى أن متوسط اللوغاريتمات يوفر بديلاً قوياً لتنظيم KL، حيث ينجح في استغلال التكامل بين SFT والتعلم التعزيزي لتحسين دقة الاستدلال دون التضحية بجودة التنسيق.