SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning

ملخص تقني: منهجية (SFT ثم RL) تتفوق على طرق السياسة المختلطة في استنتاج النماذج اللغوية الكبيرة (LLMs)

1. بيان المشكلة

في تدريب النماذج اللغوية الكبيرة (LLMs) للمهام الاستنتاجية المعقدة (مثل الرياضيات)، يعد المسار المكون من مرحلتين هو المعيار الصناعي الحالي: الضبط الدقيق الخاضع للإشراف (SFT) يليه التعلم التعزيزي (RL).

مؤخراً، اقترحت موجة من الأبح yaitu "طرق السياسة المختلطة" (mixed-policy methods). تحاول هذه الطرق دمج أو مزج إشارات الـ SFT والـ RL خلال مرحلة تدريب واحدة لحل مشكلة "المكافأة المتفرقة" (حيث يواجه الـ RL صعوبة لأن النموذج نادراً ما يجد الإجابة الصحيحة) ومشكلة "نقص الاستكشاف" (حيث لا يستطيع الـ SFT وحده تطوير استنتاج ذاتي الاستقلال). ومع ذلك، تسجل هذه الطرق الجديدة باستمرار نتائج رائدة (SOTA) من خلال ادعاء تحقيق تحسينات كبيرة مقارنة بالخط المرجعي القياسي (SFT-then-RL).

2. المنهجية واكتشاف الأخطاء البرمجية (Bugs)

يفترض مؤلفو هذه الورقة أن التفوق الملحوظ لطرق السياسة المختلطة هو وهم ناتج عن خطوط مرجعية (baselines) معيبة. ومن خلال التحقق الصارم عبر أطر العمل المختلفة، حددوا خطأين برمجيين حرجين وصامتين في أطر تدريب مفتوحة المصدر واسعة الاستخدام، مما يؤدي بشكل منهجي إلى خفض أداء الـ SFT:

• خطأ المحسن مع تقنية CPU-Offloading (في DeepSpeed): في التكوينات التي تستخدم DeepSpeed ZeRO Stage 1 أو 2 مع تقنية CPU offloading (لتوفեր ذاكرة الـ GPU)، يتسبب خطأ في روتين تجميع التدرجات (gradient accumulation) في جعل المحسن "يرى" فقط التدرجات من الدفعة الصغيرة (micro-batch) الأولى. يتم تجميع التدرجات من الدفعات الصغيرة اللاحقة على الـ GPU ولكن لا يتم نسخها أبداً إلى جانب الـ CPU الخاص بالمحسن. هذا يجعل الجزء الأكبر من بيانات التدريب غير مفيد فعلياً لتحديثات التدرج. يؤثر هذا الخطأ على أطر عمل رئيسية مثل TRL و OpenRLHF و Llama-Factory.
• خطأ تجميع الخسارة (في OpenRLHF/Llama-Factory/verl): خطأ شائع في تجميع التدرجات حيث يقوم الكود بحساب "متوسط متوسطات كل دفعة صغيرة" بدلاً من "متوسط حقيقي لكل توكن (per-token mean)". ولأن الدفعات الصغيرة المختلفة تحتوي على أعداد مختلفة من توكنات الاستجابة النشطة، فإن هذا يؤدي إلى وزن غير صحيح للدفعات الصغيرة، مما يؤدي إلى تحسين دون المستوى الأمثل وعدم استقرار التدريب.

3. المساهمات الرئيسية

• تحديد الأخطاء وإصلاحها: حدد المؤلفون الخطأين المذكورين أعلاه وقدموا إصلاحات لهما. وقد قدموا طلبات سحب (pull requests) إلى DeepSpeed و OpenRLHF، والتي تم قبولها ودمجها لاحقاً.
• تصحيح الخط المرجعي: قاموا بإعادة تنفيذ وتصحيح خطوط الـ SFT المرجعية باستخدام إطار العمل verl ونسخة مصححة من OpenRLHF.
• التحليل المقارن: أجروا تقييماً شاملاً عبر عائلات نماذج متعددة (Qwen2.5-Math-7B و Llama-3.1-8B) وعدة اختبارات رياضية (AIME، AMC، MATH-500، إل_خ) لمقارنة مسار (SFT-then-RL) المصحح مقابل طرق السياسة المختلطة المنشورة (مثل LUFFY، ReLIFT، SRFT، إلخ).

4. النتائج

تظهر النتائج أنه بمجرد إصلاح الأخطاء، فإن مسار (SFT-then-RL) القياسي يتفوق بشكل كبير على طرق السياسة المختلطة:

• مكاسب الأداء: في نموذج Qwen2.5-Math-7B، يتفوق مسار (SFT-then-RL) المصحح على أفضل طريقة منشورة للسياسة المختلطة (SRFT) بمقدار +3.8 نقطة في المهام الرياضية داخل التوزيع (in-distribution). وفي نموذج Llama-3.1-8B، الفجوة أكبر بكثير: يتفوق المسار المصحح على أفضل المنافسين بمقدار +22.2 نقطة.
• الكفاءة (FLOPs): وجد المؤلفون أن مسار (SFT-then-RL) "المقتطع" (باستخدام 50 خطوة RL فقط بدلاً من 500) لا يزال يتفوق على جميع طرق السياسة المختلطة مع استخدام عدد أقل بكثير من العمليات الحسابية (FLOPs).
• ديناميكيات التدريب: توضح الورقة أن الـ SFT يوفر إشارة مكافأة "كثيفة" لمرحلة الـ RL اللاحقة. في المقابل، تعاني طرق السياسة المختلطة لأنها تحاول تعلم المعرفة وتحسين الاستنتاج في آن واحد، وغالباً ما تبدأ من حالة مكافأة تقترب من الصفر.

5. الأهمية

لهذه الورقة آثار عميقة على مجتمع أبحاث النماذج اللغوية الكبيرة:

1. التحقق من النموذج (Paradigm Validation): إنها تعيد الثقة في نموذج SFT $\rightarrow$ RL المتسلسل، مما يشير إلى أن "فصل المهام" (اكتساب المعرفة عبر SFT وتحسين الاستراتيجية عبر RL) أكثر فعالية من محاولة القيام بكليهما في وقت واحد.
2. الدقة العلمية: تعمل الورقة كدرس تحذيري بشأن "الأخطاء الصامتة" في أطر التعلم العميق. نظرًا لأن هذه الأخطاء لا تسبب توقف البرنامج بل تكتفي بخفض الأداء، فقد تؤدي إلى استنتاجات علمية خاطئة والترويج لمنهجيات دون المستوى الأمثل.
3. الدعوة للتحقق المتبادل (Cross-Validation): يؤكد المؤلفون على ضرية التحقق من النتائج عبر أطر عمل مستقلة ومتنوعة (على سبيل المثال، مقارنة DeepSpeed بـ PyTorch FSDP) لضمان أن "الابتكارات" المبلغ عنها ليست مجرد نتيجة لإصلاح خط مرجعي مكسور.