Learn Hard Problems During RL with Reference Guided Fine-tuning

إليك ملخص تقني مفصل لورقة البحث بعنوان "Learn Hard Problems During RL with Reference Guided Fine-tuning".

1. بيان المشكلة

تعالج الورقة عقبة حرجة في تطبيق التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) على الاستدلال الرياضي: ندرة المكافأة (Reward Sparsity).

• المشكلة الجوهرية: في نظام RLVR، يتم تدريب النماذج عن طريق أخذ عينات من مسارات استدلال متعددة، ولا يتم تلقي مكافأة إلا إذا كانت الإجابة النهائية صحيحة. بالنسبة للمسائل الصعبة (مثل مسائل مستوى الأولمبياد)، غالبًا ما يفشل النموذج اللغوي الكبير (LLM) الأساسي في توليد أي مسارات صحيحة خلال مرحلة أخذ العينات.
• النتيجة: بدون مكافآت إيجابية، يتلقى النموذج إشارات تدرج (gradient signals) صفرية أو نادرة، مما يؤدي إلى توقف التدريب. لا يمكن لعملية التعلم التعزيزي (RL) تعلم حل المسائل التي لا يستطيع النموذج حلها في البداية.
• محدودية الحلول الحالية:
  • الضبط الدقيق الموجه (SFT) المباشر على المراجع: مجرد الضبط الدقيق على الحلول المرجعية المكتوبة بشريًا غالبًا ما يفشل لأن النموذج لا يستطيع محاكة أنماط الاستدلال التي تقع خارج توزيع استدلاعه الذاتي (عدم تطابق التوزيع - distributional mismatch).
  • الضبط الدقيق المعزز (ReFT): بينما يحسن ReFT الأداء من خلال الضبط الدقيق على المسارات الصحيحة التي ولدها النموذج بنفسه، فإنه لا يستطيع المساعدة في المسائل التي يعجز النموذج حاليًا عن حلها، حيث لا توجد مسارات صحيحة مولدة ذاتيًا من الأساس.

2. المنهجية: الضبط الدقيق الموجه بالمرجع (ReGFT)

يقترح المؤلفون ReGFT، وهو استراتيجية ضبط دقيق ما قبل التعلم التعزيزي (pre-RL) مصممة لتخليق مسارات تدريب عالية الجودة للمسائل "الصعبة" التي لا يستطيع النموذج حلها بشكل مستقل.

الآلية الرئيسية

بدلاً من نسخ الحلول البشرية مباشرة أو الاعتماد فقط على الاستكشاف الذاتي، يستخدم ReGFT نهج التوجيه المرجعي الجزئي:

1. التلميحات الجزئية: للمسألة الصعبة المعطاة، يتم تزويد النموذج بـ أول 80% من الحل المرجعي المكتوب بشريًا (سلسلة الأفكام - Chain-of-Thought) كإشارة أو تلميح.
2. التوليد الذاتي: يُطلب من النموذج استنباط بقية الحل والإجابة النهائية باستخدام عملية الاستدلال الخاصة به، مما يضمن بقاء المخرجات ضمن توزيع التوليد الخاص بالنموذج.
3. تخليق المسارات: هذه العملية تولد مسارات "موجهة بالمرجع" تكون:
   • صحيحة: تؤدي إلى الإجابة الصحيحة (يتم التحقق منها بواسطة المرجع).
   • متوافقة: تتبع أسلوب التوليد الخاص بالنموذج، مما يتجنب هشاشة المحاكاة المباشرة.
4. بناء بيانات التدريب: يتم الضبط الدقيق للنموذج على خليط من:
   • المسارات الصحيحة المولدة ذاتيًا (من أخذ العينات القياسي).
   • المسارات الموجهة بالمرجع (المخلقة عبر طريقة التلميح الجزئي).
   • ملاحظة: يتم تطبيق هذا تحديدًا على "المسائل الصعبة" (المعرفة بأنها المسائل التي تقل دقة النموذج الأصلي فيها عن 25%).

التكامل مع التعلم التعزيزي (RL)

بعد مرحلة ReGFT، يعمل النموذج كنقطة انطلاق أقوى لـ التعلم التعزيزي (تحديدًا باستخدام خوارزمية DAPO). نظرًا لأن النموذج قد تعلم بالفعل حل المسائل التي كانت غير قابلة للحل سابقًا خلال مرحلة ReGFT، فإن مرحلة RL اللاحقة تتلقى إشارات مكافأة أكثر كثافة وإفادة، مما يمنع ركود التدريب.

3. المساهمات الرئيسية

1. استراتيجية مبتكرة لما قبل RL: تقديم ReGFT، الذي يسد الفجوة بين الحلول المرجعية البشرية واستدلال النموذج المولد، مستهدفًا تحديدًا المسائل التي يفشل فيها النموذج الأساسي.
2. تخفيف ندرة المكافأة: إثبات أن تخليق بيانات التدريب عبر المراجع الجزئية يحول بفعالية مسائل "المكافأة الصفرية" إلى مسائل "مكافأة إيجابية" لمرحلة RL اللاحقة.
3. التفوق على SFT المباشر و ReFT:
   • إثبات أن SFT المباشر على المراجع الكاملة غير كافٍ بسبب عدم تطابق التوزيع.
   • إظهار أن ReFT محدود بحدود قدرة النموذج الحالية، بينما يعمل ReGFT على توسيع هذا الحد.
4. توسع وقت الاستدلال (Inference-Time Scaling): إثبات أن ReGFT يؤدي إلى تحسين أفضل لـ pass@k، مما يعني أن قدرة النموذج على إيجاد الحلول الصحيحة تتحسن باستمرار مع زيادة ميزانية حساب الاستدناف، على عكس الطرق التي تحسن فقط pass@1.

4. النتائج التجريبية

قيم المؤلفون ReGFT على مجموعة بيانات OmniMath (للتدريب) وثلاثة اختبارات معيارية: AIME'24 و AIME'25 و Beyond-AIME.

• أداء التعلم التعزيزي (RL): تفوقت النماذج التي بدأت بـ ReGFT باستمرار على كل من نقاط التفتيش الخام (raw checkpoints) ونقاط التفتيش التي بدأت بـ ReFT عبر جميع الاختبارات.
  • سرعة التقارب: حققت نماذج ReGFT دقة أعلى في خطوات تدريب أقل.
  • دقة نهائية أعلى: وصل ReGFT إلى مستوى أداء نهائي أعلى.
• دراسات الاستئصال (Ablation Studies):
  • SFT المباشر مقابل ReGFT: أدى الضبط الدقيق المباشر على الحل المرجعية البشرية الخام إلى أداء RL أقل بكثير، مما يؤكد ضرورة الاستدلال المستمد من النموذج.
  • ReFT مقابل ReGFT: بينما سرع ReFT التعلم المبكر، حقق ReGFT أداءً نهائيًا متفوقًا، مما يثبت أن التوجيه الخارجي أمر بالغ الأهمية لحل المسائل التي تتجاوز نطاق وصول النموذج الأولي.
• توسع Pass@k: أظهر ReGFT + DAPO أكثر توسع قوي. مع زيادة عدد التوليدات المأخوذة ($k$)، حافظ ReGFT على هامش أداء واضح، مما يشير إلى تغطية أوسع لمساحة الحلول.
• حل المسائل الصعبة: في مجموعة بيانات OmniMath، نجح أخذ العينات الموجه بالمرجع في حل 5.85% إضافية من المسائل التي لم تستطع عملية أخذ العينات القياسية حلها، مما يثبت مباشرة قدرة الطريقة على فتح قدرات استدلال جديدة.

5. الأهمية

يغير هذا العمل بشكل أساسي نموذج التعلم التعزيزي للاستدلال من "الاستكشاف الصرف" إلى "التهيئة الموجهة".

• الكفاءة: يقلل من الهدر الحسابي المرتبط بالتعلم التعزيزي على المسائل الصعبة حيث لا يولد النموذج أي إجابات صحيحة.
• التعميم: من خلال إجبار النموذج على توليد استدلاعه الخاص بناءً على تلميحات جزئية، يضمن ReGFT أن المهارات المتعلمة تعمم بشكل أفضل من مجرد التعلم بالتقليد.
• القابلية للتوسع: منهجية ReGFT مستقلة عن خوارزمية RL المستخدمة (كما ظهر مع DAPO)، مما يشير إلى إمكانية دمجها مع التطورات المستقبلية في RL لدفع حدود الاستدلال الرياضي في النماذج اللغوية الكبيرة.

باختصار، يقوم ReGFT بفعالية بتحويل الحلول المرجعية البشرية إلى سقالة تسمح للنماذج بـ "تعلم كيفية تعلم" المسائل الصعبة قبل بدء التعلم التعزيزي، مما يفتح آفاقًا لقدرات استدلال رياضي أقوى وأكثر استقرارًا وقابلية للتوسع.