ملخص تقني: إعادة التفكير في استغلال مسارات الخبراء في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs) في مجال الاستدلال الرياضي

بيان المشكلة

تهيمن حاليًا على مرحلة ما بعد التدريب (Post-training) للنماذج اللغوية الكبيرة في مجال الاستدلال الرياضي نموذجان: الضبط الدقيق الخاضع للإشراف (SFT) والتعلم التعزيزي (RL). بينما يعتمد الـ SFT بشكل كبير على مسارات الخبراء (أزواج المطالبة-الحل) لغرس أولويات الاستدلال عبر المحاكاة، تعتمد طرق التعلم التعزيزي (مثل GRPO وDAPO) عادةً على إشارات المكافأة لاستكشاف مسارات الاستدلال دون استخدام مباشر لمسارات الخبراء.

وعلى الرغم من الإجماع على أن كليهما ضروري، إلا أن الآلية المثلى لاستخدام مسارات الخبراء لرفع سقف الأداء النهائي إلى أقصى حد لا تزال غير محلولة. يواجه المجال "معضلة النموذج" (Paradigm Dilemma):

1. النهج المتزامن (Syn-SFT-RL): تدمج الطرق الحديثة (مثل UPT وSRFT وLUFFY) خسارة المحاكاة مباشرة في حلقة التعلم التعزيزي، مدعية كفاءة فائقة. ومع ذلك، فإن هذه الطرق غالبًا ما تكون مقيدة بنطاقات بيانات SFT محدودة (حوالي 46 ألف عينة) وتفتقر إلى المقارنة الصارمة مع النماذج المرجعية المدربة على مجموعات بيانات أكبر بكثير.
2. النهج المتسلسل (SFT-ثم-RL): وهو المعيار الصناعي المتبع. ومع ذلك، فإن المبادئ التي تحكم هذا النهج هي مبادئ تجريبية إلى حد كبير. ولا تزال هناك أسئلة جوهرية دون إجابة: متى يكون التوقيت الأمثل للتحول من SFT إلى RL، وتأثير حجم البيانات مقابل صعوبتها، وما إذا كانت فرضية "الأقل هو الأكثر" (استخدام الحد الأدنى من البيانات عالية الجودة) تصح لتعظيم سقف الاستدلال النهائي.

المنهجية: إطار عمل المرونة-السقف (Plasticity-Ceiling Framework)

لمعالجة هذه الفجوات، يقترح المؤلفون إطار عمل المرونة-السقف، وهو نهج تحليلي موحد يفكك سقف أداء ما بعد التدريب النظري ($A_{post}$) إلى مكونين قابلين للقياس:

1. أداء الـ SFT ($P_{sft}$): الأداء المتحقق بعد مرحلة الـ SFT بناءً على تخصيص حسابي معين ($x_{sft}$).
2. مرونة الـ RL ($P_{L_{rl}}$): أقصى تحسن محتمل يمكن تحقيقه عبر التعلم التعزيزي اللاحق، ويُعرف بأنه الفرق بين السقف التقاربي والأساس المرجعي للـ SFT ($A_{post} - P_{sft}$).

يقوم إطار العمل بنمذجة أداء ما بعد التدريب كدالة لحسابات الـ RL باستخدام قانون سيجمويدي (Sigmoidal Law)، مما يسمح بالتفكيك الكمي للسقف النهائي. يمكّن هذا المؤلفين من تقييم كيفية تأثير خصائص بيانات SFT (الحجم والصعوبة) وديناميكيات التدريب على كل من الأساس ($P_{sft}$) وهامش التحسن ($P_{L_{rl}}$).

الإعداد التجريبي

تجري الدراسة اختبارات مرجعية واسعة النطاق على نماذج Qwen2.5-7B و Llama3.2-3B عبر ستة اختبارات مرجعية رياضية (GSM8K، OlympiadBench، Minerva، MATH، AIME24/25) ومهام خارج النطاق (OOD) مثل (GPQA-Diamond، ARC-C).

• مجموعات البيانات: قام المؤلفون بتنسيق مجموعات بيانات SFT تتراوح من 1 ألف إلى 889 ألف عينة فريدة، مستمدة من مخرجات نموذج DeepSeek-R1 المقطرة. وتشمل هذه المجموعات متغيرات الحجم (S1K، Uniform102K، SFT889K) ومتغيرات الصعوبة (Easy102K، Uniform102K، Hard102K).
• النماذج المرجعية (Baselines): تقارن الدراسة بين Pure-SFT، وPure-RL (GRPO، DAPO)، وSyn-SFT-RL (LUFFY، SRFT، UPT، Prefix-RFT)، والمسار المتسلسل (SFT-ثم-RL).
• المقاييس: يتم قياس الأداء عبر دقة pass@1، مع توحيد تكاليف الحوسبة باستخدام الـ FLOPs (exaFLOPs).

النتائج الرئيسية

1. اختيار النموذج: هيمنة النهج المتسلسل

تم إثبات أن المسار المتسلسل (SFT-ثم-RL) هو المعيار المتفوق.

• محدودية Syn-SFT-RL: تظهر الطرق المتزامنة عدم استقرار في التدريب وتقاربًا مبكرًا. وهي حساسة للغاية للمبادئ الأولية للنموذج وتفشل في التوسع بفعالية مقارنة بالنماذج المرجعية المتسلسلة المحسنة على مجموعات بيانات أكبر.
• ميزة "البطيء ولكن العالي": يُظهر Pure-SFT تحسنًا مستمرًا مع التدريب المكثف، ليصل إلى ذروة أعلى بكثير من سقوف طرق Pure-RL أو Syn-SFT-RL. والأهم من ذلك، أن الانتقال إلى RL بعد تشبع الـ SFT يفتح آفاقًا لمزيد من المكاسب، محققًا أعلى جبهة أداء (على سبيل المثال، 78.1 نقطة لـ Qwen2.5-7B مقابل 74.3 لـ Pure-RL).

2. التوقيت الأمثل للتحول: تشبع الـ SFT

الاستراتيجية المثلى للتحول من SFT إلى RL هي الانتظار حتى الوصول إلى النظام المستقر (Stable Regime) أو نظام الإفراط في التخصيص الطفيف (Mild Overfitting Regime) لخسارة التحقق (Validation Loss) في الـ SFT.

• التحول المبكر: يؤدي التحول أثناء النظام التكيفي (Underfitting) إلى سقوف دون المستوى لأن النموذج يفتقر إلى الكفاءة التأسيسية المطلوبة لتمكين الـ RL من التعافي.
• الإفراط الشديد في التخصيص (Severe Overfitting): الاستمرار في الـ SFT في نظام الإفراط الشديد في التخصيص يتسبب في انهيار مرونة الـ RL، مما يضر بالسقف النهائي.
• التعميم: يؤدي تدريب الـ SFT حتى التشبع إلى إنشاء أساس قوي للتعميم خارج النطاق (OOD)، مما يدحض الادعاءات بأن الـ SFT المكثف يضعف التعميم.

3. خصائص البيانات: الحجم والصعوبة

تفند الدراسة فرضية "الأقل هو الأكثر" في سياق توسيع نطاق SFT-ثم-RL.

• الحجم هو المهيمن: حجم البيانات هو المحدد الرئيسي لسقف الأداء النهائي. وبينما تحقق مجموعات البيانات الصغيرة (مثل S1K) مكاسب أولية سريعة، إلا أنها تتشبع مبكرًا. أما مجموعات البيانات واسعة النطاق (مثل SFT889K) فهي توفر كلاً من أداء SFT متحقق أعلى ومرونة RL محفوظة أكبر، مما يؤدي إلى سقف أعلى بكثير.
• الصعوبة كمضاعف للأداء: تعمل صعوبة المسارات كمضاعف للأداء. فالبيانات الأصعب (Hard102K) تحقق أداء SFT أعلى وتحافظ على مرونة مماثلة للبيانات الأسهل، مما يجعلها الخيار الأفضل عند تثبيت الحجم.
• المؤشر التنبئي: يعمل الحد الأدنى لخسارة التحقق (Minimum Validation Loss) في مرحلة الـ SFT كمؤشر موثوق وقوي للسقف النهائي للأداء، حيث يرتبط ارتباطًا وثيقًا بالأداء النهائي ($A_{post}$).

الأهمية والمساهمات

يزعم البحث تحويل تحسين مسارات الخبراء من مجرد تخمين تجريبي إلى عملية منهجية وقابلة للتنبؤ. وتتمثل مساهماته الرئيسية في:

1. إطار عمل المرونة-السقف: آلية نظرية تفكك أداء ما بعد التدريب إلى مكاسب SFT محققة ومرونة RL لاحقة، مما يوفر رؤية موحدة لاختيار النموذج.
2. التقييم المرجعي الصارم: ترسيخ المسلسل (SFT-ثم-RL) كمعيار صارم للاستقرار والأداء، متفوقًا على النهج المتزامنة والأساليب النقية.
3. إرشادات قابلة للتنفيذ للتوسع:
   • التوقيت: ابدأ الـ RL عند تشبع الـ SFT (النظام المستقر).
   • استراتيجية البيانات: أعطِ الأولوية لحجم البيانات على الصعوبة لتعظيم السقف؛ واستخدم الصعوبة لتحسين الأداء ضمن قيود الحجم المتاحة.
   • المراقبة: استخدم الحد الأدنى لخسارة التحقق كمؤشر تقريبي لسقف الأداء النهائي.

يخلص المؤلفون إلى أن هذه النتائج توفر إرشادات عملية لاستخراج أقصى قيمة من مسارات الخبراء، وتحديدًا لمهام الاستدلال الرياضي باستخدام مسارات بأسلوب R1. كما يقرون بالقيود المتعلقة بالتعميم على المهام غير القابلة للتحقق (مثل الكتابة الإبداعية) أو أنماط المسارات البديلة، تاركين هذه كقضايا مفتوحة للعمل المستقبلي.