Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models

ملخص تقني: التدريب المتوسط باستخدام البيانات المولدة ذاتياً يحسن التعلم التعزيزي في النماذج اللغوية

بيان المشكلة
سلطت التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs) الضوء على التعلم التعزيزي (RL) كتقنية قوية لتعزيز قدرات الاستدلال، لا سيما من خلال توسيع نطاق الاستدلال في وقت الاستنتاج (inference-time scaling). ومع ذلك، فإن فعالية التعلم التعزيزي تعتمد بشكل كبير على "النماذج المسبقة" (priors) التي يتم ترسيخها في النموذج قبل مرحلة تدريب التعلم التعزيزي. تشير الأدبيات الحالية إلى أن التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) غالباً ما يقوم بـ "شحذ التوزيع" (distributional sharpening)، حيث يضخم السلوكيات الموجودة بالفعل في النموذج الأساسي بدلاً من استحداث قدرات جديدة حقاً. عندما يفتقر النموذج إلى التعرض لمناهج حل مشكلات متنوعة لمهمة واحدة، قد يواجه تدريب التعلم التعزيزي اللاحق صعوبة في تحسين الأداء أو قد يؤدي حتى إلى تدهوره تحت مقاييس تقييم معينة (مثل pass@k). التحدي الجوهري الذي يعالجه هذا البحث هو كيفية تجهيز النموذج الأساسي بفعالية بمجموعة غنية ومتنوعة من استراتيجيات الاستدلال قبل تطبيق التعلم التعزيزي، مما يمكن عملية التعلم التعزيزي من تركيب وصقل هذه الاستراتيجيات بدلاً من مجرد تعزيز مجموعة ضيقة من السلوكيات الموجودة.

المنهجية
يقترح المؤلفون إطار عمل لـ "التدريب المتوسط" (mid-training) يعمل كخطوة وسيطة بين مرحلة ما قبل التدريب (pre-training) والتعلم التعزيزي (RL). تستخدم هذه المرحلة بيانات متنوعة مولدة ذاتياً لتعريض النموذج لمسارات حل متعددة وصحيحة لنفس المشكلة.

1. توليد البيانات الموجه بالخوارزميات الاستدلالية (Heuristic-Guided Data Generation):

• يستلهم إطار العمل من خوارزميات جورج بوليا لحل المشكلات (مثل: القياس/المماثلة، التفكيك وإعادة التركيب، العمل العكسي).
• لكل سؤال في مجموعة بيانات البذرة (GSM8K)، يتم توجيه النموذج الأساسي بوصف محدد للخوارزميات الاستدلالية مع أمثلة قليلة (few-shot exemplars) لتوليد استجابات مرشحة متعددة.
• هذه العملية تعتمد على "التمهيد الذاتي" (bootstrapped): حيث يولد النموذج بيانات التدريب الخاصة به دون الاعتماد على التقطير (distillation) من نماذج معلمة أقوى.
• التصفية والاختيار: يتم تصفية الاستجابات المولدة للتأكد من صحتها باستخدام مدققات قائمة على القواعد (مثل Math-Verify). بعد ذلك، يتم تقييم المرشحين المتبقين بواسطة نموذج مكافأة ($R_\phi$) بناءً على مدى التزامهم بالخوارزمية الاستدلالية المحددة. ويتم اختيار الاستجابة الأعلى تقييماً لكل زوج (سؤال-خوارزمية).
• تحتوي مجموعة البيانات الناتجة ($D_{Pólya}$) على $n$ من متغيرات الحل المختلفة لكل سؤال، حيث تمثل $n$ عدد الخوارج الاستدلالية المطبقة.

2. التدريب المتوسط (الضبط الدقيق الخاضع للإشراف - SFT):

• يتم ضبط النموذج الأساسي بدقة (fine-tuning) على $D_{Pólya}$. وخلافاً للضبط الدقيق القياسي (SFT) الذي يربط السؤال باستجابة واحدة، يربط هذا النهج كل سؤال بعدة مسارات متنوعة.
• الهدف هو تقليل الاحتمالية السالبة للوغاريتم (negative log-likelihood) عبر هذه المسارات المتعددة، مما يشجع النموذج على تخصيص احتمالية غير مهملة لخيارات الرموز التالية (next-token) عند نقاط التفرع، مما يخلق فعلياً توزيعاً متعدد الأنماط (N-modal next-token distribution) للرمز التالي.

3. التعلم التعزيزي (Reinforcement Learning):

• بعد التدريب المتوسط، يخضع النموذج لتدريب التعلم التعزيزي باستخدام تحسين السياسة النسبي للمجموعات (GRPO) على مجموعة بيانات منفصلة (DAPO-Math-17k).
• تقارن الدراسة النماذج التي تم تهيئتها بعدد متفاوت من الخوارزميات الاستدلالية ($n \in \{1, 2, \dots, 64\}$) مقابل خطوط أساس (baselines): Zero-Shot، وVanilla RL (التطبيق المباشر على النموذج الأساسي)، وSTaR+RL (نموذج STaR متبوعاً بالتعلم التعزيزي).

المنظور النظري
يقدم البحث تحليلاً نظرياً لكيفية تأثير التدريب المتوسط على تحديثات تدرج السياسة (policy-gradient updates):

• أنظمة أحادية النمط مقابل متعددة الأنماط (Uni-modal vs. N-modal Regimes): في النظام أحادي النمط (ثقة عالية في رمز واحد)، يؤدي تحديث تدرج السياسة إلى تغييرات ضئيلة ($\propto \epsilon^2$). في المقابل، في النظام متعدد الأنماط (توزيع الكتلة الاحتمالية بين $N$ من الأنماط المهيمنة)، يؤدي التحديث إلى تغييرات متحفظة ولكن ملموسة ($\propto 1/N$).
• تركيب الاستراتيجيات: يثبت المؤلفون أنه في ظل تحديث الميزة السالبة (negative advantage update)، فإن الكتلة الاحتمالية التي تُسحب من رمز تم اختياره، تُعاد توزيعها بشكل أساسي على الأنماط $N-1$ المهيمنة المتبقية. هذه الآلية تحفز النموذج على تعلم كيفية الجمع بين مناهج حل المشكلات المختلفة ضمن استجابة واحدة أثناء التعلم التعزيزي، بدلاً من الانهيار نحو استراتيجية واحدة.

النتائج الرئيسية
أُجريت التجارب على نماذج Llama 3.2–3B–Instruct و Qwen2.5–7B–Instruct عبر ستة معايير رياضية (Math-500, AIME 2024/2025, AMC 2023, HMMT 2025, OlympiadBench) ومهام خارج النطاق (HumanEval, MuSR).

• مكاسب الأداء: أدى التدريب المتوسط باستخدام بيانات متنوعة مولدة ذاتياً إلى تحسين أداء التعلم التعزيزي باستمرار، لا سيما عند قيم $k$ المرتفعة (pass@k).
  • في Math-500، تحسن pass@64 من 87.76% (Zero-Shot) إلى 88.94% ($n=64$).
  • في AIME 2025، ارتفع pass@64 من 12.84% إلى 18.66%.
  • تفوقت النماذج التي خضعت للتدريب المتوسط مع تنوع استدلالي أعلى ($n=64$) على كل من Vanilla RL و STaR+RL في جميع المعايير.
• التنوع مقابل الكمية: أظهرت تجربة مضبوطة أن تعلم مناهج متعددة لكل سؤال (مشكلات أقل، مناهج أكثر) يحقق فوائد للتعلم التعزيزي أكبر من تعلم منهج واحد عبر عدد أكبر من المشكلات، وذلك في ظل ميزانية تدريب ثابتة.
• الصحة أمر جوهري: فشل التدريب المتوسط باستخدام مناهج متنوعة تؤدي إلى إجابات خاطئة في تحسين أداء التعلم التعزيزي، مما يشير إلى أن الصحة هي شرط مسبق للاستفادة من التنوع.
• التفوق على التقطير: أظهرت البيانات المولدة ذاتياً تنوعاً أعلى (Vendi Score 13.81) مقارنة بالبيانات المقطرة من نموذج معلم أقوى (QwQ-32B، Vendi Score 10.95)، مما أدى إلى أداء أفضل في المهام اللاحقة.
• التعميم: رغم الطبيعة الرياضية لخوارزميات بوليا، فقد تعمم المناهج المتعلمة على توليد الكود (HumanEval) والاستدلال السردي (MuSR)، مع تحقيق مكاسب كبيرة في مهام الاستدلال متعدد الخطوات.

الأهمية والادعاءات
يزعم البحث أن المساهمة الرئيسية هي إثبات أن التعرض لمناهج متعددة لحل المشكلات عبر البيانات المولدة ذاتياً خلال التدريب المتوسط يشكل بشكل أساسي النماذج المسبقة للنموذج، مما يمكّن التعلم التعزيزي اللاحق من تركيب هذه الاستراتيجيات بفعالية.

• آلية التحسين: يفترض البحث أن التعلم التعزيزي لا يخلق بالضرورة قدرات استدلال "ناشئة" من العدم، بل يقوم بتركيب السلوكيات الموجودة. يضمن التدريب المتوسط أن تكون هذه السلوكيات متنوعة ومتاحة للتركيب.
• المنفعة العملية: يقدم هذا النهج طريقة بسيطة، فعالة، وقابلة للتوسع لتحسين التعلم التعزيزي دون الحاجة إلى تسمية بشرية أو نماذج معلمة أقوى.
• الرؤية النظرية: يربد هذا العمل الفجوة بين النجاح التجريبي للتعلم التعزيزي والفهم النظري، موضحاً كيف تمنع التوزيعات متعددة الأنماط انهيار النمط وتسهل تعلم سلاسل الاستدلال المركبة.

يظل المؤلفون متواضعين فيما يتعلق بدقة العينة الواحدة (pass@1)، مشيرين إلى أن تركيزهم ينصب على فهم كيفية تشكيل التعرض المتنوع لسلوك التعلم التعزيزي وتحسين الأداء في السيناريوهات التي تتطلب محاولات أخذ عينات متعددة (pass@k). كما يقرون بأنه على الرغم من كون الخوارزميات الاستدلالية مركزة على الرياضيات، فإن التعميم الناتج على المجالات الأخرى يشير إلى أن الإجراء يبرز ويوطد القدرات الكامنة داخل النموذج الأساسي.