Curriculum Reinforcement Learning from Easy to Hard Tasks Improves LLM Reasoning

إليك ملخص تقني مفصل لورقة البحث بعنوان "تعلم التعزيز المنهجي: من المهام السهلة إلى الصعبة لتحسين قدرات الاستنتاج في النماذج اللغوية الكبيرة" (E2H Reasoner).

1. بيان المشكلة

تتناول الورقة القيود المفروضة على استخدام التعلم التعزيزي (RL) وحده لتعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs). وبينما أظهرت النماذج الحديثة مثل DeepSeek-R1 وOpenAI o1 نجاحاً، حدد المؤلفون عقبتين حرجتين عند تطبيق التعلم التعزيزي على المهام الصعبة بطبيعتها:

• فجوة التوزيع (Distribution Gap): غالباً ما تمتلك النماذج سابقة التدريب أداءً منخفضاً في وضع "الصفر محاولة" (zero-shot) على المهام المعقدة. إن تطبيق التعلم التعزيزي مباشرة على هذه المهام الصعبة يخلق تحولاً كبيراً في التوزيع بين بيانات ما قبل التدريب والمهمة المستهدفة، مما يؤدي إلى إشارات مكافأة شحيحة وضعف في التقارب (convergence).
• شح المكافأة والإفراط في التخصيص (Reward Sparsity & Overfitting): في مهام مثل الرياضيات أو التخطيط، تُمنح المكافآت فقط للإجابات النهائية الصحيحة. إذا تم تدريب النموذج مباشرة على مهام صعبة، فإنه يعاني لتلقي إشارات التعلم. وعلى العكس من ذلك، إذا تم تدريبه فقط على مهام سهلة، فإن النماذج تميل إلى "اختراق المكافأة" (reward hack) (أي حفظ الاختصارات) أو الإفراط في التخصيص للأنماط البسيطة، مما يؤدي إلى الفشل في التعميم على الاستنتاج المعقد.
• استراتيجيات المنهج غير الفعالة (Ineffective Curriculum Strategies): تعتمد مناهج تعلم المنهج (Curriculum Learning) الحالية للنماذج اللغوية الكبيرة غالباً على التبديل ذو الترتيب الثابت والجامد (على سبيل المثال، التدريب على المهام السهلة لمدة $N$ من الخطوات، ثم الانتقال للمهام الصعبة). يؤدي هذا إلى "نسيان المهمة" (فقدان القدرة على المهام السهلة) أو "الإفراط في التخصيص" للمهام السهلة.

2. المنهجية: E2H Reasoner

يقترح المؤلفون E2H Reasoner، وهو إطار عمل للتعلم التعزيزي المنهجي (CRL) يقوم بجدولة المهام من السهل إلى الصعب باستخدام مجدول احتمالي بدلاً من الترتيب الثابت.

أ. تفكيك المهام

يتم تفكيك مجموعة بيانات التدريب إلى أربعة مستويات من الصعوبة: بدائي (Trivial)، سهل (Easy)، متوسط (Medium)، وصعب (Hard).

• البيانات ذات الملصقات (Labels): يتم تحديد الصعوبة بناءً على التقييمات البشرية (مثل طول الخطة في Blockswold، أو عدد المعاملات في Countdown، أو مستوى المسألة في MATH).
• البيانات بدون ملصقات: يتم تقدير الصعوبة تلقائياً عن طريق قياس معدل الخطأ للنموذج الأساسي باستخدام التلقين بسلسلة الأفكار (CoT). وتُصنف العينات بناءً على ربعيات توزيع معدل الخطأ.

ب. استراتيجيات الجدولة الاحتمالية

للتخفيف من نسيان المهام والإفراط في التخصيص، قدم المؤلفون استراتيجيتين للجدولة الديناميكية تتحكمان في احتمالية أخذ عينات من مستويات صعوبة مختلفة أثناء التدريب:

1. الجدولة بنمط جيب التمام (Cosine Scheduling - E2H-C):

   • تستخدم دالة جيب التمام غير المعلمية (non-parametric) لعمل استيفاء (interpolation) لاحتمالات أخذ العينات.
   • تبدأ باحتمالية عالية لأخذ عينات من المهام السهلة وتنتقل تدريجياً نحو المهام الصعبة.
   • الأفضل لـ: المهام التي يؤدي فيها النماذج أداءً جيداً معقولاً عبر جميع المستويات (مثل MATH)، مما يسمح بانتقال سلس.

2. الجدولة بنمط غاوس (Gaussian Scheduling - E2H-G):

   • مستوحاة من نماذج الخليط الغاوسي (Gaussian Mixture Models). وهي تنمذج توزيعات المهام كتوزيعات غاوسية ذات متوسطات تقابل مستويات الصعوبة.
   • تستخدم معلمتين فائقتين: التباين ($\sigma$) للتركيز، ومعلمة السرعة ($\beta$) لمعدل التحول.
   • الميزة الرئيسية: تسمح بالانخفاض السريع في احتمالية أخذ عينات من المهام البدائية/السهلة في وقت مبكر من التدريب. هذا يمنع الإفراط في التخصيص للأنماط البسيطة في بيئات المكافأة الشحيحة (مثل Blocksworld) مع توفير مكافآت كثيفة أولية لتعزيز عملية التعلم.

ج. الإطار النظري

تم تحليل الطريقة تحت إطار التقريب المتكرر للسياسة (Approximate Policy Iteration - API). وقد استنتج المؤلفون ما يلي:

• ضمانات التقارب: إثبات أن الفجوة في الأداء النهائي محدودة بمجموع أخطاء التقريب و"خطأ تقريب المنهج" (الفجوة بين السياسات المثلى الوسيطة والسياسة المثلى النهائية).
• تعقيد العينة (Sample Complexity): أثبتوا أن المنهج المصمم جيداً يتطلب عدداً أقل من العينات الإجمالية ($M_{CRL}$) مقارنة بالتعلم المباشر على المهمة الصعبة ($M_{Direct}$). وتحديداً، $M_{CRL} < M_{Direct}$ عندما يكون خطأ المنهج صغيراً وتزداد الصعوبة هندسياً، مما يجسّر فعلياً فجوة التوزيع.

3. المساهمات الرئيسية

1. إطار عمل CRL مبتكر: تقديم E2H Reasoner، الذي يتجاوز تعلم المنهج ذو الترتيب الثابت إلى الجدولة الاحتمالية الديناميكية (جيب التمام وغاوس) لموازنة استقرار التعلم والتعميم.
2. التحليل النظري: أول تحليل نظري صارم لـ CRL للنماذج اللغوية الكبيرة تحت إطار API، مما يوفر ضمانات التقارب وحدود تعقيد العينات المحدودة التي تبرر رياضياً سبب كون تعلم المنهج أكثر كفاءة في العينات من التعلم التعزيزي المباشر.
3. التحقق التجريبي: تجارب شاملة تظهر أن E2H تمكن النماذج اللغوية الكبيرة صغيرة النطاق (مثل 1.5B و3B بارامتر) من حل مهام كانت تفشل فيها في إعدادات "الصفر محاولة".
4. التكامل مع تقنيات RL المتقدمة: إثبات أن E2H مكمل لتقنيات RL الأخرى مثل DAPO (تحسين السياسة ذات الميزة الديناميكية)، مما يقلل بشكل أكبر من الدفعات ذات الميزة الصفرية ويحسن الأداء.

4. النتائج التجريبية

تم تقييم الطريقة على خمسة معايير للاستنتاج: Blocksworld، Countdown، MATH، GSM8K، وAQuA، باستخدام نماذج مثل Qwen 1.5B/2.5B وLLaMA 3.2 3B.

• مكاسب الأداء: تفوق E2H Reasoner باستمرار على النماذج المرجعية (Standard GRPO، التقليدي للتعلم المنهجي، وSelf-Evolve) عبر جميع مستويات الصعوبة.
  • المهام الصعبة/خارج التوزيع (OOD): لوحظت تحسينات كبيرة في المهام "الصعبة" والمهام خارج التوزيع. على سبيل المثال، في Blocksworld، حقق E2H-G نسبة 44.1% في المهام الصعبة مقابل 38.9% لنموذج GRPO القياسي مع LLaMA 3.2 3B.
  • النماذج الصغيرة: تمكنت النماذج الصغيرة (1.5B) المدربة باستخدام E2H من حل مسائل رياضية معقدة كانت مستحيلة بالنسبة لها في إعدادات "الصفر محاولة" أو التعلم التعزيزي القياسي.
• المقارنة مع النماذج المرجعية:
  • مقابل التدريب المباشر على المهام الصعبة: أدى التدريب فقط على المهام الصعبة إلى أداء يقترب من الصفر للنماذج الصغيرة.
  • مقابل التعلم المنهجي التقليدي: غالباً ما أدى المنهج ذو الترتيب الثابت إلى نسيان المهام السهلة أو ضعف التعميم على المهام الصعبة. نهج E2H الاحتمالي حافظ على توازن أفضل.
  • مقابل Self-Evolve: أظهر E2H أداءً أكثر استقراراً عبر مختلف النماذج والمهام مقارنة بأسلوب أخذ العينات القائم على معدل نجاح 50% في Self-Evolve.
• كفاءة العينات: أكد التحليل التجريبي الادعاء النظري: حققت طرق E2H أداءً قوياً باستخدام عدد أقل بكثير من العينات "الصعبة" (على سبيل المثال، 3,580 عينة صعبة لـ E2H-G مقابل 12,800 لـ GRPO-Hard) مع الحفاظ على نفس ميزانية التدريب الإجمالية.

5. الأهمية

• دمقرطة الاستنتاج: يوضح هذا العمل أن النماذج اللغوية الكبيرة صغيرة النطاق يمكنها تحقيق قدرات استنتاج قوية إذا تم تدريبها بمنهج صحيح، مما يتحدى الفكرة القائلة بأن النماذج الضخمة فقط هي القادرة على الاستنتاج.
• التأسيس النظري: يوفر أساساً رياضياً لسبب عمل تعلم المنهج في التعلم التعزيزي للنماذج اللغوية الكبيرة، متجاوزاً الملاحظات التجريبية إلى كفاءة عينات مثبتة.
• الأثر العملي: استراتيجيات الجدولة المقترحة (جيب التمام/غاوس) بسيطة التنفيذ ولا تتطلب آليات تكيف معقدة، مما يجعلها قابلة للتطبيق بشكل كبير لتحسين الاستنتاج في مجالات متنوعة (الرياضيات، البرمجة، التخطيط) دون تكاليف حوسبة ضخمة.
• الاتجاه المستقبلي: تشير الورقة إلى أنه بينما تعتبر المجدولات الحالية ثابتة، يمكن للعمل المستقبلي استكشاف استراتيجيات تكيفية تعدل المنهج ديناميكياً بناءً على أداء النموذج، مما يحسن الانتقال من "السهل إلى الصعب" بشكل أكبر.