ملخص تقني: طاقة منطقة التعلم (LZE) لتدريب التعزيز (RL) الفعال في مرحلة ما بعد التدريب

1. بيان المشكلة

أصبح تدريب ما بعد المعالجة باستخدام التعلم التعزيزي (RL post-training) هو النموذج السائد لاستخراج الاستدلال الرياضي في النماذج اللغوية الكبيرة (LLMs)، وذلك باستخدام خوارزميات مثل تحسين سياسة المجموعة النسبية (GRPO) وDAPO. ومع ذلك، تعاني التقنيات السائدة من عدم كفاءة جوهرية نتيجة توزيع ميزانيات التوليد (rollout) والتدرج (gradient) بشكل شبه موحد عبر جميع المحفزات (prompts):

• المحفزات المتقنة: العينات التي يحلها النموذج بالفعل وبموثوقية تساهم في إشارات تعلم ضئيلة للغاية حيث تتلاشى حدود الميزة (advantage terms).
• المحفزات بعيدة المنال: العينات التي تتجاوز قدرة النموذج الحالية بمراحل لا تنتج تقريباً أي معلومات تدرج قابلة للتنفيذ.
• عدم الكفاءة: يُهدر جزء كبير من الميزانية الحسابية على هذه المجموعات "غير المعلوماتية"، بينما يتم استغلال "منطقة التعلم" الخاصة بالنموذج (حيث تكون النتائج مختلطة والتدرجات أكثر إفادة) بشكل غير كافٍ.

الحلول الحالية، مثل التعلم المنهجي (curriculum learning) الثابت أو الرفض عبر الإنترنت الثنائي (الإبقاء أو الحذف بناءً على النتائج الصحيحة كلياً أو الخاطئة كلياً)، هي إما شديدة الجمود، أو تفشل في التكيف مع السياسة المتطورة، أو تعتمد على نماذج مساعدة مكلفة (مثل نماذج ماركوف المخفية HMM) للتنبؤ بقابلية الحل.

2. المنهجية: طاقة منطقة التعلم (LZE)

يقترح المؤلفون طاقة منطقة التعلم (LZE)، وهو إطار عمل لاختيار البيانات يعمل بالكامل عبر الإنترنت (fully online) وخفيف الوزن، يركز الحوسبة على جبهة التعلم النشطة للنموذج. جوهر LZE هو درجة طاقة منطقة التعلم ($E_i^{(t)}$) ذات الصيغة المغلقة التي تُحسب لكل مجموعة محفزات عند كل خطوة تدريب.

درجة الطاقة

تدمج الدرجة ثلاث إشارات متكاملة في قيمة عددية واحدة:
$$E_i^{(t)} = \underbrace{D_i^{(0)}}_{\text{مرتكز الصعوبة}} \cdot \underbrace{4p_i^{(t)}(1 - p_i^{(t)})}_{\text{عدم يقين النتيجة}} \cdot \underbrace{(1 + \alpha m_i^{(t)})}_{\text{الزخم}}$$

1. عدم يقين النتيجة ($4p(1-p)$): يعتمد على معدل النجاح الحالي للمجموعة $p_i^{(t)}$. تصل هذه القيمة إلى ذروتها عند $p=0.5$ وتتلاشى عند $p=0$ أو $p=1$. تستهدف هذه القيمة مباشرة "منطقة التعلم" حيث لا يكون النموذج ناجحاً باستمرار ولا فاشلاً باستمرار. نظرياً، تتماشى هذه القيمة مع تباين مُقدّر تدرج GRPO.
2. مرتكز الصعوبة ($D_i^{(0)}$): مرجع ثابت محدد بـ $1 - p_i^{(0)}$، حيث $p_i^{(0)}$ هو معدل النجاح الأولي. هذا يمنع المنهج التعليمي من الانهيار نحو المحفزات التي كانت سهلة في الأصل ولكنها أصبحت مؤقتاً بالقرب من $p=0.5$ بسبب ضجيج السياسة، مما يضمن تركيز النموذج على المشكلات الصعبة تاريخياً.
3. زخم معدل النجاح ($m_i^{(t)}$): يُعرف بـ $p_i^{(t)} - \mu_i^{(t-1)}$، حيث $\mu$ هو المتوسط المتحرك الأسي (EMA) لمعدلات النجاح السابقة. تعمل هذه القيمة كمرشح تمرير عالٍ (high-pass filter) سببي، حيث تضخم المحفزات التي تتحسن فيها السياسة بنشاط وتكبح تلك التي شهدت ركوداً في التعلم.

خوارزمية التدريب

يستخدم LZE عملية اختيار ثنائية المراحل:

• الاختيار الخلفي (Top-K): في كل خطوة، يقوم النظام بحساب درجات الطاقة لجميع المحفقات النشطة. يحتفظ بكسر $\kappa$ الأعلى (على سبيل المثال 40%) لتحديثات تدرج السياسة. ولتحقيق التوازن في الاستكشاف، يتم إضافة ضجيج Gumbel قبل التصنيف.
• التقليم الأمامي مع إعادة التشغيل: على مستوى الحقبة (epoch)، يتم نقل المحفزات التي تحقق دقة 100% لعدد $T_{prune}$ متتالي من الحقب إلى "مجمع التقليم" ويتم تخطيها أثناء توليد الـ rollout. وبشكل دوري، يتم إعادة تقييم (إعادة تشغيل) جزء من هذه المحفزات المقلمةة لاكتشاف واستعادة حالات النسيان.

3. المساهمات النظرية

تقدم الورقة أسساً نظرية لاختيارات التصميم:

• معلوماتية التدرج: يثبت المؤلفون (النظرية 1) أنه تحت تقريب المعيار الثابت القياسي، فإن تباين مُقدّر تدرج GRPO لمحفز ما يتناسب تقريباً مع تباين برنولي $p(1-p)$. وهذا يؤكد أن حد عدم اليقين في درجة الطاقة هو المحرك الرئيسي لمعلوماتية التدرج.
• تفسير معالجة الإشارات: يُظهر (الافتراض 2) أن حد الزخم يكافئ مخرج مرشح تمرير عالٍ سببي مطبق على تسلسل معدل النجاح، مما يبرر رياضياً دوره في التقاط التغيرات السريعة في السياسة.
• تشبيه الانتباه: يتم تفسير درجة الطاقة كآلية انتباه على مستوى العينة، حيث يعمل مرتكز الصعوبة كـ "مفتاح" (key)، والحالة الحالية كـ "استعلام" (query)، والدرجة كـ "وزن انتباه" (attention weight).

4. النتائج التجريبية

تم تقييم LZE على نماذج عائلة Qwen (من 1.5B إلى 8B) عبر مجموعات بيانات GSM8K وMATH وDAPO-MATH، مع اختبار خارج التوزيع (OOD) على AMC23 وAIME25.

• الأداء: رغم استخدام 40% فقط من بيانات التدريب في كل خطوة، إلا أن LZE يطابق أو يتفوق على النماذج المرجعية التي تستخدم البيانات الكاملة عبر جميع الإعدادات.
• التعميم خارج التوزيع (OOD): تحقق الطريقة مكاسب ملحوظة في اختبارات OOD، مع تحسينات بلغت +45.9% في AIME25 و +18.2% في AMC23 لتركيبات معينة من النماذج والمجموعات.
• الكفاءة: من خلال قصر الانتشار العكسي (backpropagation) على أعلى 40% من المحفزات مع الحفاظ على تغطية كاملة للـ rollout لتحديث الدرجات، يحقق LZE انخفاضاً مقدراً بنسبة 36% في عمليات حساب الفلوبس (FLOPs) للتدريب.
• وقت التنفيذ (Wall-Clock Time): تقلل الطريقة من وقت التدريب بشكل كبير، حيث تحقق التقارب بسرعة تتراوح بين 1.40x إلى 1.65x مقارنة بالنماذج المرجعية، مع تسريع إضافي (يصل إلى 1.91x) عندما يكون المقلم الأمامي نشطاً.
• دراسات الاستئصال (Ablation Studies): يؤدي حذف حد عدم اليقين إلى أكبر انخفاض في الأداء، مما يؤكد صحة فرضية منطقة التعلم. كما أن حد الزخم ضروري للتعميم خارج التوزيع، بينما يمنع مرتكز الصعوبة الاختيار من الانهيار نحو المحفزات السهلة في البداية.

5. الأهمية والادعاءات

تدعي الورقة أن LZE يقدم حلاً مبنياً على أسس، خفيف الوزن، ويعمل بالكامل عبر الإنترنت لعدم كفاءة تدريب ما بعد المعالجة بالتعلم التعزيزي. تكمن أهميته في:

1. إزالة الأعباء الإضافية: على عكس الطرق السابقة التي تتطلب نماذج حالة توليدية متعلمة أو معالجة مسبقة غير متصلة، يستخدم LZE درجة ذات صيغة مغلقة لا تتطلب نماذج إضافية.
2. التكيف الديناميكي: يتكيف باستمرار مع السياسة المتطورة، على عكس طرق المنهج الثابتة.
3. المواءمة النظرية: معيار الاختيار متوافق رياضياً مع الحجم المتوقع لتحديثات تدرج السياسة، مما يضمن إنفاق الموارد الحسابية حيث توجد أعلى إشارة تعلم.
4. القابلية للتوسع: تتوافق الطريقة مع أي خوارزمية تعلم تعزيزي قائمة على المجموعات (مثل GRPO وDAPO) ولا تتطلب تعديلاً في المُحسّن الأساسي، مما يجعلها قابلة للتطبيق على نطاق واسع عبر مختلف أحجام النماذج.

يشير المؤلفون إلى أن تجاربهم تقتصر حالياً على مهام الاستدلال الرياضي ذات المكافآت القابلة للتحقق الثنائية، وأن قابلية النقل إلى الإعدادات مفتوحة النهايات أو ذات المكافآت الضوضائية تظل مجالاً مفتوحاً للعمل المستقبلي.