ملخص تقني: ليس فقط أين، بل متى: الجدولة الزمنية لتعلم التعزيز مع المكافآت القابلة للتحقق (RLVR)

بيان المشكلة

أصبح التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) نموذجاً مهيمناً في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs)، لا سيما في مهام الاستنتاج. ومع ذلك، فإن مناهج RLVR القياسية، مثل تحسين السياسة النسبية الجماعية (GRPO)، تقوم عادةً ببث مكافأة قياسية واحدة عبر التسلسل المولد بالكامل. يؤدي هذا إلى إشارة تحسين موحدة حيث تشارك جميع الرموز (tokens) التي تم أخذ عينات منها بالتساوي في تحديثات السياسة، مما يتجاهل السلوكيات السياساتية غير المتجانسة التي تظهر على طول المسار (على سبيل المثال: هيكلة الاستنتاج، الروابط المنطقية، التأمل، والتقارب نحو الإجابة).

تحاول الحلول الحالية معالجة ذلك من خلال إدخال آليات تخصيص الائتمان (credit allocation) لتحديد أين يجب توزيع إشارات التعلم. وتشمل هذه الآليات:

• نماذج مكافأة العمليات (PRMs): توفير تغذية راجعة على مستوى الخطوة (تكلفة وسم عالية).
• الوكلاء على مستوى الرمز (Token-level Proxies): استخدام مقاييس مثل إنتروبيا الرمز، أو الاحتمالية، أو تباعد KL لإعادة وزن المزايا أو اختيار مجموعات فرعية متفرقة من الرموز للتحسين.

القصور الجوهري: بينما تحدد هذه الطرق رموزاً معينة لإعطائها الأولوية، إلا أن معايير التخصيص تظل ساكنة طوال عملية التدريب. فبمجرد اختيار وكيل (مثل الإنتروبيا العالية)، يتم التأكيد باستمرار على السلوك السياساتي المقابل. يرى المؤلفون أن هذا النهج الساكن يحد من التطور المرن للسياسة ويمكن أن يؤدي إلى التضحية بإنتروبيا السياسة عند محاولة استيعاب سلوكيات متنوعة في آن واحد. ويطرح البحث فرضية مفادها أن البعد الزمني — وتحديداً متى يتم جدولة إشارات التعلم — لم يُستكشف بشكل كافٍ وهو لا يقل أهمية عن أين يتم تخصيصها.

المنهجية

يقترح البحث الجدولة الزمنية (Temporal Scheduling)، وهو إطار عمل يقوم بتعديل معايير تخصيص الائتمان ديناميكياً على مدار عملية التدريب بدلاً من تثبيتها.

1. مئويات المسار كمنظور طبيعي

بدلاً من الاعتماد فقط على وكلاء السياسة المعقدين، قدم المؤلفون درجة مئوية للمسار (TP-Score) لتمييز السلوكيات السياساتية بناءً على موقع الرمز.

• التحليل: يكشف التحليل التجريبي عن توزيعات رموز وملفات تعريف إنتروبيا متميزة عبر مواضع المسار.
  • المئويات المبكرة: ترتبط بهيكلة الاستنتاج والأنماط المقيدة؛ وتظهر إنتروبيا منخفضة.
  • المئويات الوسطى: ترتبط بالتأمل والاستنتاج النقدي؛ وتظهر أعلى مستويات الإنتروبيا والسلوك الاستكشافي.
  • المئويات المتأخرة: ترتبط بتحقيق الإجابة والتلخيص؛ وتظهر إنتروبيا متوسطة.
• الرؤية: توفر المئويات المسارية مرساة طبيعية وبسيطة لتمييز السلوكيات غير المتجانسة دون الحاجة إلى حسابات وكيل معقدة.

2. آلية الجدولة الزمنية

الابتكار الجوهري هو جدولة عامل تخصيص الائتمان، $\hat{f}_t(\tau)$، كدالة لتقدم التدريب $\tau$.
$$\hat{f}_t(\tau) = S(\tau) \hat{f}_t$$
حيث أن:

• $\hat{f}_t$ هو عامل تخصيص الائتمان الأصلي المستمد من الطرق الموجودة (مثل إعادة الوزن القائم على الإنتروبيا أو الاختيار المتفرق).
• $S(\tau)$ هي دالة جدولة تناقصية رتيبة تتراوح من 1 إلى 0.
• الاستراتيجية: يبدأ التحسين بإعطاء الأولوية للرموز الأكثر استهدافاً (مثل تلك المحددة بواسطة الوكيل المحدد أو مواضع المسار المتأخرة) لتعزيز سلوكيات معينة. ومع تقدم التدريب، تضعف المعايير تدريجياً، مما يوسع نطاق التحسين ليشمل المزيد من الرموز العامة.

3. التكامل مع النماذج القائمة

تم تصميم الطريقة لتكون بديلاً "جاهز للاستخدام" (drop-in replacement) لاستراتيجيات تخصيص الائتمان الحالية:

• إعادة وزن الميزة المستمرة: يتم تغيير وزن $\psi(\mu_t)$ بواسطة $S(\tau)$.
• التحسين المتفرق المنفصل: يتم تخفيف عتبة الاختيار $\epsilon$ ديناميكياً: $\mu_t \geq S(\tau) \cdot \epsilon$. وهذا يدمج المزيد من الرموز في مجموعة التحسين بمرور الوقت.

4. جدولة مئويات المسار (TP-Schedule)

يقترح المؤلفون حالة خاصة باستخدام مئويات المسار مباشرة:

• التهيئة: التركيز حصرياً على الرموز المتأخرة (المئويات العالية) المسؤولة عن الاستمرار الموثوق.
• التقدم: دمج الرموز المبكرة (المئويات الأدنى) المسؤولة عن هيكلة الاستنتاج تدريجياً.
• الصيغة: $\hat{f}_t(\tau) = \mathbb{I}[t/T \geq S(\tau) \cdot 1]$، حيث $t/T$ هو الموقع الطبيعي. وهذا يخلق تحولاً هيكلياً حيث ينتشر التحسين من نهاية التسلسل إلى بدايته.

المساهمات الرئيسية

1. تحديد البعد الزمني: يجادل البحث بأن توقيت تخصيص الائتمان هو بُعد تحسين حرج وغير مستكشف. ويتحدى نموذج التخصي_الساكن، مقترحاً أن جدولة المعايير عبر خطوات التدريب تؤدي إلى تطور سياساتي أكثر مرونة.
2. إطار عمل الجدولة الزمنية: طريقة عامة لتكملة تقنيات تخصيص الائتمان الحالية (سواء إعادة الوزن المستمر أو التحسين المتفرق) من خلال إعطاء الأولوية للرموز المستهدفة في وقت مبكر وتخفيفها تدريجياً نحو التحسين العام.
3. المئويات المسارية كوكيل فعال: حدد المؤلفون أن المئويات المسارية البسيطة تعمل كمعيار طبيعي وفعال لتمييز السلوكيات السياساتية، وتعمل بتناغم مع الجدولة الزمنية لتجنب انهيار الإنتروبيا الذي تشهده الطرق القياسية.
4. التحقق التجريبي: أظهر تحسناً ثابتاً عبر أحجام نماذج متعددة (Qwen3-4B, Qwen3-8B)، وخوارزميات RL متعددة (GRPO, GSPO)، ومعايسات مختلفة (المهام الرياضية والاستنتاج العام).

النتائج التجريبية

قيم المؤلفون طريقتهم على نماذج Qwen3-4B و Qwen3-8B باستخدام مجموعات بيانات من OpenMathReasoning و DeepMath-103K. شملت الاختبارات مهام الرياضيات داخل التوزيع (AIME, HMMT, Minerva) ومهام الاستنتاج خارج التوزيع (Winogrande, GPQA, MuSR).

• مكاسب الأداء:
  • تفوقت TP-Schedule (باستخدام مئويات المسار) على GRPO التقليدي بنسبة 2.2% في الاختبارات الرياضية و 2.7% في اختبارات الاستنتاج العام لنموذج 4B.
  • أدى تطبيق الجدولة الزمنية على الطرق الساكنة الموجودة (مثل Entropy-Adv, Forking-Tok) إلى تحسينات ثابتة، حيث أظهرت الجدولة المنفصلة (توسيع المجموعات الفرعية للرموز) إمكانات قوية بشكل خاص.
  • لوحظت تحسينات عبر أحجام النماذج المختلفة وخوارزميات RL (بما في ذلك GSPO).
• ديناميكيات التدريب:
  • الحفاظ على الإنتروبيا: غالباً ما تضحي الأمثلة القياسية بإنتروبيا السياسة لاستيعاب السلوكيات غير المتجانسة. حافظت الجدولة الزمنية على إنتروبيا سياسة أعلى بكثير (أعلى بنسبة 33.9% في بعض المقارنات) طوال التدريب، مما أدى إلى ديناميكيات أكثر صحة.
  • المحاذاة الهيكلية: أظهر تحليل تباعد KL أن الجدولة الزمنية تحفز تحولاً تدريجياً في تحديثات السياسة، بدءاً من مئويات المسار المتأخرة والانتشار تدريجياً إلى المئويات المبكرة، بدلاً من التحديث بشكل موحد.

الأهمية والادعاءات

يدعي البحث أن الجدولة الزمنية تشكل بُعد تحسين واعد لـ RLVR. وتكمن أهميتها في:

• تغيير النموذج: الانتقال من التركيز الساكن على "أين" (اختيار الرموز) إلى التركيز الديناميكي على "متى" (الجدولة).
• تخفيف انهيار الإنتروبيا: من خلال تجنب استيعاب جميع السلوكيات غير المتجانسة في وقت واحد، تمنع الطريقة الانهيار السريع لإنتروبيا السياسة الذي يظهر غالباً في RLVR القياسي.
• البساطة والتوافق: تعتمد الطريقة على مئويات المسار البسيطة وهي متوافقة مع استراتيجيات تخصيص الائتمان الحالية، ولا تتطلب نماذج مكافأة معقدة أو تكاليف وسم جديدة.

خلص المؤلفون إلى أنه بينما يتم تطبيق الإطار حالياً على معايير تخصيص محددة، فإن العمل المستقبلي يتضمن تنسيق معايير تخصيص ائتمان متنوعة ضمن هذا الإطار الزمني. وتشير النتائج إلى أن توقيت إشارات التعلم لا يقل أهمية عن توزيعها المكاني عبر الرموز.