ملخص تقني: نظرية الميزانية النسبية للتعلم التعزيزي مع المكافآت القابلة للتحقق في استدلال النماذج اللغوية الكبيرة

1. بيان المشكلة

أصبح التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) نموذجاً مهيمناً لتعزيز قدرات الاستدلال في النماذج اللغوية الكبيرة (LLMs)، مما يتيح التخطيط طويل الأمد والتصحيح الذاتي التكراري. ومع ذلك، تتباين الفعالية التجريبية بشكل كبير عبر المهام والميزانيات الحسابية. تفشل الأطر النظرية الحالية غالباً في مراعاة العلاقة الديناميكية بين صعوبة المهمة وميزانيات الحوسبة، لا سيما في إعدادات التعلم عبر الإنترنت (online learning). يفتقر الممارسون إلى إرشادات حول كيفية تخصيص موارد الحوسبة بكفاءة، مما يؤدي إلى خطر تخصي الـموارد الهائلة في أنظمة يكون فيها التعلم غير فعال نظرياً أو حيث تتلاشى إشارة التعلم.

تعالج هذه الورقة الفجوة في الفهم النظري من خلال تحليل كيف تحدد النسبة بين ميزانية الرموز (tokens) المتاحة والصعوبة المتأصلة في المهمة كلاً من كفاءة العينات وتقارب عملية التعلم في RLVR.

2. المنهجية والإطار النظري

2.1. الميزانية النسبية ($\xi$)

قدم المؤلفون كمية مركزية تسمى الميزانية النسبية، وتُعرف بـ:
$$\xi := \frac{H}{E[T]}$$
حيث $H$ هو أفق التوليد (ميزانية الرموز) و $E[T]$ هو العدد المتوقع للرموز المطلوبة للوصول إلى أول حل صحيح بموجب سياسة أساسية $\pi_b$. هذا المقياس يوحد قيود الحوسبة وصعوبة المهمة.

2.2. افتراضات النمذجة

تتم نمذجة عملية الاستدلال كعملية قرار ماركوف (MDP) ذات أفق زمني محدود ومكافآت ثنائية. يتم تحليل زمن الوصول إلى الحل $T(\tau)$ تحت افتراضات توزيعية محددة:

• اللحظات (Moments): يتناسب تباين $T(\tau)$ مع مربع متوسطه ($v_x = \Theta(\mu_x^2)$).
• سلوك الذيل الأيسر: يتبع احتمال حل المشكلة ضمن كسر من الوقت المتوقع دالة $f(z)$ تتلاشى حدودياً بدلاً من التلاشي الأسي بالقرب من الأصل.
• توزيع غاما (Gamma Distribution): لإجراء تحليل ملموس، تم نمذجة $T(\tau)$ باستخدام توزيع غاما، والذي يعمل كبديل مستمر لأعداد الرموز المنفصلة في مهام الاستدلال المعقدة.

2.3. النهج التحليلي

تحلل الورقة معامل التركيز المضاد $c_0(\xi)$، والذي يمثل احتمال أخذ عينات من مسارات عالية المكافأة (الحلول التي يتم العثور عليها بشكل أسرع بكثير من المتوسط). يتحكم هذا المعامل مباشرة في التعقيد العيني لـ RL. اشتق المؤلفون ضمانات العينة المحدودة للتعلم التعزيزي عبر الإنترنت، مع تتبع تطور $\xi$ عبر التكرارات مع تحسن السياسة.

3. المساهمات الرئيسية والنتائج النظرية

تثبت الورقة أن أداء RLVR محكوم بثلاثة أنظمة متميزة بناءً على قيمة $\xi$:

3.1. الأنظمة الثلاثة لكفاءة التعلم

1. النظام الناقص (Deficient Regime) ($\xi \to 0$):
   • الشرط: ميزانية الرموز $H$ أصغر بكثير من الوقت المتوقع للوصول إلى الحل.
   • الديناميكيات: المسارات عالية المكافأة نادرة للغاية. يتلاشى معامل التركيز المضاد ($c_0 \to 0$)، مما يؤدي إلى انفجار التعقيد العيني. التعلم غير ممكن نظرياً.
2. النظام المتوازن (Balanced Regime) ($\xi = \Theta(1)$):
   • الشرط: ميزانية الرموز قابلة للمقارنة مع الوقت المتوقع للوص-ل إلى الحل.
   • الديناميكيات: تحدث المسارات المعلوماتية باحتمالية غير مهملة. يكون معامل التركيز المضاد محدوداً بعيداً عن الصفر ($c_0 = \Theta(1)$)، مما يؤدي إلى أقصى كفاءة عينية.
   • المقارنة مع SFT: يمثل هذا النظام "نقطة مثالية" لـ RL ولكنه يمثل "الحالة الأسوأ" للضبط الدقيق الخاضع للإشراف (SFT). في النظام المتوازن، تبلغ درجة عدم تجانس آثار الحل الناجحة (اختلاف الأطوال والاستراتيجيات) ذروتها، مما يجعل التعلم بالتقليد صعباً بالنسبة لـ SFT.
3. النظام الوفر (Ample Regime) ($\xi \to \infty$):
   • الشرط: ميزانية الرموز تتجاوز بشكل كبير الوقت المتوقع للوصول إلى الحل.
   • الديناميكيات: يظل التعلم مستقراً مع معامل تركيز مضاد محدود. ومع ذلك، فإن المكاسب الهامشية لكل تكرار تتضاءل مع تصبح المهمة تافهة بالنسبة للميزانية، ويزداد التعقيد العيني خطياً مع $\xi$.

3.2. ضمانات العينة المحدودة لـ RL عبر الإنترنت

يثبت المؤلفون أنه في إعدادات التعلم عبر الإنترنت، ومع تحسن السياسة، ينخفض الوقت المتوقع للوصول إلى الحل، مما يؤدي إلى نمو $\xi$ خطياً عبر التكرارات.

• النظرية 6.4: تحت نموذج غاما، يدفع RL عبر الإنترنت $\xi$ للنمو خطياً ($\xi_i - \xi_0 \geq i(2K)^{-1}$).
• المقايضة: بينما تتقارب السياسة نحو ميزانية الرموز $H$، فإن الحفاظ على تحسن أحادي الاتجاه في النظام الوفر يتطلب عدداً متزايداً من عينات التمرير (تدهور تربيعي في التعقيد العيني بالنسبة لـ $\xi$).

3.3. التخصيص الأمثل للميزانية

يحدد التحليل النظري باستخدام توزيع غاما ميزانية نسبية مثلى $\xi^*$ تعظم إشارة التعلم (تباين المكافأة) مع الحفاظ على معامل تركيز مضاد مستقر.

• التنبؤ النظري: تقع $\xi^*$ المثلى في النطاق $1.0 \leq \xi^* \leq 1.4$.
• الاستنتاج: تخصيص ميزانية أكبر قليلاً من الصعوبة المتوقعة ($\xi \gtrsim 1$) أمر بالغ الأهمية للحصول على إشارات تعلم موثوقة.

4. النتائج التجريبية

تحقق المؤلفون من نظريتهم باستخدام نماذج لغوية كبيرة قياسية (Llama-3.2-3B, Phi-4-mini, Qwen3-4B) على اختبارات استدلال (GSM8K, MATH-500).

• التحول الطوري: أكدت التجارب وجود تحول طوري عند $\xi \approx 1.0$. في النظام الناقص ($\xi < 0.8$)، كان تباين المكافأة والتركيز المضاد ضئيلاً.
• ذروة إشارة التعلم: بلغت إشارة التعلم (تباين المكافأة) ذروتها في النطاق $\xi \in [1.5, 2.0]$، وهو أعلى قليلاً من الحد الأدنى النظري بسبب الطبيعة طويلة الذيل لتوزيعات توليد الرموز.
• الارتباط بالأداء: أظهرت دقة ما بعد التدريب في مهام الاستدلال زيادة حادة مع اقتراب $\xi$ من 1 (النظام المتوازن) وتشبعت في النظام الوفر ($\xi > 2.0$).
• متانة النموذج: ظلت التنبؤات النظرية صالحة لمختلف النماذج والبيانات، حتى بالنسبة للنماذج (مثل Qwen3) التي أظهرت توزيعات رموز ثنائية المنوال، مما يشير إلى أن النظرية الأساسية قوية تجاه الانحرافات التوزيعية المحددة.

5. الأهمية والادعاءات

تدعي الورقة تقديم إطار نظري موحد يفسر نجاح RLVR المعتمد على الأنظمة في استدلال النماذج اللغوية الكبيرة. تكمن أهميتها الأساسية في:

1. تحديد "حافة الكفاءة": هي تبرر نظرياً الملاحظة التجريبية بأن RL أكثر فعالية عندما لا تكون المهام تافهة ولا مستعصية، وتحديداً عندما تكون ميزانية الحوسبة قابلة للمقارنة مع الصعوبة المتأصلة للمهمة.
2. توجيه تخصيص الحوسبة: تقدم النظرية إرشادات ملموسة للممارسين: تخصيص ميزانيات الرموز بحيث تكون $\xi \in [1.5, 2.0]$. يضمن هذا وجود مسارات معلوماتية دون العائدات المتناقصة للميزانيات المفرطة.
3. تفسير تباعد RL عن SFT: توضح لماذا يتفوق RL القائم على التحقق على SFT في توسيع حسابات وقت الاختبار، خاصة في النظام المتوازن حيث يعيق عدم تجانس الحلول التعلم بالتقليد ولكنه يساعد الاستكشاف القائم على RL.
4. تطوير الذكاء الاصطناعي المستدام: من خلال تحديد متى يحقق RL عوائد متناقصة، يهدف الإطار إلى منع عمليات التدريب المهدرة، مما يقلل التكاليف المالية والبيئية المرتبطة بتدريب النماذج واسعة النطاق.

يشير المؤلفون إلى أن تحليلهم يعتمد على مكافأة تقريبية مستمرة لجعل تحليل التباين قابلاً للحل، وأن توسيع النظرية لتشمل إعدادات المكافأة الثنائية الصارمة يظل مشكلة مفتوحة. ومع ذلك، فإن التوافق التجريبي مع الإعدادات الواقعية يشير إلى أن الميزانية النسبية $\xi$ هي عامل أساسي في فعالية التعلم الموجه للاستدلال.