You Only Need Minimal RLVR Training: Extrapolating LLMs via Rank-1 Trajectories

ملخص تقني: لا تحتاج إلا إلى تدريب ضئيل من نوع RLVR: استقراء النماذج اللغوية الكبيرة عبر مسارات من الرتبة 1

بيان المشكلة

برز التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR) كنموذج مهيمن لتعزيز قدرات الاستدلال في النماذج اللغوية الكبيرة (LLMs)، لا سيال في مجالات مثل الرياضيات. ومع ذلك، فإن مسار RLVR القياسي مكلف حاسوبياً للغاية، حيث يتطلب غالباً أياماً من وقت وحدة معالجة الرسومات (GPU) للوصول إلى مستويات الأداء المستقرة. تتضمن العملية توليد مسار من نقاط التفتيش (checkpoints) عبر مئات خطوات التحسين، مع تكاليف تتناسب خطياً مع عدد الخطوات. وبينما تشير الأعمال السابقة إلى أن RLVR يعمل على تضخيم السلوكيات الكامنة بدلاً من تعليم قدرات جديدة تماماً، فإن البنية الهندسية لمسارات المعلمات (parameter trajectories) لا تزال غير مستكشفة بشكل كافٍ. السؤال المركزي الذي تعالجه هذه الورقة هو ما إذا كان يمكن التنبؤ بنقاط التفتيش المستقبلية في RLVR من خلال بادئة قصيرة من ديناميكيات التدريب، وبالتالي تجاوز الحاجة إلى مزيد من التدريب المكثف.

المنهجية: RELEX

يقترح المؤلفون RELEX (استقراء التعلم التعزيزي - REinforcement Learning EXtrapolation)، وهي طريقة لا تتطلب تدريباً، تستفيد من الانتظام الهندسي لتحديثات أوزان RLVR للتنبؤ بنقاط التفتيش المستقبلية. تعمل الطريقة بناءً على فرضية أن مسارات أوزان RLVR ذات رتبة منخفضة جداً وشبه خطية.

تتكون سلسلة RELEX من ثلاث خطوات، تُطبق على أول $T_{cut}$ من نقاط التفتيش المرصودة (على سبيل المثال، أول 15-20% من خطوات التدريب):

1. تقدير الفضاء الجزئي من الرتبة-1 (Rank-1 Subspace Estimation):
   لكل تنسور أوزان $W^{(\ell)}$، تقوم الطريقة بحساب فروق المعلمات $\Delta \theta_t = \theta_t - \theta_0$ بالنسبة للنموذج الأساسي. يتم تسطيح هذه الفروق وتجميعها في مصفوفة مسار $M^{(\ell)}$. يتم إجراء تحليل القيمة المفردة (SVD) على $M^{(\ell)}$، واستخراج المتجه المفرد الأيمن الأعلى $v_1^{(\ell)}$. يحدد هذا المتجه الاتجاه المهيمن لتغير المعلمات عبر نافذة المراقبة.

2. استقراء المعامل الخطي (Linear Coefficient Extrapolation):
   يتم إسقاط الفروق المرصودة على المتجه المفرد المهيمن للحصول على مسار معامل قياسي $c_t = \langle \text{flatten}(\Delta \theta_t), v_1 \rangle$. يُظهر التحليل التجريبي أن هذه المعاملات تتطور بشكل خطي تقريباً مع خطوة التدريب ($R^2 > 0.98$). يتم استخدام انحدار خطي بسيط ($c(t) = at + b$) لملائمة هذه المعاملات باستخدام البادئة المرصودة.

3. التنبؤ بالأوزان المستقبلية (Future Weight Prediction):
   للتنبؤ بنقطة تفتيش عند الخطوة المستهدفة $T$، نقوم باستقراء المعامل $\hat{c}_T = aT + b$ ونعيد بناء تنسور الأوزان كـ $\hat{W}_T = W_0 + \hat{c}_T \cdot v_1$. تتكرر هذه العملية لجميع التنسورات لتجميع نقطة التفتيش المتوقعة الكاملة $\hat{\theta}_T$.

من المهم ملاحظة أن RELEX لا تتطلب أي نماذج تنبؤ متعلمة، ولا تدريباً إضافياً من نوع RLVR، وتتضمن فقط عمليات مغلقة (SVD مبتور وملائمة المربعات الصغرى).

المساهمات الرئيسية

1. الاكتشاف التجريبي للخطية منخفضة الرتبة: أثبت المؤلفون أن مسارات تحديث أوزان RLVR ذات رتبة منخفضة للغاية ويمكن التنبؤ بها. وتحديداً، يمكن لتقريب SVD من الرتبة-1 التقاط الغالبية العظمى من تغيرات المعلمات ذات الصلة بالمهام اللاحقة، كما أن المعاملات القياسية المقابلة تتطور خطياً بالقرب من خطوات التدريب عبر عائلات نماذج متعددة (Qwen2.5-Math-1.5B, Qwen3-4B-Base, Qwen3-8B-Base).
2. إطار عمل RELEX: تقديم طريقة استقراء بسيطة وفعالة حاسوبياً تتنبأ بنقاط التفتيش المستقبلية باستخدام البادئة الأولى للتدريب فقط.
3. آلية إزالة الضجيج الطيفي (Spectral Denoising Mechanism): حددت الورقة أن الإسقاط من الرتبة-1 يعمل كـ "مزيل ضجيج طيفي". فمن خلال إسقاط التحديثات على الفضاء الجزئي المهيمن، تقوم الطة بالتخلص من ضجيج التحسين العشوائي (الذي يتم التقاطه في المكونات ذات الرتب الأعلى) والذي قد يؤدي إلى تدهور الأداء أثناء الاستقراء.
4. الكفاية التبسيطية (Minimalist Sufficiency): تؤكد دراسات الاستبعاد (Ablation studies) أن زيادة رتبة الفضاء الجزئي (على سبيل المثال، إلى الرتبة-5 أو الرتبة-10) أو استخدام نماذج غير خطية (متعددات الحدود، الشبكات العصبية) لا يحقق أي مكاسب إضافية بل ويؤدي غالباً إلى تدهور الأداء، مما يؤكد كفاية نهج الرتبة-1 الخطي.

النتائج التجريبية

تم تقييم الطريقة على ثلاثة نماذج قائمة على Qwen عبر اختبارات داخل النطاق (MATH) وخمسة اختبارات خارج النطاق (OOD) (AIME 2025/2026, HMMT 2025, OlympiadBench, AMC 2023).

• الأداء مقابل التكلفة: باستخدام 15-20% فقط من تكلفة تدريب RLVR الكاملة (مراقبة أول 75-125 خطوة)، تنتج RELEX نقاط تفتيش تضاهي أو تتجاوز أداء نماذج RLVR المدربة بالكامل.
  • Qwen2.5-Math-1.5B: حققت RELEX نسبة 71.6% في MATH (مقابل 71.5% لـ RLVR الكامل) وتفوقت على RLVR في 4 من أصل 5 اختبارات OOD.
  • Qwen3-4B-Base: حققت RELEX نسبة 85.6% في MATH (مقابل 85.5% لـ RLVR الكامل).
  • Qwen3-8B-Base: حققت RELEX نسبة 87.4% في MATH (مقابل 88.5% لـ RLVR الكامل)، وظلت ضمن نطاق 1.1% من أداء التدريب الكامل.
• الاستقراء طويل المدى: نجحت RELEX في الاستقراء إلى ما وراء نافذة المراقبة بكثير. على سبيل المثال، سمحت مراقبة أول 50 خطوة فقط بتنبؤات مستقرة حتى 1000 خطوة (20 ضعف نافذة المراقبة)، مع استمرار تحسن الأداء.
• المقارنة مع النماذج المرجعية: تفوقت RELEX بشكل موحد على نماذج الاستقراء الأخرى، بما في ذلك استقراء الأوزان (Weight Extrapolation - الاستكمال الخطي في فضاء الأوزان الخام)، واستقراء اللوجيت (Logits Extrapolation)، وExPO، وAlphaRL. ويبرز تفوقها على "استقراء الأوزان" أهمية خطوة SVD في تصفية الضجيج.

الأهمية والادعاءات

تدعي الورقة أن التدريب بأسلوب RL، رغم طبيعته العشوائية وغير المحدبة، ينحت مسارات بسيطة بشكل مثير للدهشة في فضاء معلمات منخفض الرتبة. تكمن أهمية هذا العمل في:

• الكفاءة: توفر طريقة لتحقيق أداء قريب من المثالي لـ RLVR بجزء ضئيل من التكلفة الحاسوبية، مما يسمح فعلياً بـ "تخطي" معظم خطوات التدريب دون الحاجة لإعادة التدريب.
• الرؤية النظرية: تقدم دليلاً على أن "الإشارة" في تعلم RLVR تتركز في اتجاه مهيمن واحد، بينما تمثل المكونات ذات الرتب الأعلى ضجيج التحسين بشكل أساسي.
• التعميم: تظهر الطريقة أن نقاط التفتيش المستقرأة تلتقط مكاسب استدلال قابلة للنقل، كما يتضح من الأداء القوي في اختبارات OOD، مما يشير إلى أن النموذج لا يقوم بمجرد الإفراط في التخصيص (overfitting) لتوزيع التدريب.

يشير المؤلفون إلى بعض القيود، معترفين بأن الدراسة الحالية مقتصرة على GRPO في مهام الاستدلال الرياضي مع نماذج Qwen. ويقترحون أن نافذة المراقبة المثلى ($T_{cut}$) تعتمد على النموذج، وأن اختيار الرتبة التكيفي قد يكون ضرورياً لتعميم أوسع على خوارزميات أخرى (مثل PPO) أو عائلات نماذج أخرى.