Slow-Fast Policy Optimization: Reposition-Before-Update for LLM Reasoning

إليك ملخص تقني مفصل لورقة البحث "Slow-Fast Policy Optimization: Reposition-Before-Update for LLM Reasoning" (ICLR 2026).

1. بيان المشكلة

أصبح التعلم المعزز (RL)، وتحديداً تحسين سياسة المجموعة النسبية (GRPO)، هو المعيار لتعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs). ومع ذلك، يعاني GRPO من عدم كفاءة هيكلية كبيرة، خاصة خلال المراحل الأولى من التدريب:

• التدرجات الضوضائية (Noisy Gradients): غالباً ما تكون المخرجات (rollouts) في البداية منخفضة الجودة، مما يؤدي إلى تقديرات تدرج عالية التباين تسبب عدم استقرار التحديثات.
• عدم كفاءة استخدام البيانات: يقوم GRPO القياسي بعملية تحديث واحدة "من دفعة واحدة" (one-shot) لكل دفعة من المخرجات. هذا يهدر معلومات التدرج التي يمكن استخراجها من خلال خطوات متعددة على نفس البيانات.
• الانحراف عن السياسة (Off-Policy Drift): محاولات إعادة استخدام بيانات المخرات لعمليات تحديث متعددة (التعلم خارج السياسة) تؤدي غالباً إلى عدم تطابق التوزيع، مما يتسبب في ابتعاد السياسة عن توزيع البيانات ويؤدي لعدم استقرار التدريب.

تفترض الورقة أن مجرد تطبيق تحديثات خارج السياسة يؤدي إلى تدهور الأداء، وهناك حاجة لآلية تثبت اتجاه التدرج مع تعظيم كفاءة العينات دون تغيير هدف التعلم المعزز الأساسي.

2. المنهجية: تحسين السياسة البطيء-السريع (SFPO)

يقترح المؤلفون إطار عمل SFPO، وهو إطار متوافق وقابل للتركيب يعيد هيكلة تحديث السياسة القياسي إلى ثلاث مراحل منسقة. يقوم بتفكيك عملية تكرار تدريب واحدة إلى: مسار سريع (Fast Trajectory)، خطوة إعادة تموضع (Reposition)، وتصحيح بطيء (Slow Correction).

المرحلة الأولى: المسار السريع (التحديثات الداخلية)

بدلاً من خطوة تدرج واحدة، يقوم SFPO بإجراء $K$ من التحديثات المتتالية على نفس دفعة المخرات.

• الآلية: بدءاً من $\theta_{s,0}$، يحسب النموذج $K$ من الخطوات: $\theta_{s,k+1} = \theta_{s,k} - \eta \nabla L(\theta_{s,k})$.
• الحدس: يعمل هذا على تجميع تقديرات متعددة للتدرج، مما يعمل كمرشح تمرير منخفض (low-pass filter) مدرك للانحناء. فهو يخمد الضوضاء العارضة الناتجة عن الخطوات الفردية ويحاذي اتجاه التحديث مع حقل التدرج الأساسي، مما يوفر اتجاه بحث أكثر استقراراً من الخطوة الواحدة الضوضائية.

المرحلة الثانية: إعادة التموضع (التحكم في الانحراف)

بما أن الخطوات $K$ الداخلية تعيد استخدام البيانات التي تم إنشاؤها بواسطة السياسة الأولية $\pi_{\theta_{s,0}}$، فإن النقطة النهائية $\theta_{s,K}$ تعاني من انحراف خارج السياسة.

• الآلية: يقوم SFPO بعمل استيفاء (interpolation) للمسار السريع للعودة نحو نقطة البداية:
  $$\tilde{\theta}_{s,K} = \theta_{s,0} + \alpha(\theta_{s,K} - \theta_{s,0})$$
  حيث $\alpha \in [0, 1]$ هو عامل إعادة التموضع.
• الحدس: يعمل هذا كمنطقة ثقة ضمنية (implicit trust region). حيث يحافظ $\alpha$ الأصغر على التحديث قريباً من توزيع السياسة الحالية، مما يخفف من التحيز الناتج عن التعلم خارج السياسة. وهو مكافئ رياضياً لحل مسألة تقريبية (proximal subproblem).

المرحلة الثالثة: التصحيح البطيء (التحديث النهائي)

• الآلية: يتم إجراء خطوة تدرج نهائية على النقطة المعاد تموضعها:
  $$\theta_{s+1} = \tilde{\theta}_{s,K} - \eta \nabla L(\tilde{\theta}_{s,K})$$
• الحدس: يضمن هيكل "المتنبئ-المصحح" (predictor-corrector) أن التحديث النهائي يتوافق مع الانحناء المحلي عند النقطة الجديدة، مما يصحح أي أخطاء متبقية من عملية الاستيفاء.

الجدولة التكيفية لـ $\alpha$

للموازنة بين الاستكشاف والاستقرار، يتم جدولة $\alpha$ ديناميكياً بناءً على اعتلاج السياسة (policy entropy):

• التدريب المبكر (إشارة عالية): عندما تكون تقلبات الاعتلاج منخفضة (مما يشير إلى تعلم مستقر)، يتم إبقاء $\alpha$ مرتفعاً لاستغلال المسار السريع.
• التدريب المتأخر (هيمنة الضوضاء): عندما يتقلب الاعتلاج بشكل حاد (مما يشير إلى اقتراب النموذج من الحد الأمثل المحلي أو الإفراط في التخصيص)، يتم ضبط $\alpha$ ليكون 0. هذا يعيد SFPO إلى GRPO القياسي لمنع عدم الاستقرار بالقرب من التقارب.

3. المساهمات الرئيسية

1. قاعدة تحديث مبتكرة: تقديم SFPO، وهو تفكيك ثلاثي المراحل (سريع-إعادة تموضع-بطيء) يحول التحديثات الضوضائية ذات الدفعة الواحدة إلى مسارات مهيكلة.
2. التوافق المباشر (Plug-and-Play): لا يتطلب SFPO أي تغييرات في دالة الخسارة الأساسية، أو عملية توليد المخرات، أو تنظيم KL/clip. يمكن دمجه في خطوط أنابيب GRPO الحالية (مثل DeepSeek-R1 و Qwen-Math) بأقل قدر من الجهد الهندسي.
3. الرؤية النظرية: يوفر تحليلاً رياضياً يوضح أن المسار السريع يعمل كمقلل للتباين، بينما تتحكم خطوة إعادة التموضع في التحيز خارج السياسة، ويقوم التصحيح البطيء بمحاذاة الانحناء المحلي.
4. الكفاءة: يثبت أن إعادة استخدام بيانات المخرات عبر هذا الهيكل المحدد يحسن كفاءة العينات بشكل كبير دون التسبب في عدم استقرار التحديثات العشوائية خارج السياسة.

4. النتائج التجريبية

قيم المؤلفون SFPO عبر 5 نماذج (تتراوح من 1.5B إلى 7B بارامتر، بما في ذلك Qwen2.5-Math و DeepSeek-R1 Distill) و 6 اختبارات استنتاج (Math500, AIME24/25, AMC, MinervaMath, Olympiad Bench).

• مكاسب الأداء:
  • يتفوق SFPO باستمرار على GRPO التقليدي.
  • متوسط التحسن: يصل إلى +2.80 نقطة في متوسط الدقة في اختبارات الاستنتاج الرياضي.
  • مكاسب محددة: في اختبار AIME25 الصعب، حقق نموذج DS-distilled-Qwen-1.5B زيادة مطلقة قدرها +7.5 نقطة.
• كفاءة العينات:
  • يحقق SFPO نفس أفضل دقة لـ GRPO باستخدام ما يصل إلى 4.93 ضعف أقل من المخرات (rollouts).
  • يترجم هذا إلى تقليل قدره 4.19 ضعف في وقت التنفيذ (wall-clock time) للوصول إلى ذروة الأداء.
• ديناميكيات التدريب:
  • الاستقرار: يحقق SFPO تقارباً أسرع ويحافظ على دقة عالمية أعلى طوال فترة التدريب.
  • طول الاستجابة: على عكس GRSO، الذي غالباً ما ينهار إلى استجابات قصيرة جداً، يحافظ SFPO على استقرار أطوال الاستجابة (مثلاً ~2700 توكن) مع الحفاظ على دقة عالية، متجنباً "الإفراط في التفكير" أو الإطناب.
  • الاعتلاج (Entropy): يحقق SFFP خسارة اعتلاج أقل، وهو ما يُفسر ليس كفقدان للاستكشاف، بل كـ استكشاف أكثر كفاءة (إقصاء المسارات غير المنتجة مبكراً).

5. الأهمية

• حل عدم الاستقرار في التدريب المبكر: يعالج SFPO مباشرة هشاشة تدريب الاستنتاج في النماذج اللغوية الكبيرة عندما تكون المخرات ضعيفة، وهو عائق شائع في خطوط أنابيب RLHF الحالية.
• خفض التكلفة: من خلال تقليل عدد المخرات المطلوبة بنحو 5 أضعاف، يقلل SFPO بشكل كبير من التكلفة الحسابية والوقت اللازم للوصول إلى الحل، وهو أمر بالغ الأهمية نظراً لأن توليد المخرات يمثل أكثر من 70% من وقت الاستدلال.
• القدرة على التعميم: طريقة SFPO مستقلة عن التحسينات الأخرى (مثل DAPO أو Dr. GRPO) ويمكن دمجها معها. إنها تقدم نموذجاً جديداً لتحسين تحديثات السياسة يعطي الأولوية للاستقرار وكفاءة العينات على وتيرة التحديث الخام.
• الاتجاهات المستقبلية: يفتح الهيكل التركيبي لـ SFPO آفاقاً لتعلم المناهج (curriculum learning) وتوسعات التعلم الميتا (meta-learning)، مما يشير إلى أساس لاستراتيجيات تحسين قابلة للتوسع ومعتمدة على البيانات في النماذج اللغوية الكبيرة.

باخت-صار، يقدم SFPO تعديلاً بسيطاً ولكنه قوي لقاعدة تحديث RL القياسية، محولاً مشكلة "الدفعة الواحدة الضوضائية" في GRPO إلى حل "مسار مهيكل"، مما يؤدي إلى تدريب أسرع وأكثر استقراراً وأكثر كفاءة من حيث التكلفة لتدريب نماذج الاستنتاج.