ملخص تقني: تحسين السياسة أحادي الاتجاه (One-Way Policy Optimization) للنماذج اللغوية الكبيرة ذاتية التطور

1. بيان المشكلة

تتناول الورقة البحثية أوجه القصور في التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) في توسيع قدرات الاستدلال للنماذج اللغوية الكبيرة (LLMs). وبينما يمثل RLVR نموذجاً واعداً للمهام ذات النتائج القابلة للفحص (مثل الرياضيات والبرمجة)، فإنه يواجه تحديين رئيسيين:

1. الإشارات المتفرقة والثنائية: عادة ما تتوفر مكافآت المُحقِّق (Verifier) على مستوى التسلسل فقط، مما يؤدي إلى تباين عالٍ، وكفاءة عينة منخفضة، وعدم استقرار في عملية التحسين.
2. صراع "عكس القوة" (Force Reversal) في الأساليب الموجهة بالمرجع: لضمان استقرار التدريب، تضع الأساليب الحالية (مثل RL المنظم بـ KL، أو التقطير داخل السياسة - On-Policy Distillation) سياسة مرجعية ($\pi_{ref}$) لتوفير قيود كثيفة على مستوى الرموز (tokens). ومع ذلك، تفرض هذه الأساليب قيوداً متماثلة تعاقب أي انحراف عن المرجع، بغض النظر عما إذا كان هذا الانحراف يحسن المكافأة أم لا.
   • المشكلة الجوهرية: عندما تحاول السياسة التفوق على المرجع (انحراف متفوق - Superior deviation)، فإن عقوبة KL المتماثلة أو خسارة التقطير تمارس قوة "سحب للخلف" نحو المرجع. وإذا كانت هذه القوة قوية بما يكفي، فإنها تعكس اتجاه التحسين، محولةً خطوة لتحسين المكافأة إلى خطوة للوراء. وهذا يخلق سقفاً للأداء، مما يمنع النموذج من التطور بما يتجاوز المبدأ الأولي (prior).

2. المنهجية: تحسين السياسة أحادي الاتجاه (OWPO)

تقترح الورقة إطار عمل تحسين السياسة أحادي الاتجاه (OWPO)، المصمم لفصل اتجاه التحسين عن مقدار التحديث.

المبدأ الأساسي

• الاتجاه: يحدده حصرياً المُحقِّق (عبر إشارة الميزة $A_t$). يحدد المُحقِّق ما إذا كان الرمز صحيحاً أم خاطئاً.
• المقدار: يتم تعديله بواسطة السياسة المرجعية ($\pi_{ref}$). تعمل المرجعية فقط لضبط حجم الخطوة، وليس لعكس الاتجاه.

الآلية: إعادة الوزن غير المتماثل

يقدم OWPO وزناً قياسياً ديناميكياً $w_t$ يُطبق على هدف PPO/DAPO القياسي. يتم تحديد هذا الوزن بناءً على الانحراف الاتجاهي ($\delta_t$)، المعرف كالتالي:
$$\delta_t(\theta) \triangleq \text{sgn}(A_t) \cdot \log \frac{\pi_\theta(y_t | s_t)}{\pi_{ref}(y_t | s_t)}$$
بناءً على $\delta_t$، يطبق OWPO نظامين متميزين:

1. المحاذاة المتسارعة (الانحرافات الأدنى، $\delta_t < 0$):

   • السيناريو: السياسة الحالية $\pi_\theta$ تتخلف عن المرجع في الاتجاه الصحيح (على سبيل المثال، ثقة أقل في الرموز الصحيحة أو ثقة أعلى في الرموز الخاطئة).
   • الإجراء: يكون الوزن $w_t > 1$.
   • الأثر: يتم تضخيم التدرج لتسريع تصحيح هذه التأخرات، والاستفضاء من المبدأ المرجعي لإصلاح الأخطاء بسرعة.

2. قفل المكاسب (الانحرافات المتفوقة، $\delta_t > 0$):

   • السيناريو: السياسة الحالية $\pi_\theta$ تتفوق على المرجع في الاتجاه الصحيح (على سبيل المثال، ثقة أعلى في الرموز الصحيحة).
   • الإجراء: يتم تقليل الوزن $w_t < 1$ (تحديداً بحد أدنى $\epsilon_{low}$).
   • الأثر: يتم تقليل حجم خطوة التحديث. هذا "يقفل" المكاسب المتفرقة ذات القيمة العالية عبر تقليل التباين ومنع الضوضاء عالية التباين من زعزعة أو عكس هذه الانحرافات المفيدة.

التطور الذاتي التكراري (تأثير السقاطة - The Ratchet Effect)

للتغلب على عقبة السياسة المرجعية الثابتة، يدمج OWPO عملية تمهيد (bootstrapping) تكرارية:

• في نهاية كل مرحلة تدريب، يتم تحديث السياسة المرجعية عبر "تبديل صلب": $\pi_{ref}^{(k+1)} \leftarrow \pi_\theta^{(k)}$.
• هذا يخلق تأثير السقاطة (Ratchet Effect)، حيث تدمج كل دورة المكاسب الأخيرة في قاعدة أساسية جديدة، مما يسمح للنموذج بالتسلق المستمر نحو مكافآت أعلى دون أن يكون مقيداً بالمبدأ الأولي الأصلي.

3. المساهمات الرئيسية

1. تحديد صراع الاتجاه: تحدد الورقة أن القيود المتماثلة في أساليب RLVR الحالية تسبب "عكس القوة"، حيث يقمع المرجع عن غير قصد التحسينات التي تنحرف عن المبدأ الأولي.
2. فصل الاتجاه عن المقدار: يقدم OWPO هدفاً جديداً حيث يحدد المُحقِّق إشارة التدرج (الاتجاه)، بينما تعمل السياسة المرجعية فقط على تغيير مقدار التدرج.
3. منطقة ثقة غير متماثلة: على عكس تنظيم KL المتماثل القياسي، يبني OWPO منطقة ثقة مدركة للاتجاه تسرع التصحيح للانحرافات الأدنى بينما تحمي الانحرافات المتفوقة عبر تقليل التباين.
4. إطار التطور الذاتي التكراري: من خلال الجمع بين آلية الاتجاه الواحد وتحديثات المرجع الدورية، يتيح OWPO تطوراً ذاتياً مستمراً دون الاعتماد على نماذج معلمة خارجية.

4. النتائج التجريبية

قيم المؤلفون OWOW على نماذج Qwen-2.5-Math-7B و Qwen-3-8B باستخدام مجموعة بيانات DAPO-Math-17k ومعايير AIME24/25.

• الأداء مقابل النماذج المرجعية: تفوق OWOW باستمرار على النماذج المرجعية القوية، بما في ذلك أساليب RLVR البحتة (GRPO, DAPO) والأساليب الموجهة بالمرجع (OPD, MOPD, Sym-DAPO).
  • على Qwen-3-8B، حقق OWOW نسبة Pass@1 بلغت 51.90% (الأفضل) و 50.74% (عند التقارب) في AIME24، متفوقاً بشكل كبير على MOPD (46.40%) و DAPO (45.31%).
  • كسر OWOW "سقف الأداء" الملحوظ في MOPD و OPD، والتي تميل إلى الاستقرار بالقرب من أداء السياسة المرجعية.
• كفاءة التطور الذاتي: في إعداد تكراري يبدأ من مبدأ أولي دون المستوى (~30% Pass@1)، وصل OWOW إلى دقة ~40% في 4 دورات، بينما تطلب MOPD 6 دورات للاستقرار عند مستوى أدنى يبلغ ~37%.
• التعميم: رغم التدريب الصارم على بيانات الرياضيات، أظهر OWOW قدرة فائقة على النقل في اختبارات العلوم العامة (GPQA و MMLU-Pro) مقارنة بالأساليب الأخرى.
• دراسات الاستئصال (Ablation Studies): أدى إزالة عدم التماثل (إعادة الوزن المتماثل) إلى تراجع حاد في الأداء، مما أكد أن العقوبات المتماثلة تسبب عكس القوة. كما وُجد أن كلاً من مكوني "المحاذاة المتسارعة" و"قفل المكاسب" ضروريان ولا غنى عنهما.

5. الأهمية والادعاءات

تدعي الورقة أن OWOW يحل مشكلة صراع الاستقرار والاستكشاف الجوهرية في RLVR. من خلال منع تأثير "عكس القوة" المتأصل في التنظيم المتماثل، يسمح OWOW للنماذج بـ:

• تجاوز المبادئ الأولية دون المستوى بثبات: يمكن للنماذج التطور بما يتجاوز قدرات سياساتها المرجعية الأولية دون الانهيار.
• تمكين التطور الذاتي المستمر: يسمح "تأثير السقاطة" التكراري بتحسين مستمر في الأداء دون الحاجة لنماذج معلمة خارجية.
• إعطاء الأولوية لتوجيه المُحقِّق: يرسخ هذا الإطار حقيقة أنه في مهام الاستدلال القابلة للتحقق، يجب أن تكون إشارة المُحقِّق هي المحرك الرئيسي لاتجاه التحسين، مع استخدام السياسات المرجعية فقط كمثبتات للمقدار.

يضع المؤلفون OWOW كخطوة أساسية نحو نماذج استدلال ذاتية التطور وقابلة للتوسع، مشيرين إلى أنه بينما يركز حالياً على الرياضيات والاستدلال القابل للتحقق، فإن مبدأ التحسين المدرك للاتجاه قابل للتطبيق على نطاق واسع في RLVR.