ملخص تقني: تحسين السياسة بمحفز الأوراكل (OPPO)

بيان المشكلة

برز التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) كنموذج قياسي لتعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs). ومع ذلك، تعاني الخوارزمية المهيمنة، وهي تحسين السياسة النسبي للمجموعات (GRPO)، من خلل جوهري في تخصيص الائتمان (credit assignment): فهي تخصص ميزة (advantage) واحدة على مستوى المسار لكل توكن (token) في سلسلة الاستنتاج. في تسلسلات الاستنتاج الطويلة، تحدد مجموعة فرعية صغيرة فقط من التوكنات (مثل اختيارات الاستراتيجية أو الخطوات الجبرية الرئيسية) النتيجة بشكل سببي. ومن خلال بث نفس القيمة العددية للميزة على جميع المواضع، تعمل GRPO على تخفيف إشارة التعلم عند الخطوات المحورية وضخ الضجيج في المواضع غير المعلوماتية. وتتفاقم هذه المشكلة مع زيادة طول سلاسل الاستنتاج.

تحاول البدائل الحالية معالجة ذلك، لكنها تواجه قيودها الخاصة:

• متغيرات GRPO المنقحة (مثل Dr.GRPO وDAPO) تعدل نسب الأهمية أو التقطيع (clipping) ولكنها لا تزال تخصص مزايا موحدة عبر التوكنات.
• طرق مستوى التوكن تتطلب غالبًا إعادة أخذ عينات من مونت كارلو مكلفة، أو تحديثات عبر الإنترنت لنماذج المكافأة الضمنية، أو تجميعًا على مستوى القطع (segment-level aggregation).
• طرق التقطير داخل السياسة (مثل SDPO) تستخدم معلمًا متميزًا (privileged teacher) مشروطًا بالإجابة الصحيحة لتوليد إشارات لكل توكن (نسب لوغاريتم الاحتمالية). ومع ذلك، تعامل هذه الطرق إشارة كل توكن بمعزل عن غيره، منفصلة عن الدليل التراكمي المتجمع حتى ذلك الموضع، وتطبق أوزانًا موحدة بغضًا عن حالة اليقين الحالية للمسار.

المنهجية: تحسين السياسة بمحفز الأوراكل (OPPO)

يقترح OPPO إطار عمل يسد الفجوة بين مكافآت مستوى المسار وإشارات مستوى التوكن المنعزلة، وذلك عبر معاملة إشارة الأوراكل (oracle signal) كعملية تحديث بايزي طبيعية لمعتقد النموذج حول النجاح النهائي.

1. التكرار القيمي البايزي (Bayesian Value Recursion)

الرؤية الجوهرية هي أن إشارة الأوراكل لكل توكن المستخدمة في التقطير (نسبة اللوغاريتم بين سياسة مشروطة بالنجاح والسياسة الطالبة) تعمل كعامل بايز (Bayes factor). ومن خلال تراكم هذه الإشارات على طول المسار، يمكن اشتقاق تقدير تشغيلي مغلق الصيغة لاحتمالية النجاح ($V_t$) عند كل موضع دون الحاجة إلى شبكة قيمة متعلمة.

ليكن $V_t = P(R=1 | x, y_{<t})$ هو احتمال النجاح النهائي بناءً على السابقة (prefix). يقوم التكرار بتحديث اللوغاريتمات (log-odds) ($\ell_t$) بشكل تراكمي:
$$\ell_{t+1} = \ell_t + \log \lambda_t$$
حيث $\lambda_t$ هو عامل بايز المقدر المشتق من مقيّم أوراكل $\hat{\pi}$:
$$\lambda_t = \frac{\hat{\pi}(y_t | x, y_{<t}, y^*)}{\hat{\pi}(y_t | x, y_{<t})}$$
هنا، $y^*$ هي الإجابة الصحيحة. ويتم استعادة احتمالية النجاح عبر دالة السيجمويد (sigmoid): $V_t = \sigma(\ell_t)$.

2. ميزة مستوى التوكن

الميزة المثالية لمستوى التوكن هي الفرق الزمني (temporal difference) $A_t = V_{t+1} - V_t$. باستخدام التكرار، يشتق OPPO ميزة ذات صيغة مغلقة:
$$A_t = \sigma(\ell_t + \log \lambda_t) - \sigma(\ell_t)$$
هذه الصيغة تحقق خاصية الميزانية المتلسلسلة (telescoping budget property) $\sum A_t = R - V_0$، مما يضمن أن إجمالي الائتمان الموزع عبر المسار يطابق تمامًا النتيجة بالنسبة للمقدمة (prior).

يكشف تحليل الدرجة الأولى أن الميزة تتحلل إلى:
$$A_t \approx V_t(1 - V_t) \cdot \log \lambda_t$$

• $\log \lambda_t$: إشارة التمييز لكل توكن (وهي مطابقة لإشارة التدرج في التقطير داخل السياسة).
• $V_t(1 - V_t)$: وزن الحالة الذي ينظم الإشارة. يبلغ هذا الوزن ذروته عندما يكون النموذج غير متيقن ($V_t \approx 0.5$) ويتلاشى عندما يلتزم المسار بالنجاح أو الفشل ($V_t \to 0$ أو $1$). وهذا يعمل تلقائيًا على تركيز الائتمان على التوكنات المحورية وكبح الضجيج في المناطق المشبعة.

3. مقدِّرات الأوراكل

يوفر OPPO نمطين لتقدير $\lambda_t$:

• الأوراكل الذاتي (Self-Oracle): يقوم النموذج الطالب $\pi_\theta$ بتقييم كل من السياق القياسي والسياق المعزز بـ $y^*$. يتطلب هذا تمريرة أمامية (forward pass) إضافية واحدة لكل مسار ويستعيد مكافأة التقطير داخل السياسة كحالة خاصة صارمة.
• أوراكل المعلم (Teacher-Oracle): يعمل نموذج أقوى ومجمد (مثل نموذج لغوي كبير) كمقيّم $\hat{\pi}$. هذا يقلل من خطأ التقريب ($\epsilon_t$) عبر توفير تقدير أعلى جودة لتوزيع النجاح المشروط، مقابل تكلفة وجود نموذج تقييم منفصل.

4. التكامل الخوارزمي

لمنع نمط فشل "التقطير الذاتي" حيث تتلقى التوكنات في المسارات غير الصحيحة التي ترتبط بـ $y^*$ مكافآت إيجابية، يستخدم OPPO تثبيت الاتجاه (Direction Anchoring). يتم ربط إشارة ميزة مستوى التوكن بعلامة ميزة GRPO على مستوى التسلسل ($A_{seq}$)، مما يضمن أن مكافأة البيئة تظل هي الحكم الوحيد على ما إذا كان المسار سيتم تعزيزه أم معاقبته. يستخدم التحديث النهائي هدفًا بديلاً مقصوصًا (clipped surrogate objective) مشابهًا لـ PPO، ولكن مع استبدال ميزة المسار الموحدة بميزات مستوى التوكن البايزية.

المساهمات الرئيسية

1. التوحيد النظري: يوضح البحث أن مكافأة الأوراكل لكل توكن في التقطير هي في الوقت نفسه بديل خبير لنسبة اللوغاريتم المثلى للميزة وإحصائية بايزية كافية لاحتمالية النجاح.
2. التكرار المغلق الصيغة: اشتقاق تكرار قيمة بايزي ينتج مزايا على مستوى التوكن دون الحاجة إلى نقاد (critics) متعلمين أو عمليات سحب عينات (rollouts) إضافية، مما يحقق شرط الميزانية المتلسلسلة.
3. تركيز الائتمان: تقديم ميزة موزونة بالحالة ($V_t(1-V_t) \log \lambda_t$) تركز ديناميكيًا إشارات التعلم على التوكنات المحورية وتقلل التباين في المناطق المحددة.
4. إطار عمل عملي: دمج هذا التكرار في خط إنتاج GRPO مع تثبيت الاتجاه وتقليم الدليل، مما يتطلب فقط تمريرة أمامية إضافية واحدة لكل مسار.

النتائج التجريبية

قيم المؤلفون OPPO على نموذجين أساسيين (Qwen3-4B وPhi-4-mini) عبر سبعة معايير (الرياضيات، العلوم، البرمجة).

• مكاسب الأداء: يتفوق OPPO باستمرار على GRPO وDr.GRPO وDAPO وSDPO.
  • في AMC'23، حقق Teacher-OPPO تحسنًا قدره +5.7 نقطة فوق DAPO (Qwen3) و**+6.5 نقطة** (Phi-4).
  • في AIME'24، حقق Teacher-OPPO تحسنًا قدره +5.2 نقطة فوق DAPO (Qwen3) و**+4.5 نقطة** (Phi-4).
• الاعتماد على الطول: تتسع الفجوة في الأداء بشكل رتيب مع طول الاستجابة. في أطول فئة استجابة (1025+ توكن)، يظهر OPPO أكبر انفصال عن النماذج المرجعية، مما يؤكد فرضية أن وزن الحالة يثبط الضجيج بفعالية في سلاسل الاستنتاج الطويلة والمشبعة.
• جودة الأوراكل: يتوسع الأداء مع قدرة مقيّم الأوراكل. يتفوق Teacher-OPPO (باستخدام نموذج 32B) باستمرار على Self-OPPO (باستخدام نموذج 4B)، مما يؤكد قدرة الإطار على امتصاص إشارات عالية الجودة.
• الدراسة الاستقصائية (Ablation): يؤدي إزالة تثبيت الاتجاه إلى انهيار الأداء في المهام الصعبة (على سبيل المثال، ينخفض AIME'24 تحت مستوى GRPO)، مما يؤكد ضرورة ربط العلامة بنتيجة المسار. إزالة تتبع الحالة (باستخدام $\log \lambda_t$ فقط) يقلل بشكل كبير من المكاسب، خاصة في السلاسل الطويلة.

الأهمية والادعاءات

يزعم المؤلفون أن OPPO يوفر طريقة مبدئية وخالية من الناقد لتخصيص الائتمان على مستوى التوكن في RLVR. من خلال الاستفادة من التفسير البايزي لإشارات الأوراكل، فإنه يحقق:

• تركيز ائتمان تلقائي: يركز ديناميكيًا التعلم على الخطوات المحورية غير المتيقنة دون الحاجة إلى ضبط المعلمات الفائقة أو شبكات قيمة متعلمة.
• الكفاءة: يحقق دقة على مستوى التوكن بتكلفة تمريرة أمامية واحدة إضافية فقط، متجنبًا الأعباء الهائلة للاستنتاج في طرق مونت كارلو أو تكلفة الذاكرة لتدريب شبكات القيمة.
• التكامل: طريقة OPPO محايدة لآليات التحسين (مثل تقطيع DAPO)، حيث تقدم مكاسب عند دمجها فوق الأطر الموجودة.

يضع المؤلفون OPPO كحل لمشكلة "التخفيف" في الاستنتاج طويل الأمد، كبديل مؤصل نظريًا لكل من مكافآت مستوى المسار الموحدة وإشارات التقطير المنعزلة لمستوى التوكن. يُقدم الإطار كآلية وقت تدريب تعمل على تحسين تحسين السياسة دون تغيير عملية النشر (deployment) للنموذج أثناء الاستنتاج.