ملخص تقني: ما وراء المخرجات السلبية: تحسين السياسة القائم على الإيجابيات فقط مع التدرجات السلبية الضمنية

بيان المشكلة

برز التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) كنموذج مهيمن لتعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs)، لا سيالما في المجالات الرياضية. تعتمد المنهجيات الحالية المتطورة، مثل تحسين السياسة النسبي للمجموعات (GRPO)، على مقارنة المخرات الإيجابية (الصحيحة) والسلبية (الخاطئة) ضمن مجموعات لتقدير المزايا. ومع ذلك، يحدد هذا البحث قصوراً جوهرياً في التعامل مع الاستجابات الخاطئة كإشارات تعلم صريحة:

1. غياب التدرج: في إعدادات المكافأة الثنائية (على سبيل المثال، $R(x,y)=1$ إذا كان صحيحاً، و$0$ خلاف ذلك)، تُعامل جميع الاستجابات الخاطئة بالتساوي. لا توجد إشارة متأصلة تميز بين الإجابة "الخاطئة قليلاً" والإجابة "غير المنطقية تماماً".
2. الهائل التوافيقي: الفضاء الخاص بالاستجابات الخاطئة للمهام المعقدة (مثل مسائل الأولمبياد) هائل من الناحية التوافيقية. إن معاقبة عدد قليل من المخرات السلبية التي تم أخذ عينات منها من غير المرجح أن تغطي أنماط الفشل ذات المعنى أو توفر إشارة مكافأة قوية في ظل وجود مكافآت ثنائية نادرة.
3. عدم الكفاءة: يتساءل البحث عما إذا كان يمكن تحقيق تحسين السياسة من خلال تعزيز النجاحات فقط، مستلهماً ذلك من طرق التعلم الذاتي الخاضع للإشراف التبايني (SSL) مثل BYOL وSimSiam، والتي تتعلم تمثيلات فعالة باستخدام العينات الإيجابية فقط.

المنهجية: تحسين السياسة القائم على الإيجابيات فقط (POPO)

يقترح المؤلفون POPO، وهو إطار عمل جديد للتعلم المعزز داخل السياسة (on-policy) يتعلم حصرياً من المخرات الإيجابية (الاستجابات الصحيحة) بينما يتعامل ضمنياً مع النتائج السلبية. يعمل هذا الإطار دون الحاجة إلى مخرات سلبية منفصلة لتوجيه التدرج.

المكونات الأساسية

1. أخذ العينات بأهمية ذاتية المعايرة:
   بدلاً من استخدام شبكة قيمة أو ميزة نسبية للمجموعة، يطبق POPO أوزان أخذ عينات بأهمية محدودة على مجموعة المخرات الإيجابية $S^+(x)$. يتم تعريف وزن الاستجابة الإيجابية $y$ كالتالي:
   $$w_\theta(y|x) = \frac{\pi_\theta(y|x)}{Z_+(x)}, \quad \text{حيث } Z_+(x) = \sum_{y' \in S^+(x)} \pi_\theta(y'|x)$$
   يخلق هذا آلية منافسة ذاتية حيث يتم تعزيز الإجابات الصحيحة "الأكثر ثقة" بشكل أقوى، بينما تحافظ عملية المعايرة على التنوع.

2. التدرجات السلبية الضمنية:
   يقدم البحث برهاناً نظرياً (النظرية 3.1) يثبت أن العقوبات السلبية الصريحة ليست ضرورية. نظراً لشرط الـ softmax ($\sum \pi_\theta(y|x) = 1$)، فإن زيادة احتمالية الاستجابات الإيجابية تؤدي بطبيعة الحال إلى خفض احتمالية الاستجابات السلبية. يظهر تحليل التدرج أن دالة الخسارة تفرض تدرجاً موجباً صارماً للقيم المنطقية (logits) الخاطئة $y' \in S^-(x)$، مما يعمل كـ "ضريبة احتمالية" ضمنية وعقوبة قائمة على الإنتروبيا.

3. المرساة السيامية التكيفية (Adaptive Siamese Anchor):
   لتثبيت التدريب دون الحاجة إلى نموذج مرجعي (والذي قد يؤدي إلى عدم تطابق التوزيع أو الإفراط في التخصيص)، يستخدم POPO بنية شبكة سيامية:

• شبكة السياسة ($\pi_\theta$): الشبكة النشطة التي يتم تحسينها.
• الشبكة السيامية ($\pi_\xi$): الشبكة المستهدفة التي يتم تحديثها عبر المتوسط المتحرك الأسي (EMA) لمعلمات السياسة: $\xi \leftarrow \tau \xi + (1-\tau)\theta$.
• محاذاة فضاء التمثيل: بدلاً من تباعد KL التقليدي (الذي قد يكون عالي التباين وحساساً للرموز/tokens)، يقوم POPO بمحاذاة التمثيلات الخفية لشبكتي السياسة والسيامية في فضاء تضمين دلالي باستخدام رأس تنبؤ وتشابه جيب التمام. يعمل هذا كقيد ناعم ومحدود.

4. دالة الخسارة:
   تجمع الخسارة الإجمالية بين لوغاريتم الاحتمال السلبي (NLL) الموزون على العينات الإيجابية، وتشابه فضاء التمثيل، وتنظيم الإنتروبيا:
   $$L_{POPO} = -\mathbb{E} \left[ \sum_{y \in S^+(x)} w_\theta(y|x) \log \pi_\theta(y|x) \right] + \alpha L_{sim} + \beta L_{ent}$$

المساهمات الرئيسية

• تحول في النموذج المعرفي: يقدم إطار عمل يحدث فيه التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) حصرياً عبر المخرات الإيجابية عبر الإنترنت، مما يتحدى العرف القائل بأن العينات السلبية مطلوبة لتحسين السياسة بفعالية.
• التبرير النظري: يثبت وجود تدرجات سلبية ضمنية تنشأ طبيعياً من إعادة توزيع الاحتمالات وتنظيم الإنتروبيا، مما يلغي الحاجة إلى أخذ عينات سلبية صريحة.
• آليات التثبيت: يقترح بنية سيامية مع تكيف قائم على الزخم ومحاذاة فضاء التمثيل لاستبدال تباعد KL، مما يمنع انهيار السياسة والانجراف غير المحدود.
• أخذ العينات بأهمية موزونة ذاتياً: يستخدم مخطط توزيع أوزان ذاتي المعايرة على المجموعات الإيجابية لموازنة قوة التعزيز والتنوع.

النتائج التجريبية

قيم المؤلفون POPO باستخدام مجموعة بيانات DeepScaleR-Preview-Dataset للتدريب واختبروا الأداء عبر خمسة معايير رياضية: MATH-500، AMC 2023، AIME 2024، AIME 2025، وOlympiadBench.

• النماذج المختبرة: أُجريت التجارب على نماذج أساسية متنوعة، بما في ذلك عائلة Qwen2.5-Math (1.5B, 7B)، ونماذج DeepSeek-R1 المقطرة، والنماذج اللغوية العامة (Llama-3.1-8B, DeepSeek-Math-7B).
• الأداء:
  • حقق POPO أداءً يضاهي أو يتفوق على GRPO ومتغيراته (Dr. GRPO, DAPO, SAPO) في معظم المعايات.
  • نتيجة بارزة: في معيار AIME 2025 باستخدام Qwen-Math-7B، حقق POPO نسبة 36.67%، متفوقاً على GRPO الذي حقق (30.00%).
  • في OlympiadBench مع Qwen-Math-7B، وصل POPO إلى 57.27%، مقارنة بـ 56.38% لـ GRPO.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة المخرات السلبية (باستخدام أوزان موحدة) إلى انخفاض كبير في الأداء، مما يؤكد ضرورة إعادة توزيع الأوزان ذاتية المعايرة.
  • أدت إزالة التكيف بالزخم أو محاذاة فضاء التمثيل إلى عدم استقرار وتدهور في الأداء، مما يثبت صحة آليات التثبيت.
• التعميم: أظهر POPO فوائد مستقلة عن النموذج، حيث قدم أداءً جيداً في كل من النماذج المتخصصة في الرياضيات والنماذج العامة.

الأهمية والادعاءات

يزعم البحث أنه يضع مساراً جديداً لـ RLVR يعمل بفعالية دون الحاجة إلى مخرات سلبية. ويرى المؤلفون أنه في بيئات المكافآت الثنائية النادرة، تجعل الطبيعة التوافيقية للإخفاقات معاقبة الفشل الصريحة أمراً غير فعال وقد يسبب ضجيجاً. ومن خلال الاستفادة من التدرجات السلبية الضمنية عبر إعادة توزيع الاحتمالات وتثبيت السياسة عبر محاذاة فضاء التمثيل، يوفر POPO بديلاً قوياً للطرق الحالية القائمة على GRPO.

يشير المؤلفون إلى وجود قيود، تشمل التركيز الحالي على المكافآت الثنائية النادرة (رغم أن العديد من المهام الواقعية تمتلك مكافآت كثيفة)، والتحقق المقتصر على الاستنتاج الرياضي القائم على النصوص، والاختبار المحدود بنماذج تصل إلى 7 مليارات معلمة. ويقترحون أن العمل المستقبلي سيستكشف التقسيم التكيفي للمخرات للعينات السلبية والتوسع في توليد الكود والاستنتاج متعدد الوسائط.