Beyond Uniform Credit: Causal Credit Assignment for Policy Optimization

ملخص تقني: ما وراء الائتمان الموحد: التخصيص السببي للائتمان لتحسين السياسة

1. بيان المشكلة: تحدي "تخفيف التدرج" (Gradient Dilution)

تعاني خوارزميات التعلم المعزز (RL) الحالية لنماذج اللغة في الاستدلال، مثل GRPO و DAPO، من مشكلة في دقة تخصيص الائتمان (Credit Assignment). تخصص هذه الأساليب ائتماناً موحداً لجميع الرموز (Tokens) في التسلسل المولد. وبناءً على ذلك، تعامل هذه الطرق النصوص "الحشوية" أو "الهيكلية" (مثل: "دعني أفكر خطوة بخطوة...") بنفس أهمية العمليات المنطقية أو الرياضية الحرجة (مثل: "23 + 45 = 68").

يؤدي هذا إلى تخفيف التدرج، حيث تضعف إشارة التعلم بسبب التحديثات التي تطرأ على الرموز التي لا تساهم فعلياً في الوصول إلى الإجابة الصحيحة النهائية. وبينما تحاول الحلول الحالية مثل نماذج مكافأة العمليات (PRMs) حل هذه المشكلة، إلا أنها تتطلب تعليماً بشرياً مكلفاً أو نماذج مساعدة.

2. المنهجية: التوزين بالأهمية المضادة للواقع (Counterfactual Importance Weighting)

يقترح المؤلفون طريقة غير معلمية (Non-parametric) متأصلة في النموذج لتحديد الرموز ذات الأهمية السببية دون الحاجة إلى نماذج مساعدة أو تسميات خارجية.

• التدخل المضاد للواقع (Counterfactual Intervention): بدلاً من الاعتماد على الارتباط، تستخدم الطريقة التدخل. فهي تحدد نطاقات الاستدلال (مثل التعبيرات الحسابية) وتقوم بحجبها باستخدام رمز نائب (الرمز المخصص للحشو Pad Token الخاص بالنموذج).
• قياس الأهمية: يتم تحديد أهمية النطاق $s_k$ من خلال الانخفاض في احتمالية الإجابة الصحيحة عند إزالة هذا النطاق:
  $$I(s_k) = \log P_\theta(\text{answer} \mid \text{context, unmasked reasoning}) - \log P_\theta(\text{answer} \mid \text{context, masked reasoning})$$
  يشير الانخفاض الكبير إلى أن النطاق ضروري سببياً للوصة إلى الإجابة الصحيحة.
• مخطط التوزين: يتم تطبيع (Normalize) درجات الأهمية هذه واستخدامها لتقييس تدرج السياسة لكل رمز. تحصل الرموز عالية الأهمية على أوزان أعلى ($w_{max}$)، بينما يتم تقليل وزن الرموز منخفضة الأهمية ($w_{min}$).
• دالة الخسارة: تتضمن دالة خسارة $\text{CF-DAPO}$ المعدلة هذه الأوزان:
  $$\mathcal{L}_{\text{CF-DAPO}} = -\frac{1}{P} \sum \text{Advantage} \cdot \mathbf{w_t} \cdot \log \pi_\theta(y_t)$$

3. المساهمات الرئيسية

1. آلية مبتكرة لتخصيص الائتمان: تقديم طريقة للانتقال من الائتمان الموحد إلى الائتمان السببي على مستوى الرمز باستخدام الحجب المضاد للواقع.
2. الكفاءة: من خلال العمل على مستوى النطاق (Span level) بدلاً من مستوى الرمز الفردي، تقلل الطريقة من العبء الحسابي لعمليات المرور المضادة للواقع بمقدار 20 إلى 50 ضعفاً.
3. التوصيف التجريبي للاستدلال: تقدم الورقة تحليلاً عميقاً لما يشكل نصاً "مهماً"، حيث وجدت أن سلاسل الحساب أكثر عرضة لكونها حرجة بـ 11 ضعفاً من النصوص الهيكلية.
4. تحديد "المشتتات" (Distractors): اكتشفت الدراسة أن حوالي 3.5% من نطاقات الاستدلال هي في الواقع "مشتتات" — أي محتوى يؤدي حذفه إلى زيادة احتمالية الإجابة الصحيحة.

4. النتائج التجريبية

تم اختبار الطريقة على مجموعة بيانات GSM8K باستخدام عائلات نماذج Qwen و Llama (من 1.7 مليار إلى 3 مليار معلمة).

• مكاسب الأداء: حققت الطريقة تحسينات ثابتة تتراوح بين 0.8 و 1.1 نقطة مئوية في دقة المطابقة التامة (Exact-match accuracy) مقارنة بالنموذج المرجعي DAPO.
• كفاءة العينات: وصلت طريقة التوزين المضاد للواقع إلى الدقة النهائية للنموذج المرجعي بشكل أسرع بكثير (على سبيل المثال، عند الخطوة 100 مقابل الخطوة 500 لنموذج Qwen3-1.7B)، مما عوض جزئياً العبء الحسابي الذي يتراوحه بين 32-74%.
• التحقق من الاستئصال (Ablation Validation):
  • التوزين المعكوس (إعطاء أوزان عالية للرموز غير المهمة) أدى إلى تدهور الأداء، مما يثبت أن إشارة الأهمية هي مؤشر سببي حقيقي وليست مجرد ضجيج.
  • التوزين العشوائي كان محايداً، مما يؤكد أن اتجاه الوزن هو المحرك الرئيسي للتحسن.
• محدودية المجال (نتيجة سلبية): لم تؤدِ الطة إلى تحسين الأداء في MBPP+ (توليد الكود). يفترض المؤلفون أن هذا يعود إلى أن صحة الكود "موزعة" عبر العديد من العناصر الهيكلية (الحلقات، المتغيرات)، بينما تمتلك الرياضيات "مصب إجابة" (Answer Sink) مركزاً يجعل الإشارات المضادة للواقع أقوى بكثير.

5. الأهمية والأثر

يؤسس هذا البحث لتوزين الأهمية المضاد للواقع كنهج أساسي لتحسين السياسة بشكل أكثر دقة. وهو يثبت أنه يمكننا استخراج إشارات تدريب عالية الجودة مباشرة من تغيرات احتمالية النموذج نفسه، متجاوزين الحاجة إلى نماذج مكافأة عمليات (PRMs) مكلفة.

تشير النتائج إلى أن تدريب التعلم المعزز الحالي لنماذج اللغة يعزز عن غير قصد "الضجيج" (النصوص الهيكلية والمشتتات)، وأن تركيز كتلة التدرج على "العمود الفقري السببي" للاستدلال هو وسيلة فعالة للغاية لتسريع قدرات النماذج في المجالات القابلة للتحقق مثل الرياضيات.