ملخص تقني: CEPO – التقطير الذاتي باستخدام تحسين سياسة الأدلة التباينية (Contrastive Evidence Policy Optimization)

1. بيان المشكلة

أصبح التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) هو النموذج السائد للتدريب اللاحق للنماذج اللغوية الكبيرة (LLMs) في مهام الاستدلال. يقوم نهج "تحسين السياسة النسبي للمجموعات" (GRPO) القياسي بتبسيط التدريب عن طريق إلغاء شبكات القيمة وتطبيع المكافآت ضمن مجموعات من الاستجابات التي تم أخذ عينات منها. ومع ذلك، يعاني GRPO من عنق زجاجة في تخصيص الائتمان (credit assignment bottleneck): فهو يخصص ميزة متساوية على مستوى التسلسل لكل رمز (token) في المسار الصحيح، وإشارة سلبية موحدة لكل رمز في المسار الخاطئ.

هذا التوحيد غير فعال في الاستدلال الرياضي، حيث تحدد خطوة استدلالية حاسمة واحدة أو خطأ حسابي بسيط النتيجة، بينما تكون معظم الرموز عبارة عن حشوات لغوية أو نصوص نمطية. إن التخصيص الموحد للائتمان يهدر إشارة التدرج (gradient signal) على رموز الحشو ويفشل في التمييز بين خطوات الاستدلال الحاسمة والمحتوى غير المعلوماتي، مما يؤدي إلى بطء التقارب وتحديثات مشوشة.

واجهت المحاولات السابقة لمعالجة ذلك عبر التقطير الذاتي داخل السياسة (on-policy self-distillation) (أي جعل النموذج مشروطاً بالإجابة الصحيحة كمعلم) مشكلتين حرجتين:

1. تسرب المعلومات (Information Leakage): تقلل طرق مثل OPSD و SDPO من التباعد لكل رمز بين الطالب والمعلم ذي الامتياز. نظرياً، هذا يدخل مجموع أوزان مشروطة بـ $r$ عبر المفردات في التدرج. ومع تقدم التدريب، يهيمن هذا "الانحراف الضار" على الإشارة الحميدة، مما يتسبب في جعل النموذج يرمز لارتباطات زائفة بين المدخل والإجابة ($x \to r^+$)، مما يؤدي إلى تدهور التعميم.
2. ضعف جودة الإشارة: عالجت طريقة RLSD الحديثة مشكلة التسرب باستخدام عملية إيقاف التدرج (stop-gradient) لنسبة الدليل $P^+_T(y_t)/P_S(y_t)$ لتعديل ميزة GRPO. ومع ذلك، تعاني RLSD من ثلاث قيود في الإشارة:
   • ارتباك الطلاقة (Fluency Confound): يعكس المقام $P_S(y_t)$ معدل الطلاقة الأساسي، مما يقلل النسبة للرموز الشائعة بغض النظر عن صلتها الدلالية.
   • إشارة سلبية غير متماثلة: بالنسبة للمسارات الخاطئة، تكون العقوبة غير مباشرة وتفتقر إلى التأسيس الصريح لما تتنبأ به الإجابة الخاطئة.
   • دليل أحادي الجانب: لا تستطيع RLSD التمييز بين رمز الحشو (المدعوم بالتساوي من الإجابتين الصحيحة والخاطئة) وبين خطوة استدلال حاسمة (المدعومة من الإجابة الصحيحة وغير المفضلة من الخاطئة)، حيث تعطي كلتاهما نفس النسبة.

2. المنهجية: تحسين سياسة الأدلة التباينية (CEPO)

يقترح المؤلفون CEPO، الذي يستبدل نسبة دليل المرجع الواحد بنسبة تباينية (contrastive ratio) بين معلم الإجابة الصحيحة ومعلم الإجابة الخاطئة.

الآلية الجوهرية

بدلاً من مقارنة سابقة الطالب $P_S$ بالمعلم الصحيح $P^+_T$، تقارن CEPO المعلم الصحيح $P^+_T$ بالمعلم الخاطئ $P^-_T$. يتم إنشاء المعلم الخاطئ من خلال تشريط النموذج على إجابة مرفوضة ($r^-$) مستخرجة من نفس دفعة التدريب (تحديداً، أقل مسار مرفوض من حيث المكافأة)، مما يعني عدم وجود تكلفة إضافية لأخذ العينات.

يتم تعريف فرق الأدلة التبايني (Contrastive Evidence Delta) كالتالي:
$$\Delta^{CE}_t = \text{sg}\left( \log \frac{P^+_T(y_t)}{P^-_T(y_t)} \right)$$
حيث أن $\text{sg}(\cdot)$ هو عامل إيقاف التدرج (stop-gradient).

التفسير البايزي (Bayesian Interpretation)

استنتج المؤلفون تفسيراً بايسياً واضحاً لـ $\Delta^{CE}_t$ كـ تحديث معتقد تفاضلي. فهو يقيس مدى قيام الرمز $y_t$ بتقوية الاعتقاد اللاحق (posterior belief) في الإجابة الصحيحة $r^+$ وفي الوقت نفسه إضعاف الاعتقاد في الإجابة الخاطئة $r^-$.

• الخطوات الحاسمة: تتلقى $\Delta^{CE}_t$ موجبة كبيرة (مدعومة بقوة من $r^+$، وغير مفضلة من $r^-$).
• رموز الحشو: تتلقى $\Delta^{CE}_t \approx 0$ (مدعومة بالتساوي من كل من $r^+$ و $r^-$).

هدف التدريب

يتم تعديل الميزة على مستوى الرمز بواسطة هذا الوزن التبايني:
$$\hat{A}^{(i)}_t = A^{(i)} \cdot \left[ (1-\lambda) + \lambda \cdot \text{clip}(w^{CE}_t, 1-\epsilon_w, 1+\epsilon_w) \right]$$
حيث $w^{CE}_t = \exp(\text{sign}(A) \cdot \Delta^{CE}_t)$. يتم تحديث السياسة باستخدام هدف بديل مقيد لـ PPO (PPO-clipped surrogate objective). يتلاشى المعامل $\lambda$ خطياً من قيمة أولية إلى 0 خلال فترة الإحماء (warmup period).

3. المساهمات الرئيسية والضمانات النظرية

يثبت البحث أن CEPO ترث السلامة الهيكلية لـ RLSD مع تعميم جودة إشارتها بشكل صارم:

1. السلامة الهيكلية: تحقق CEPO الترسيخ الاتجاهي (Direction Anchoring) (المعلومات المميزة لا يمكنها قلب إشارة التحديث) وتدرجات خالية من التسرب (Leakage-Free Gradients) (المعلومات المشروطة بـ $r$ تدخل فقط كـ scalar مع إيقاف التدرج). يدخل المعلم ذو الإجابة الخاطئة $r^-$ فقط كـ scalar مع إيقاف التدرج.
2. احتواء RLSD: إذا لم يحمل المعلم ذو الإجابة الخاطية أي معلومات ($P^-_T = P_S$)، فإن CEPO تتحول تماماً إلى RLSD. وبالتالي، تعتبر RLSD حالة متدهورة من CEPO.
3. الحدة التمييزية: يثبت المؤلفون أن CEPO تخصص ائتماناً أكثر حدة من RLSD عند الرمز $y_t$ إذا وفقط إذا كان المعلم ذو الإجابة الخاطئة لا يفضل ذلك الرمز بالنسبة لسابق الطالب ($P^-_T(y_t) < P_S(y_t)$). هذه الحالة تتركز تجريبياً في المواضع الحاسمة جبرياً واستدلالياً، بينما تتلقى رموز الحشو أوزاناً محايدة ($w^{CE}_t \approx 1$)، مما يتجنب إدخال إشارات زائفة.

4. النتائج التجريبية

قيم المؤلفون CEPO على نماذج Qwen3-VL (بمعلمتي 2B و 4B بارامتر) تم تدريبها على مجموعة بيانات الهندسة Geo3k واختبارها على خمسة معايير لمهام الاستدلال الرياضي متعدد الوسائط: DynaMath، LogicVista، MathVisionmini، MMMU، و WeMath.

• مكاسب الأداء:
  • مقياس 2B: حققت CEPO دقة متوسطة قدرها 43.43%، متفوقة على GRPO (41.17%) بمقدار +2.26 نقطة مئوية.
  • مقياس 4B: حققت CEPO دقة 60.56%، متفوقة على GRPO (57.43%) بمقدار +3.13 نقطة مئوية.
  • كانت المكاسب أكثر أهمية في المعايير التي تتطلب استدلالاً متعدد الخطوات دقيقاً (مثل LogicVista و MathVisionmini) وكانت ضئيلة في معايير استرجاع المعرفة (MMMU).
• فشل النماذج المرجعية (Baselines):
  • تدهورت نتائج OPSD و SDPO إلى ما دون خط الأساس غير المدرب (مثلاً 34.96% مقابل 39.73% لنموذج 2B)، مما أكد تجريبياً التنبؤ النظري بتسرب المعلومات.
  • أظهرت RLSD تحسناً طفيفاً فوق GRPO ولكنها كانت أقل أداءً من CEPO.
• الكفاءة: تضيف CEPO تمريرة أمامية (forward pass) واحدة فقط للمعلم لكل مسار مقارنة بـ GRPO (عبء مشابه لـ RLSD)، دون تكلفة إضافية لأخذ العينات.

5. الأهمية والادعاءات

يزعم البحث أن CEPO توفر حلاً مبنياً على أسس سليمة وعملية لمشكلة تخصيص الائتمان في RLVR. تكمن أهميتها في:

• حل المقايضة: تحقق "أفضل ما في العالمين": السلامة الهيكلية المطلوبة لمنع تسرب المعلومات (وهي شرط أساسي لاستقرار التدريب) وجودة الإشارة اللازمة للتمييز بين خطوات الاستدلال الحاسمة والحشو.
• التحقق التجريبي من النظرية: يعمل انهيار الطرق المعرضة للتسرب (OPSD/SDPO) إلى ما دون خط الأساس كإثبات تجريبي لتحليل التسرب النظري، بينما يثبت نجاح CEPO صحة النهج التبايني.
• القابلية للتفسير: يظهر تحليل أوزان الرموز أن CECEPO تنجح في تركيز الائتمان على الاشتقاقات الجبرية الحرجة وتثبيط النثر الفصيح غير المعلوماتي، وهو سلوك لم تلاحظه RLSD.

يخلص المؤلفون إلى أن CEPO توفر لبنة بناء قوية للجيل القادم من تدريب RLVR الواعي بالائتمان، مع اقتراح أعمال مستقبلية لتوسيع الطريقة لتشمل نماذج أكبر، والاستدلال النصي فقط، وتوليد الكود البرمجي.