Uniform-Correct Policy Optimization: Breaking RLVR's Indifference to Diversity

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تحسين السياسة الموحدة الصحيحة: كسر عدم مبالاة التعلم المعزز بالجوائز القابلة للتحقق (RLVR) تجاه التنوع".

1. بيان المشكلة

أدى التعلم المعزز بالجوائز القابلة للتحقق (RLVR) إلى تحسين دقة المحاولة الواحدة (Pass@1) بشكل كبير لنماذج اللغات الكبيرة (LLMs) في مهام الاستدلال المنطقي مثل الرياضيات. ومع ذلك، تم تحديد أثر جانبي حرج: انهيار التنوع (Diversity Collapse).

• الظاهرة: بينما يعمل RLVR على زيادة احتمالية توليد إجابة واحدة صحيحة، فإنه غالبًا ما يقلل بشكل حاد من Pass@K (احتمالية أن تكون واحدة على الأقل من بين K من العينات صحيحة). يشير هذا إلى أن فضاء الحلول الخاص بالنموذج يتقلص، حيث تتركز الكتلة الاحتمالية على مجموعة فرعية ضيقة من الحلول الصحيحة مع قمع مسارات الاستدلال الصحيحة الأخرى.
• السبب: حدد المؤلفون قصورًا هيكليًا في دوال هدف RLVR القياسية (مثل GRPO - تحسين المجموعة النسبي للسياسة). هذه الأهداف غير مبالية بتوزيع الكتلة الاحتمالية داخل مجموعة الحلول الصحيحة.
  • رياضيًا، أي سياسة تضع 100% من كتلتها على مجموعة المخرجات الصحيحة $Y^+$ تحقق نفس قيمة المكافأة القصوى، بغض النظر عما إذا كانت هذه الكتلة متركزة في حل واحد (منهار) أو موزعة بالتساوي عبر جميع الحلول الصالحة (متنوعة).
  • وبالاقتران مع ديناميكيات أخذ العينات داخل السياسة (on-policy sampling)، يخلق هذا عدم المبالاة حلقة تغذية راجعة تعزز نفسها: الحلول التي يتم أخذ عينات منها بشكل متكرر قليلاً تتلقى تحديثات تدرج أكبر، مما يزيد من احتمالية تكرارها وتكرار أخذ عينات منها، مما يؤدي إلى انهيار النمط (mode collapse) غير قابل للانعكاس.

2. المنهجية

أ. التحليل النظري

قام المؤلفون بصياغة آلية الانهيار وتعريف هيكل السياسة الأمثل:

1. آلية الانهيار: أثبتوا أنه تحت ظل GRPO، تؤدي انحيازات أخذ العينات إلى أعداد عينات غير متساوية. وتتوسع تحديثات التدرج مع هذه الأعداد، مما يعزز احتمالية الحلول المهيمنة ويقمع الحلول الأقلية. بمجرد أن يسقط حل ما تحت عتبة أخذ العينات ($\pi(y) \ll 1/K$)، فإنه لا يتلقى أي إشارة تدرج ولا يمكنه التعافي.
2. تعريف السياسة المثلى: اقترح المؤلفون أن السياسة المثلى هي السياسة الموحدة الصحيحة (UCP). تلبي هذه السياسة معيارين:
   • المتانة (Robustness): فهي تعظم الكتلة الاحتمالية المتبقية في أسوأ الحالات عند تعطيل مجموعة فرعية من الحلول الصحيحة (على سبيل المثال، بسبب تغير التوزيع).
   • الأمثلية المنظمة بالإنتروبيا (Entropy-Regularized Optimality): وهي تعظم بشكل فريد هدف مواءمة الصحة مع التنوع (الإنتروبيا) ضمن المجموعة الصحيحة.
   • التعريف: تقوم UCP بتعيين احتمالية صفر للمخرجات غير الصحيحة وتوزع الاحتمالية بشكل موحد عبر جميع الحلول الصحيحة ($\pi(y|x) = 1/|Y^+|$ لكل $y \in Y^+$).

ب. الحل المقترح: تحسين السياسة الموحدة الصحيحة (UCPO)

لتحقيق السياسة الموحدة الصحيحة، اقترح المؤلفون UCPO، وهو تعديل لدالة هدف GRPO.

• دالة الهدف: يوسع UCPO عملية تعظيم الصحة بإضافة عقوبة التوحيد الشرطية.
  $$\mathcal{L}_{UCPO} = \underbrace{\log Z_\theta(x)}_{\text{كتلة الصحة}} - \tau \underbrace{KL(u(\cdot|x) \parallel q_\theta(\cdot|x))}_{\text{عقوبة التوحيد}}$$

  • $Z_\theta(x)$: إجمالي الكتلة الاحتمالية للمخرات الصحيحة.
  • $q_\theta(\cdot|x)$: التوزيع الشرطي للسياسة على المخرات الصحيحة.
  • $u(\cdot|x)$: التوزيع الموحد على مجموعة المخرات الصحيحة.
  • $\tau$: معامل فائق يتحكم في قوة عقوبة التوحيد.

• آلية التدرج:

  • يقوم GRPO القياسي بوزن التدرجات بناءً على تكرار أخذ العينات الحالي (مفضلًا الأنماط المهيمنة).
  • يقوم UCPO بإعادة وزن إشارة التدرج للتعويض عن هذا الانحياز. فهو يقوم بعملية استكمال (interpolation) بين التوزيع الشرطي الحالي والتوزيع الموحد المستهدف.
  • الوزن العكسي (Inverse Weighting): يخصص مقدر التدرج أوزانًا أعلى للحلول الصحيحة غير الممثلة كفاية (التي لها احتمالية منخفضة حاليًا) وأوزانًا أقل للحلول المهيمنة. هذا يعيد تخصيص "ميزانية الميزة" (advantage budget) بفعالية لتعزيز الإجابات الصحيحة الأقلية دون التضحية بإجمالي كتلة الصحة.

3. المساهمات الرئيسية

1. تحديد عدم المبالاة: أثبتت الورقة رسميًا أن أهداف RLVR القياسية غير مبالية بالتنوع داخل المجموعة الصحيحة، مما يسمح لديناميكيات التدريب العشوائية بقيادة انهيار النمط غير قابل للانعكاس.
2. التوصيف النظري: وضعت السياسة الموحدة الصحيحة كحل أمثل فريد تحت كل من معايير المتانة والإنتروبيا المنظمة.
3. تصميم الخوارزمية (UCPO): اشتقوا UCPO، وهو تعديل بسيط وفعال لـ GRPO يفرض السياسة الموحدة الصحيحة كأمثل حل وحيد لها.
4. إعادة تخصيص التدرج: قدموا آلية لإعادة توجيه إشارات التدرج إلى الإجابات الصحيحة غير الممثلة كفاية، مما يكسر دورة الانهيار ذات التغذية الراجعة المعززة.

4. النتائج التجريبية

قيم المؤلفون UCPO عبر ثلاثة نماذج (1.5B، 7B بارامتر) وخمسة معايير استدلال رياضي (AIME24/25، AMC، MATH، OlympiadBench).

• تحسين Pass@K: يحسن UCPO باستمرار Pass@K (خاصة Pass@64) مع الحفاظ على تنافسية Pass@1.
  • AIME24 (نموذج 7B): حقق تحسنًا مطلقًا قدره +10% في Pass@64 مقارنة بـ GRPO القياسي.
  • متوسط التحسن: عبر جميع النماذج، حسن UCPO متوسط Pass@64 بمقدار +3.5 إلى +4.8 نقطة فوق GRPO.
• مقاييس التنوع:
  • حقق UCPO ما يصل إلى 45% زيادة في تنوع مستوى المعادلة داخل المجموعة الصحيحة مقارنة بـ GRPO.
  • على عكس تنظيم الإنتروبيا العالمي (الذي غالبًا ما ينشر الكتلة نحو الإجابات غير الصحيحة)، يحافظ UCPO على كتلة صحة عالية ($Z_\theta \approx 1$) مع تنويع المجموعة الصحيحة.
• المقارنة مع الخطوط المرجعية: تفوق UCPO على طرق الحفاظ على التنوع الأخرى مثل تنظيم الإنتروبيا (Ent-Reg)، والتحكم في تباين KL، وFocal GRPO. أثبت تنظيم الإنتروبيا العالمي هشاشته، حيث أدى غالبًا إلى تدهور Pass@1 أو الفشل في تحسين التنوع داخل المجموعة الصحيحة.
• الكفاءة: لا يضيف UCPO سوى عبء حسابي ضئيل (فقط إعادة وزن قياسي للمزايا) ولا يتطلب أي عمليات سحب عينات (rollouts) إضافية أو نماذج مرجعية.

5. الأهمية

تعالج هذه الورقة خللاً جوهريًا في نماذج تدريب RLVR الحالية لنماذج الاستدلال. من خلال نقل التركيز من مجرد "إيجاد إجابة واحدة صحيحة" إلى "الحفاظ على توزيع متنوع لجميع الإجابات الصحيحة"، يُمكّن UCPO من:

• منع تقلص فضاء الحلول: يضمن عدم "نسيان" النماذج لمسارات الاستدضاء الصالحة أثناء الضبط الدقيق.
• زيادة المتانة: السياسة التي تغطي عدة حلول صحيحة تكون أكثر متانة تجاه تغير التوزيع أو الضوضاء في المتحقق (verifier).
• تقديم هدف مبني على أسس: ينتقل العمل من مجرد مكافآت إنتروبيا تجريبية إلى هدف مؤسس نظريًا يعالج صراحةً هيكل السياسة المثلى.

باختصار، يقدم UCPO حلاً قابلاً للتوسع ومؤسسًا نظريًا لمشكلة انهيار التنوع في RLVR، مما يمكّن نماذج اللغات الكبيرة من تحقيق تغطية أعلى للعينات المتعددة دون التضحية بدقة المحاولة الواحدة.