ملخص تقني: تحسين السياسة المتجهية (VPO)

بيان المشكلة

تعتمد نماذج ما بعد التدريب الحالية للنماذج اللغوية الكبيرة (LLMs)، ولا سيما تلك التي تستخدم التعلم التعزيزي (RL) مع تحسين مجموعة السياسة النسبية (GRPO)، على تحسين نموذج لاستجابة واحدة محددة مسبقاً ذات قيمة عددية (scalar). وبينما تعد هذه الطريقة فعالة للوصول إلى استجابة عالية الاحتمالية، إلا أنها غالباً ما تؤدي إلى "انهيار النمط" (mode collapse)، حيث تنتج السياسة توزيعات استجابة منخفضة الإنتروبيا. ويصبح هذا الافتقار إلى التنوع عائقاً حرجاً عندما يتم نشر النماذج اللغوية الكبيرة ضمن إجراءات البحث في وقت الاختبار (مثل أخذ عينات الرفض، أو الخوارزميات التطورية مثل AlphaEvolve، أو اختيار أفضل $k$ من $k$).

في الأنظمة المعززة بالبحث، يجب أن توفر مرحلة التدريب، من الناحية المثالية، مجموعة غنية ومتنوعة من المرشحين الأكفاء ليستغلها خوارزمية البحث. ومع ذلك، فإن تدريب RL القياسي القائم على القيمة العددية يؤدي إلى انهيار توزيع المرشحين نحو مقايضة واحدة مثلى، مما يجعل العينات الإضافية عبارة عن نسخ شبه متطابقة. وبناءً على ذلك، لا تستطيع إجراءات البحث اكتشاف الحلول المتفوقة التي تتطلب مقايضات مختلفة بين الأهداف المتنافسة (مثل صحة الكود مقابل الكفاءة، أو مسارات استدلال مختلفة في الأسئلة متعددة الخطوات).

المنهجية: تحسين السياسة المتجهية (VPO)

يقترح المؤلفون تحسين السياسة المتجهية (VPO)، وهو خوارزمية تعلم تعزيزي مصممة لتدريب السياسات صراحةً على إنتاج مجموعات متنوعة من الحلول التي تغطي "جبهة باريتو" (Pareto frontier) للمكافآت ذات القيم المتجهية. يعمل VPO على أساس أن العديد من المهام الواقعية (توليد الكود، الاستدلال متعدد الخطوات، استخدام الأدوات) تتفكك فيها المكافآت طبيعياً إلى مكونات متجهية (مثل الصحة لكل حالة اختبار، أو التقييمات لكل معيار).

يتكون VPO من مكونين أساسيين:

1. سلاسل الإجابات المتعددة كاستكشاف داخل السياق:
   بدلاً من توليد استجابة واحدة لكل مطالبة (prompt)، يتم تدريب النموذج على إصدار مجموعة من الإكمالات المرشحة ($S = \{y_1, \dots, y_m\}$) ضمن عملية توليد تلقائي (autoregressive rollout) واحدة. يمكن لكل مرشح لاحق أن ينتبه للإجابات المولدة سابقاً في السياق، مما يسمح للنموذج صراحةً بالتعرف على المناطق التي تمت تغطيتها في فضاء الحلول وتوجيه المرشحات الجديدة نحو المناطق غير المستكشفة. هذا يحول التنوع من نتاج ثانوي لضجيج أخذ العينات إلى آلية صريحة داخل السياق.

2. التحسين على مستوى المجموعة عبر التسكيل العشوائي (Stochastic Scalarization):
   لتحفيز النموذج على إنتاج مجموعات متنوعة بدلاً من الانهيار إلى نمط واحد، يستبدل VPO المكافأة العددية الثابتة بـ توزيع على أوزان المكافآت.

• لكل عملية توليد (rollout)، يتم أخذ متجه وزن $w$ من توزيع ديريكليه ($w \sim \text{Dir}(\alpha)$، حيث $\alpha=1$ يعني توزيعاً موحداً على السيمبلكس/المتعدد).
• تُحسب مكافأة المجموعة $S$ كالقيمة المتوقعة للحد الأقصى للمكافأة المُسكلرة عبر الأوزان المختارة:
  $$R(S) = \mathbb{E}_{w \sim \text{Dir}(\alpha)} \left[ \max_{y \in S} w^\top r(x, y) \right]$$
• تكافئ هذه الدالة النموذج لتغطية جبهة باريتو: حيث يتم تحفيز العناصر المختلفة في المجموعة $S$ للتخصص في مقايضات مختلفة لمكونات المكافأة.

يُنفذ VPO كبديل جاهز للاستخدام لتقدير ميزة GRPO. فهو يستخدم إطار عمل GRPO ولكنه يحسب المزايا بناءً على مكافأة مستوى المجموعة المستمدة من التسكيلات العشوائية، مع مشاركة نفس عدد $K$ من متجهات الوزن عبر مجموعة من $G$ من عمليات التوليد لضمان القابلية للمقارنة.

المساهمات الرئيسية

1. إعادة صياغة مرحلة ما بعد التدريب لـ RL: يجادل البحث بأن دور تدريب RL في الأنظمة التي تستخدم البحث في وقت الاختبار يجب أن يتحول من التركال على استجابة واحدة مثلى إلى تعظيم تنوع مجموعة من الحلول الكفؤة، وترك مهمة الاستغلال (exploitation) لإجراء البحث.
2. هيكل المكافأة المتجهي: يوضح البحث أن الطبيعة المتجهية للمكافآت في المهام العملية توفر آلية طبيعية للتنوع. ومن خلال تدريب النموذج لتغطية جبهة باريتو لمختلف الأهداف، تحافظ السياسة على مجموعة من البدائل المثلى تحت أوزان مختلفة.
3. خوارزمية VPO: يقترح المؤلفون VPO، الذي يجمع بين توليد الإجابات المتعددة والتسكيلات العشوائية للمكافآت. وهذا يسمح للنموذج بتوليد مجموعات مرشحة متنوعة ضمن عملية توليد واحدة، مما يحسن تغطية فضاء المكافآت بدلاً من التركيز على ذروة عددية واحدة.

النتائج التجريبية

قيم المؤلفون VPO عبر أربعة مجالات متنوعة: Maze (الملاحة مع مقايضات العناصر)، MuSiQue (الأسئلة متعددة الخطوات)، EUREQA (الاستدلال المتسلسل)، و ToolRL (استدعاء الدوال). وقارنوا VPO بعدة نماذج أساسية، بما في ذلك GRPO القياسي، و Multi-RLVR (الإجابات المتعددة مع مكافأة عددية ثابتة)، و Random-Weighting GRPO، و Max-at-$k$ training.

• التوسع في وقت الاختبار: في جميع المجالات، تفوق VPO باستمرار على النماذج الأساسية العددية في مقاييس best@k. وبينما استقر أداء GRPO العددي بسرعة مع زيادة $k$ (مما يشير إلى انهيار المرشحين)، استمر VPO في التحسن مع زيادة العينات، مما أظهر فجوة متسعة مع نمو ميزانية البحث.
• مقاييس التنوع: حافظ VPO على تنوع عالٍ في فضاء المكافآت (مقاساً بالمسافة L1 بين متجهات المكافأة)، بينما انهارت النماذج الأساسية مثل Multi-RLVR و GRPO القياسي إلى متجهات مكافأة متطابقة تقريباً في وقت مبكر من التدريب.
• المشاكل الصعبة والبحث التطوري: في دراسة حالة على LiveCodeBench (معيار برمجة تنافسي)، تفوق نموذج مدرب بـ VPO (Qwen2.5-Coder-7B) بشكل كبير على نموذج GRPO بميزانية حوسبة مماثلة. والأهم من ذلك، عند دمجه في OpenEvolve (حلقة بحث تطورية)، تمكنت نماذج VPO من حل مشكلات لم تستطع نماذج GRPO حلها بأي ميزانية مرشحين، مما يثبت أن VPO يفتح المجال للحلول التي تتطلب مقايضات معقدة.
• دراسات الاستبعاد (Ablation Studies):
  • توليد الإجابات المتعددة وحده (بدون التسكيل العشوائي) لم يكن كافياً للحفاظ على التنوع.
  • التسكيل العشوائي وحده (بدون سلاسل الإجابات المتعددة) لم يحقق نفس المكاسب.
  • فشل GRPO الموجه بالأهداف (الذي يعتمد على أوزان محددة) في مضاهاة VPO، مما يشير إلى أن توليد مجموعة متنوعة داخل السياق أكثر فعالية من التكييف الصريح مع الأوزان أثناء الاستدلال.
  • كانت فوائد VPO أكثر وضوحاً عندما كانت مكونات المكافأة غير متوافقة خطياً (أي عندما توجد مقايضات حقيقية). وفي المجالات ذات المكافآت المتوافقة خطياً تقريباً (مثل UltraFeedback)، تضاءلت ميزة VPO، مما يتوافق مع الفرضية النظرية.

الأهمية والادعاءات

يفترض البحث أنه مع تحول البحث في وقت الاختبار إلى مكون قياسي في أنظمة الذكاء الاصطناعي، يجب أن يصبح تحسين التنوع هو الهدف الافتراضي لما بعد التدريب. ويدعي المؤلفون أن VPO يوفر طريقة منهجية للفصل بين الاستكشاف (التدريب من أجل توفير مجموعة متنوعة) والاستغلال (الاختيار أثناء البحث).

تكمن أهمية VPO في قدرته على:

• فتح المجال للمشاكل الأصعب: من خلال الحفاظ على استراتيجيات متنوعة قد تبدو دون المستوى محلياً تحت قيمة عددية ثابتة ولكنها تحتوي على أنماط استدلال جزئية مفيدة للبحث، يُمكّن VPO من اكتشاف الحلول التي قد تفوتها السياسات المدربة عددياً.
• التوسع مع الحوسبة: تتسع الفجوة في الأداء بين VPO والنماذج الأساسية العددية مع زيادة ميزانية البحث في وقت الاختبار، مما يجعل VFA جذاباً بشكل خاص لسيناريوهات الاستدلال كثيفة الحوسبة.
• التوافق الجاهز: لا يتطلب VPO أي تغييرات هيكلية في النماذج اللغوية الكبيرة الحالية ويعمل كبديل بسيط لمقدر الميزة في أطر التعلم التعزيزي القياسية مثل GRPO.

يخلص المؤلفون إلى أنه بينما يضحي VPO بأداء pass@1 (لأنه يعطي الأولوية للاستكشاف على الاستغلال الفوري)، فإنه يعد النهج الأفضل للأنظمة التي يتوفر فيها البحث في وقت الاختبار، محولاً بذلك تحسين السياسة إلى مشكلة تغطية لجبهة باريتو.