ملخص تقني: LamPO – تحسين السياسة بأسلوب لامدا لنماذج اللغة الاستدلالية

بيان المشكلة

لقد برز التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) كنموذج مهيمن لتعزيز قدرات الاستدلال في نماذج اللغة الكبيرة (LLMs) في مهام مثل الرياضيات، والبرمجة، والإجابة على الأسئلة العلمية. وبينما أصبح "تحسين السياسة النسبي للمجموعة" (GRPO) بديلاً قياسياً لا يتطلب نموذج ناقد (critic-free) عبر تطبيع المكافآت ضمن مجموعة من العينات، إلا أنه يعاني من قصور حرج وهو: ضغط المعلومات.

يقوم GRPO بتلخيص كل مجموعة من الاستجابات المأخوذة في عينة في إحصائيات عددية (المتوسط والانحراف المعياري) لحساب المزايا. هذا النهج يتخلص من المعلومات العلاقاتية الدقيقة بين الاستجابات المرشحة. وفي مهام الاستدلال، حيث قد تختلف الحلول فقط في الجودة بشكل طفيف (على سبيل المثال، حل جزئي الصواب مقابل حل قريب من الصواب)، يمكن للأساس العددي أن يشير فقط إلى ما إذا كانت الاستجلة أعلى أو أقل من متوسط المجموعة. ولكنه يفشل في الحفاظ صراحةً على أي استجابات محددة تتفوق عليها الاستجلة المرشحة وبمقدار ذلك. هذا القصور يكون شديداً بشكل خاص تحت ظروف المكافآت الثنائية المتفرقة، حيث تتلقى العديد من المسارات غير الصحيحة تغذية راجعة متطابقة، مما يؤدي إلى ضعف في تخصيص الائتمان (credit assignment).

المنهجية

يقترح المؤلفون LamPO (تحسين السياسة بأسلوب لامدا)، وهي طريقة مصممة للاحتفاظ بكفاءة التحسين الذي لا يتطلب نموذج ناقد مع استعادة الهيكل العلاقاتي المفقود داخل مجموعات الاستجابة.

1. الميزة المفككة زوجياً (Pairwise Decomposed Advantage - PDA)

بدلاً من حساب الميزة النسبية للمجموعة بناءً على إحصائيات المجموعة، يستبدل LamPO الميزة النسبية للمجموعة بـ ميزة مفككة زوجياً. بالنسبة لاستجابة $o_i$ ضمن مجموعة حجمها $G$، يتم حساب الميزة $A_\lambda(o_i)$ كمتوسط فجوات المكافأة الزوجية الموزونة بعامل الثقة:

$$A_\lambda(o_i) = \frac{1}{G - 1} \sum_{j \neq i} (R(o_i) - R(o_j)) \sigma\left(\frac{\Delta s_{ij}}{\tau}\right)$$

حيث أن:

• $R(o_i) - R(o_j)$ تمثل فجوة المكافأة الزوجية، والتي توفر اتجاه التعلم.
• $\Delta s_{ij} = \log \pi_{\theta_{old}}(o_i | q) - \log \pi_{\theta_{old}}(o_j | q)$ هو الفرق في احتمالات التسلسل اللوغاريتمية تحت السياسة القديمة.
• $\sigma(\cdot)$ هي دالة اللوجستيك (logistic sigmoid) التي تعمل كوزن مدرك للثقة.
• $\tau$ هو معامل درجة الحرارة الذي يتحكم في حساسية الوزن لفروق الاحتمال اللوغاريتمي.

هذه الصيغة تجمع المقارنات الزوجية، مما يحافظ على معلومات الترتيب داخل المجموعة. وتضمن عملية الوزن أن المقارنات التي تكون فيها السياسة أكثر ثقة (فرق أكبر في الاحتمال اللوغاريتمي) تساهم بشكل أكبر في التحديث.

2. هدف السياسة

يحافظ LamPO على هدف البديل المقتطع (clipped surrogate objective) بنمط PPO وهيكل GRPO الذي لا يتطلب نموذج ناقد. يتم ببساطة استبدال الميزة القياسية $\hat{A}_i$ بالميزة المفككة زوجياً المحسوبة $A_\lambda(o_i)$ في دالة الهدف المقتطعة. ويتضمن الهدف الكامل حداً لتنظيم KL مقابل السياسة المرجعية $\pi_{ref}$.

3. مكافأة التداخل المرجعي الكثيفة

لمعالجة ندرة المكافآت عندما تتوفر حلول مرجعية، يقدم LamPO مكافأة مساعدة خفيفة الوزن تعتمد على ROUGE-L.

• المكافأة النهائية هي مزيج خطي: $R(o_i) = R_{ext}(o_i) + \lambda_{sem} R_{sem}(o_i)$.
• $R_{ext}$ هي مكافأة الصحة القابلة للتحقق المتفرقة (0 أو 1).
• $R_{sem}$ هي درجة F1 لـ ROUGE-L بين المسار المولد والحل المرجعي.
• $\lambda_{sem}$ يتحكم في قوة هذه الإشارة الكثيفة.

توفر هذه المكافأة المساعدة إشارات تداخل واعية بالتسلسل، مكملة لإشارة الصحة المتفرقة دون استبدالها.

المساهمات الرئيسية

1. تحديد القصور: حددت الورقة البحثية فقدان المعلومات العلاقاتية داخل المجموعة في تحسين المجموعة النسبي القائم على الأساس العددي كعائق رئيسي في مهام الاستدهاء لـ RLVR.
2. خوارزمية LamPO: طريقة مبتكرة لتحسين السياسة لا تتطلب نموذج ناقد، تستخدم ميزات مفككة زوجياً مع أوزان مدركة للثقة للحفاظ على معلومات الترتيب داخل المجموعات المأخوذة في عينة.
3. تكامل المكافأة المساعدة: آلية بسيطة وفعالة لتقليل ندرة المكافآت باستخدام تداخل ROUGE-L عند توفر مسارات استدلال مرجعية.
4. التحقق التجريبي: أظهر تحسناً مستمراً على GRPO والمتغيرات الحديثة لـ RLVR (مثل DAPO و GSPO و SAPO) عبر عدة اختبارات معيارية وعائلات نماذج مختلفة.

النتائج التجريبية

قيم المؤلفون LamPO على أربعة اختبارات معيارية للاستدلال: AIME24، AIME25، MATH-500، و GPQA-Diamond، باستخدام ثلاثة نماذج أساسية: Qwen3-1.7B، Qwen3-4B، و Phi-4-mini.

• الأداء: تفوق LamPO باستمرار على GRPO والأساسات الأخرى (CoT، SimpleRL-Zoo، PRIME، RLPR، DAPO، GSPO) عبر جميع أحجام النماذج.
  • في Qwen3-1.7B، حقق LamPO أعلى متوسط درجة (53.60)، مع مكاسب ملحوظة في مهام الرياضيات ذات الطابع التنافسي (AIME24: 46.67 مقابل 42.08 لـ GRPO).
  • في Qwen3-4B، حسن LamPO متوسط الدرجات بمقدار 1.69 نقطة عن GRPO (77.09 مقابل 75.40).
  • في Phi-4-mini، أظهر LamPO مكاسب مماثلة، مما يشير إلى أن الطريقة ليست مرتبطة بعائلة نماذج محددة.
• ديناميكيات التدريب: كشفت منحنيات التدريب أن LamPO ينتج تحسينات أكثر سلاسة في المكافأة وأطوال إكمال أكثر استقراراً مقارنة بـ GRO. ويُعزى هذا الاستقرار إلى الإشارة المهيكلة التي توفرها الفجوات الزوجية، مما يقلل من التحديثات المتذبذبة الناتجة عن التطبيع العددي عالي التباين، خاصة في النماذج الصغيرة.
• دراسات الاستبعاد (Ablation Studies):
  • درجة الحرارة ($\tau$): أعطت القيمة $\tau=1.5$ أفضل النتائج. القيم الأقل ($\tau=0.5$) جعلت الوزن حساساً للغاية، بينما القيم الأعلى ($\tau=5.0, 7.0$) جعلت الوزن ناعماً للغاية، مما أضعف التمييز الزوجي.
  • المكافأة الدلالية: أدى إزالة المكافأة المساعدة الكثيفة ($\lambda_{sem}=0.0$) إلى تقليل الأداء، مما يؤكد أن تشكيل التداخل المرجعي يحسن كفاءة العينات في ظل المكافآت المتفرقة.

الأهمية والادعاءات

تدعي الورقة أن LamPO يوفر آلية أكثر فعالية لتخصيص الائتمان لمهام الاستدلال حيث تختلف جودة الحلول بشكل طفيف. ومن خلال الانتقال من إحصائيات المجموعة العددية إلى المزايا المفككة زوجياً، يوفر LamPO إشارة تعلم أغنى تستفيد صراحة من الترتزلي النسبي للاستجابات المرشحة.

يؤكد المؤلفون أن LamPO يحافظ على الكفاءة الحسابية والاستقرار لإطار عمل GRPO (كونه لا يتطلب نموذج ناقد ويستخدم تحديثات مقتطعة) مع معالجة الضعف المحدد المتمثل في فقدان المعلومات في الطرق النسبية للمجموعة. كما أن دمج مكافأة ROUGE-L خفيفة الوزن يعزز كفاءة التدريب عند توفر بيانات مرجعية، دون المساس بالاعتماد على الصحة القابلة للتحقق.

القصور المعترف به:

• التكلفة الحسابية: تقدم المقارنة الزوجية تعقيداً بمقدار $O(G^2)$ بالنسبة لحجم المجموعة $G$، وإن كان يُعتبر هذا ضئيلاً بالنسبة لأحجام المجموعات النموذجية في RLVR.
• موثوقية المكافأة: تعتمد الطريقة على إشارات مكافأة موثوقة؛ إذ يمكن للمكافآت الضوضائية أو الذاتية أن تضخم الأخطاء في الفجوات الزوجية.
• نطاق المكافأة المساعدة: تلتقط مكافأة ROUGE-L التداخل اللفظي بدلاً من صحة الاستدلال الكاملة وتتطلب حلولاً مرجعية، والتي قد لا تتوفر لجميع المهام.
• التعميم: تقتصر التجارب حالياً على الاستدلال الرياضي والعلمي؛ ويبقى التعميم على الحوارات مفتوحة النهايات أو المهام متعددة الوسائط سؤالاً مفتوحاً.