ملخص تقني: MaPPO (تحسين التفضيل القائم على الاحتمال الأقصى البعدي)

بيان المشكلة

تتناول الورقة البحثية القيود الجوهرية في طرق تحسين التفضيل (PO) الحالية، ولا سيما تحسين التفضيل المباشر (DPO) ومتغيراته، المستخدمة لمواءمة النماذج اللغوية الكبيرة (LLMs) مع التفضيلات البشرية. وبينما نجح DPO في إعادة صياغة تعلم التفضيل كمسألة تقدير الاحتمال الأقصى (MLE) — مما يلغي الحاجة إلى عمليات استرداد (rollouts) معقدة للتعلم المعزز — فإنه يقدم خللاً حرجاً وهو: تأثير العصر (squeezing effect).

لأن أهداف MLE تركز فقط على تعظيم فجوة الاحتمالية النسبية بين الاستجابة المفضلة ($y_w$) والاستجابة المرفوضة ($y_l$)، فإنها غالباً ما تتجاهل المقدار المطلق للمكافآت. وتشير الأدلة التجريبية إلى أنه مع تقدم التدريب، يميل النموذج إلى خفض احتمالية كلتا الاستجابتين في آن واحد لتوسيع الفجوة، بدلاً من رفع احتمالية الاستجابة عالية الجودة. يؤدي هذا إلى:

1. تدهور الثقة: انخفاض في الاحتمالية المطلقة للمخرجات عالية الجودة.
2. عدم الاستقرار: لا سيما في حالات "التعادل الوشيك" حيث تكون كلتا الاستجابتين عاليتا الجودة ولكن بأساليب مختلفة، حيث تفرض دالة هدف MLE فصلاً اصطناعياً، مما يستنزف الكتلة الاحتمالية من منطقة المخرات عالية الجودة.
3. الافتقار إلى المعايرة العالمية: إشارة التدريب محلية بالنسبة للمقارنات الزوجية وتفتقر إلى الارتكاز بمعرفة مسبقة خارجية أو مقادير مكافأة مطلقة.

المنهجية: MaPPO

يقترح المؤلفون تحسين التفضيل القائم على الاحتمال الأقصى البعدي (MaPPO)، وهو امتداد مبدئي لـ DPO يدمج معرفة المكافأة المسبقة القائمة على البيانات في هدف التحسين.

الصيغة الجوهرية

ينقل MaPPO النموذج من تقدير الاحتمال الأقصى (MLE) إلى تقدير الاحتمال الأقصى البعدي (MaP).

1. دمج المعرفة المسبقة: تفترض الطريقة إمكانية الوصول إلى تقديرات المكافأة المسبقة ($r_w$ و $r_l$) للاستجابات المختارة والمرفوضة، والتي تُشتق عادةً من نموذج مكافأة مدرب مسبقاً أو نموذج مثالي (oracle).
2. خسارة MaP: يتم تعزيز خسارة DPO القياسية بحد معايرة يعتمد على فجوة المكافأة $\Delta r = r_w - r_l$. دالة الخسارة المستمدة هي:
   $$\mathcal{L}_{MaP}(\theta) = \mathbb{E}_{(y_w, y_l, x) \sim \mathcal{D}} \left[ -\log \sigma \left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \Delta r \cdot \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)} \right) \right]$$
   هنا، يعمل $\Delta r \in [0, 1]$ كعامل قياس لمصطلح الاستجابة المرفوضة.
3. الآلية:
   • عندما تكون فجوة المكافأة كبيرة (تفضيل واضح)، تقترب $\Delta r$ من 1، ويتصرف MaPPO بشكل مشابه لـ DPO القياسي.
   • عندما تكون فجوة المكافأة صغيرة (تعادل وشيك أو كلتا الاستجابتين عاليتا الجودة)، تكون $\Delta r$ صغيرة. وهذا يقلل من العقوبة المفروضة على الاستجابة المرفوضة ($y_l$)، مما يمنع النموذج من قمع احتمالية الاستجابة بقوة. هذا يخفف من تأثير العصر ويحافظ على الثقة المطلقة للمخرات عالية الجودة.

الخصائص الرئيسية

• لا توجد معاملات فائقة (hyperparameters) جديدة: لا يقدم MaPPO أي معاملات فائقة إضافية بخلاف تلك الموجودة في DPO. يتم اشتقاق فجوة المكافأة $\Delta r$ مباشرة من درجات نموذج المكافأة المستخدمة لبناء أزواج التفضيل.
• التوافق: تم تصميمه كإضافة جاهزة (drop-in plugin). يمكنه استبدل مكون MLE في متغيرات DPO الحالية (مثل SimPO و IPO و CPO) بسلاسة، ويدعم الإعدادات غير المتصلة (offline) (مجموعة بيانات ثابتة) و المتصلة/التكرارية (online/iterative) (توليد استجابات من السياسة الحالية).
• الاستقرار النظري: يقدم المؤلفون تحليلاً نظرياً يظهر أن MaPPO يمتلك ثابت ليبشيتز (Lipschitz constant) أقل لمعامل التدرج مقارنة بـ DPO، مما يعني تحديثات أكثر استقراراً ونسبة لوغاريتم احتمالية محدودة بين $y_w$ و $y_l$ عند نقطة الاستقرار.

المساهمات الرئيسية

1. التعميم المبدئي: يعمم MaPPO طريقة DPO من خلال دمج تقديرات المكافأة المسبقة في هدف الاحتمال الأقصى البعدي، متجاوزاً التصنيف الثنائي المبسط للغاية لـ MLE.
2. تخفيف تأثير العصر: من خلال وزن الاستجابة المرفوضة بناءً على فجوة المكافأة، يكبح MaPPO العقوبة المفرطة للأزواج ذات التعادل الوشيك، مما يؤدي إلى سياسات أكثر معايرة.
3. تعدد الاستخدامات: تدعم الطريقة تحسين التفضيل غير المتصل والمتصل وتتوافق مع مجموعة واسعة من متغيرات DPO (SimPO, IPO, CPO) دون الحاجة إلى تغييرات هيكلية أو ضبط إضافي.
4. التحقق التجريبي: أظهرت التجارب المكثفة عبر عائلات متعددة من النماذج (Llama-3, Qwen2.5, Mistral) وأحجام مختلفة (من 1.5B إلى 32B) تحسينات متسقة.

النتائج التجريبية

قيم المؤلفون MaPPO على ثلاثة معايير قياسية: MT-Bench، و AlpacaEval 2.0، و Arena-Hard.

• مكاسب الأداء:
  • في AlpacaEval 2.0، عزز MaPPO معدل فوز نموذج Mistral-7B-Instruct من 18.24% (DPO) إلى 30.56% (+12.32 نقطة).
  • في Arena-Hard، تحسن نفس النموذج من 14.2% إلى 18.4% (+4.2 نقطة).
  • بالنسبة لنموذج Qwen2.5-7B-Instruct، حسن MaPPO نموذج DPO بمقدار +6.23 في AlpacaEval 2.0 و +13.7 في Arena-Hard.
• التعميم: كانت التحسينات متسقة عبر أحجام وسلاسل النماذج المختلفة. والجدير بالذكر أن MaPPO سمح للنماذج الأصغر بالتفوق على النماذج الأكبر في مهام المواءمة.
• التوافق: عند تطبيقه على متغيرات مثل SimPO و IPO و CPO، حقق MaPPO مكاسب ثابتة (على سبيل المثال، +7.60 في AlpacaEval لـ SimPO) دون تكلفة حسابية إضافية أو ضبط للمعاملات الفائقة.
• المتانة: أظهرت دراسات الاستئصال (ablation studies) باستخدام نماذج مكافأة مختلفة (بما في ذلك النماذج منخفضة الجودة) أن MaPPO يتفوق باستمرار على الخطوط المرجعية، مما يشير إلى المتانة تجاه التباينات في الإشارات المسبقة.
• المعايض الأكاديمية: حافظت الطة على الأداء أو حسنته في المعايض الأكاديمية (IFEval, GPQA, MMLU, GSM8K)، مما يشير إلى أنها لا تسبب "ضريبة مواءمة" كبيرة على القدرات العامة.

الأهمية والادعاءات

تدعي الورقة أن MaPPO يقدم حلاً بسيطاً ومبدئياً لمشكلة تدهور الثقة المتأصلة في تحسين التفضيل القائم على MLE. ومن خلال دمج معرفة المكافأة المسبقة صراحةً، يوفر MaPPO إشارة تدريب أكثر معايرة تحترم الجودة المطلقة للاستجابات، وليس فقط ترتيبها النسبي.

يؤكد المؤلفون أن MaPPO يحقق هذه التحسينات دون التضحية بالكفاءة الحسابية. فهو يحتفظ بهيكل التحسين ذو الخطوة الواحدة والصيغة المغلقة لـ DPO، ولا يتطلب عمليات استرداد إضافية، أو دوال قيمة، أو تدريب نموذج مكافأة أثناء مرحلة المواءمة. يضع هذا العمل MaPPO ليس كبديل لخطوط أنابيب RLHF، بل كاستراتيجية تعزيز قوية وعامة يمكن دمجها في خطوط تدريب التفضيل الحالية لإنتاج نماذج مواءمة أكثر موثوقية واستقراراً.