ملخص تقني: العودة إلى بلاكويل: إغلاق الحلقة على عدم التعدي في الضبط الدقيق للتفضيلات متعددة الأهداف

1. بيان المشكلة

تتناول الورقة تحديًا جوهريًا في الضبط الدقيق للتفضيلات (Preference Fine-Tuning - PFT) للنماذج اللغوية الكبيرة (LLMs): التفضيلات غير المتعدية (الدورية). يحدث عدم التعدي عندما يقيم الحكم (LLM judge) الخيار $A \succ B$ و $B \succ C$، لكنه يفشل في تقييم $A \succ C$. تنشأ هذه الظاهرة من مصدرين أساسيين:

1. الترتيبات غير المتسقة على طول هدف واحد.
2. التكميم (Scalarization) لأهداف متعددة في مقياس واحد، مما قد يؤدي إلى عدم اتساق حتى عندما تكون الأهداف الفردية متسقة.

تعتمد مسارات PFT القياسية على تعلم ترتيب كلي عبر نموذج مكافأة. ومع ذلك، في ظل التفضيلات غير المتعدية، لا يوجد "فائز كوندورسي" (Condorcet winner) مثالي محدد بدقة، مما يكسر الافتراضات الأساسية لـ PFT القياسي. وبينما حاولت أعمال سابقة التخفيف من ذلك إما عن طريق (أ) تفكيك الأحكام المجمعة إلى أهداف متعددة أو (ب) صياغة PFT كلعبة صفرية لتحديد سياسة قوية ضد المقارنات الأسوأ، فإن الجمع بين هذين النهجين صعب تقنيًا. وتحديدًا، فإن تفكيك الأهداف إلى إعداد متعدد الأهداف يبطل مبرهنة "المينيمكس" (minimax theorem)، مما يتسبب في فشل آليات حل الألعاب القياسية (مثل اللعب الذاتي).

2. المنهجية

2.1 مفهوم الحل: فائز بلاكويل بحد أقصى للإنتروبيا (MaxEntBW)

يقترح المؤلفون مفهوم حل جديد قائم على نظرية الألعاب، وهو فائز بلاكويل بحد أقصى للإنتروبيا (MaxEntBW). على عكس فائز المينيمكس (الذي لا يكون محددًا بدقة في الإعدادات متعددة الأهداف بدون مبرهنة المينيمكس)، يظل MaxEntBW محددًا بدقة حتى في ظل وجود تفضيلات متعددة وغير متسقة عالميًا.

رسميًا، الـ MaxEntBW هو سياسة $\pi^*$ تعظم قيمة اللعبة $V(\pi)$، المعرفة كالتالي:
$$V(\pi) \triangleq \min_{w: \mathcal{X} \to \Delta^{m(x)}} \min_{\pi' \in \Pi} \mathbb{E}_x \left[ \langle w(x), P(\pi \succ \pi' \mid x) \rangle + \beta D_{KL}(\pi'(x) \parallel \pi_{ref}(x)) \right]$$
حيث أن:

• $P(\pi \succ \pi' \mid x)$ هو متجه احتمالات الفوز الزوجي عبر $m(x)$ من الأهداف.
• $w(x)$ يمثل وزن الخصم للأهداف.
• $\pi'$ هو سياسة المقارن الخصم.
• $\beta D_{KL}(\pi' \parallel \pi_{ref})$ هو حد تنظيم KL الذي يمنع الخصم من الانحراف بعيدًا جدًا عن السياسة المرجعية $\pi_{ref}$.

تضمن هذه الصياغة أن تكون السياسة قوية ضد أسوأ أوزان الأهداف وسياسات المقارن ضمن جيرانها المحليين، دون الحاجة إلى تحقق مبرهنة المينيمكس.

2.2 الخوارزمية: PROSPER

لحساب MaxEntBWs على نطاق واسع، اشتق المؤلفون خوارزمية PROSPER (تحسين التفضيلات مع لاعب واحد عبر معايير كاملة). تختزل الخوارزمية لعبة اللاعبين الثلاثة المعقدة (المتعلم، أوزان الأهداف الخصمة، وسياسة الخصم) إلى مشكلة تحسين أحادية اللاعب قابلة للحل من خلال ثلاث خطوات رئيسية:

1. الصيغة المغلقة للسياسة الخصمة: من خلال تثبيت المتعلم $\pi$ والأوزان $w$، تقبل عملية التقليل الداخلي لسياسة الخصم $\pi'$ حلاً مغلقًا عبر تنظيم الإنتروبيا (مستوحى من Ziebart et al., 2008). وهذا يلغي الحاجة إلى حلقات التدريب الخصمية.
2. التقليل على مستوى المطالبة (Prompt-wise): ثبت أن التحسين عبر أوزان الأهداف $w$ هو مسألة تقع تحت فئة الدوال المقعرة (concave). وبناءً على ذلك، فإن $w$ المثلى لكل مطالبة هي رأس في الـ simplex (أي اختيار هدف واحد هو الأسوأ). وهذا يسم يسمح للخوارزمية ببساطة بالتقليل عبر الأهداف على مستوى كل مطالبة، مما يلغي الحاجة لتحسين $w$.
3. التحسين القائم على الانحدار: الهدف المتبقي هو دالة مقعرة في $\pi$. وبدلاً من إجراء "النزول المتدرج المرآتي عبر الإنترنت" (Online Mirror Descent) مباشرة (وهو أمر غير ممكن للنماذج الكبيرة)، تستخدم PROSPER إعادة صياغة قائمة على الانحدار. فهي تقدر التدرجات عبر أخذ العينات وتحدث بارامترات السياسة $\theta$ عن طريق حل مشكلة انحدار خسارة المربع:
   $$\theta_{t+1} = \arg \min_{\theta} \mathbb{E}_{x, z, z'} \left[ \left( \frac{1}{\eta} \left( \ln \frac{\pi_\theta(z|x)}{\pi_{\theta_t}(z|x)} - \ln \frac{\pi_\theta(z'|x)}{\pi_{\theta_t}(z'|x)} \right) - (g(z) - g(z')) \right)^2 \right]$$
   حيث $g(z)$ هو التدرج المقدر المستمد من الهدف الأسوأ والسياسة المرجعية.

3. المساهمات الرئيسية

1. تعريف MaxEntBW: تقدم الورقة مفهوم "فائز بلاكويل بحد أقصى للإنتروبيا"، وهو مفهوم حل يعمم فائزين بلاكويل في الإعدادات متعددة الأهداف ويظل محددًا بدقة تحت التفضيلات غير المتعدية دون الاعتماد على مبرهنة المينيمكس.
2. خوارزمية PROSPER: اشتق المؤلفون خوارزمية فعالة وقابلة للإثبات تعتمد على الانحدار لحساب MaxEntBWs. تربط الطريقة بين رؤى التعلم المعكوس للتعزيز (Inverse Reinforcement Learning) وتقنيات تحسين التفضيلات الحالية لإلغاء حلقات التحسين الداخلية وتقليص المشكلة إلى انحدار بسيط.
3. التحقق التجريبي: توضح الورقة أن ملاحظات الحكم (LLM judge) متعددة الأهداف هي غير متعدية بشكل كبير في الممارسة العملية. وتظهر أن PROSPER تتفوق على النماذج المرجعية عند ضبط النماذج اللغوية الكبيرة (بمقاييس 3B و 7B) بناءً على تغذية راجعة متعددة الأهداف، خاصة في اختبارات اتباع التعليمات والمحادثة العامة.

4. النتائج التجريبية

قيم المؤلفون PROSPER باستخدام مجموعة بيانات WILDCHECKLISTS، حيث يقوم حكام LLM بتقييم الاستجابات مقابل معايير (rubrics) خاصة بكل مطالبة.

• تحليل عدم التعدي: أكدت التجارب أن تفكيك المعايير إلى عناصر فردية (متعددة الأهداف) يقلل من عدم التعدي ولكنه لا يقضي عليه تمامًا. لا يزال جزء كبير من المطالبات يظهر دورات ويفتقر إلى فائز كوندورسي.
• أداء الاختبارات المرجعية:
  • اتباع التعليمات والمحادثة: في AlpacaEval 2.0 و Arena-Hard، حققت PROSPER (7B) أعلى الدرجات بين جميع النماذج المرجعية، بما في ذلك نموذج RLCF (التعلم من التغذية الراجعة لقائمة التحقق) والمتغيرات التجريبية (PROSPER-JC و PROSPER-VB).
  • القدرات العامة: في الاختبارات خارج النطاق (IFEval, MMLU, ARC, HellaSwag, TruthfulQA)، حافظت PROSPER على أداء مماثل للنموذج الأساسي و RLCF، مما يشير إلى أن الطبيعة الخصمية للتدريب لم تؤدِ إلى تدهور القدرات الاستدلالية أو المعرفية العامة.
• دراسات الاستبعاد (Ablation Studies):
  • PROSPER-JC (هدف واحد/درجة مجمعة): كان أداؤها أسوأ من PROSPER الكاملة، مما يؤكد ضرورة التعامل صراحة مع الأهداف المتعددة.
  • PROSPER-VB (منافس ثابت): كان أداؤها أسوأ من PROSPER الكاملة، مما يوضح قيمة سياسة المنافس المختارة خصميًا.

5. الأهمية والادعاءات

تدعي الورقة أن PROSPER توفر إطارًا قويًا لمواءمة النماذج اللغوية الكبيرة مع التفضيلات البشرية (أو الذكاء الاصطناعي) المعقدة ومتعددة المعايير والتي تتسم بعدم الاتساق بطبيعتها. ومن خلال الابتعاد عن التكميم وافتراضات نظرية الألعاب القياسية التي تفشل في الإعدادات متعددة الأهداف، يقدم المؤلفون حلاً من "المبادئ الأولى" (first-principles) الذي:

• يتعامل مع عدم التعدي: يعالج مباشرة الطبيعة الدورية للتفضيلات دون فرض ترتيب كلي قد لا يكون موجودًا.
• القابلية للتوسع: يحقق الكفاءة من خلال تقليص المشكلة إلى انحدار أحادي اللاعب وتجنب التكاليف الحسابية للتدريب الخصمي.
• الفائدة العملية: يثبت أن الاستفادة من التغذية الراجعة التفصيلية متعددة الأهداف (بدلاً من الدرجات المجمعة) تؤدي إلى سياسات أقوى نوعيًا في سيناريوهات المحادثة واتباع التعليمات في العالم الحقيقي.

أصدر المؤلفون نسخًا مدربة من النماذج بمقاييس 3B و 7B لتسهيل المزيد من الأبحاث في هذا المجال.