ملخص تقني: "متى يكون هدفا التحسين عبر التغذية الراجعة البشرية (RLHF) متطابقين؟"

بيان المشكلة

أصبح التعلم المعزز من التغذية الراجعة البشرية (RLHF) النموذج القياسي لمواءمة النماذج اللغوية مع التفضيلات البشرية. وبينما تضمنت المسارات الأصلية تدريب نموذج مكافأة يليه خوارزمية التحسين القريب للسياسة (PPO)، قدمت التطورات الأخيرة العديد من متغيرات تحسين التفضيل المباشر (DPO) وصياغات نظرية الألعاب (مثل SPPO، وNash-MD، وGRPO، وKTO). ورغم الإبلاغ عن تحسينات متميزة، لا يزال هناك سؤال جوهري دون حل: متى ينبغي اعتبار طريقتين لتحسين التفضيل مختلفتين حقاً؟

من غير الواضح حالياً ما إذا كانت الطرق المستمدة من منظورات نظرية مختلفة (على سبيل المثال، نمذجة المكافأة مقابل نظرية الألعاب) تعمل على تحسين أهداف متميزة أم أنها مجرد إعادة ترتيب جبري لنفس دالة الخسارة. هذا الغموض يعقد عملية تقييم الجدة الخوارزمية واتخاذ القرارات العملية فيما يتعلق باختيار الطريقة.

المنهجية: إطار عمل "أوبال" (Opal)

لمعالجة ذلك، قدم المؤلفون خوارزمية "أوبال"، وهي خوارزمية لتوحيد الصيغ (canonicalization) مصممة لتحديد ما إذا كان هدفا تحسين للتفضيل متكافئين جبرياً. يعمل الإطار على فرضية أن طرق التفضيل الزوجية يمكن التعبير عنها كتحويلات لهامش مشترك، $\Delta = s(y^+) - s(y^-)$، حيث $s$ هي دالة تسجيل (scoring function).

يقوم "أوبال" بتفكيك أي خسارة تفضيل إلى تركيب من ثلاث عمليات أولية:

1. الإضافة [$\phi$]: إضافة حد عقوبة يعتمد على الاستجابات الفردية (مثل تنظيم KL، أو تطبيع الطول).
   • $\Delta(y, z) \mapsto \Delta(y, z) + \phi(y) - \phi(z)$
2. إعادة الوزن [$\omega$]: ضرب الهامش في وزن (مثل درجة الحرارة، أو أوزان الأهمية).
   • $\Delta(y, z) \mapsto \omega \cdot \Delta(y, z)$
3. الربط [$g$]: تطبيق دالة رتيبة على الهامش (مثل الدالة اللوجستية، أو دالة المفصل/hinge، أو خسارة التربيع).
   • $\Delta(y, z) \mapsto g(\Delta(y, z))$

شروط القابلية للاختزال

تعتبر الطريقة قابلة للاختزال (وبالتالي قابلة للتحويل إلى شكل موحد فريد) إذا استوفت ثلاثة شروط:

• (R1) التعدي (Transitivity): يجب أن يكون الهامش قابلاً للتعبير عنه كفرق بين الدرجات $\phi(y) - \phi(z)$. تشير الانتهاكات إلى تفضيلات غير متعدية حيث يعتمد الهامش بين $a$ و $c$ على أكثر من مجرد درجاتهما الفردية.
• (R2) استقلال الزوج (Pair-Independence): يجب أن تعتمد الأوزان على المطالب $x$ فقط، وليس على الزوج المحدد $(y, z)$ أو تكوين الدفعة (batch).
• (R3) الرتابة (Monotonicity): يجب أن تكون دالة التحويل $g$ رتيبة تماماً للحفاظ على ترتيب التفضيل.

التوحيد والشواهد

• الشكل الموحد (Canonical Form): إذا استوفت الطريقة الشروط (R1)–(R3)، يقوم "أوبال" باختزالها إلى شكل طبيعي فريد: $NF(L) = \text{Add}[\Phi] \circ \text{Reweight}[s(x)] \circ \text{Link}[g]$، حيث يكون $\Phi$ متمركزاً ($\sum \Phi(y) = 0$). وتكون الطريقتان متكافئتين إذا وفقط إذا تطابقت أشكالهما الموحدة (وتهشيراتهما/hashes الناتجة).
• الشواهد (Witnesses): إذا فشلت طريقة ما في أي شرط، يقوم "أوبال" بإنشاء شاهد ملموس يثبت عدم التكافؤ. تشمل الأمثلة:
  • شاهد الدورة (Cycle Witness): ثلاثية $(a, b, c)$ ذات مجموع دوري غير صفري، مما ينتهك خاصية التعدي.
  • وزن يعتمد على الزوج: زوجان عند نفس المطالب يتلقيان أوزاناً مختلفة.
  • وزن يعتمد على المجموعة: نفس الزوج يتلقى أوزاناً فعالة مختلفة اعتماداً على تكوين الدفعة.

يستبعد إطار العمل صراحةً الطرق على مستوى الرمز (token-level) (مثل RTO) والطرق على مستوى المسار (trajectory-level) (مثل PPO-RLHF) لأنها لا تعمل على هوامش عددية بين أزواج الاستجابات الكاملة، مما يخرجها عن نطاق تحليل الهامش الزوجي.

المساهمات الرئيسية

1. خوارزمية أوبال: أداة منهجية تقرر التكافؤ الجبري عبر اختزال الأهداف إلى شكل موحد أو إنتاج شاهد قابل للتحقق من عدم التكافؤ.
2. تحليل 33 طريقة: حلل المؤلفون 33 طريقة لتحسين التفضيل عبر إعدادات زوجية، وقائمة، ومجموعات، ومستوى الرمز، ومستوى المسار.
   • النتيجة: 25 طريقة قابلة للاختزال، انحصرت في 14 شكلاً موحداً متميزاً.
   • التكافؤ: عشر طرق (بما في ذلك DPO، وSPPO، وNash-MD، وINPO، وDNO، وAPO، وRSO، وXPO، وcDPO، وrDPO) تختزل جميعها إلى نفس الشكل الموحد الخاص بـ DPO.
   • عدم القابلية للاختزال: ثماني طرق غير قابلة للاختزال بشكل مثبت، بما في ذلك GRPO، وRLOO، وKTO، وWPO، وBCO، وRTO، وPPO-RLHF، وReMax.
3. إثبات عدم قابلية اختزال GRPO: يقدم البحث شاهداً صريحاً يثبت أن GRPO تختلف جوهرياً عن DPO. فهو يوضح أن تطبيع المجموعة في GRPO يجعل مساهمة التدرج لزوج من الاستجابات يعتمد على التكوين المحدد للدفعة (انتهاك لـ R2)، مما يغير مقياس الهوامง النسبية بناءً على الاستجابات الأخرى الموجودة.
4. محاور التصميم المتعامدة: حدد المؤلفون أربعة آليات هيكلية تولد أهدافاً مختلفة حقاً، وهي متعامدة مع التكافؤ الموحد:
   • تطبيع المجموعة (مثل GRPO).
     la وزن يعتمد على الزوج (مثل KTO).
   • هيكل مستوى الرمز (مثل RTO).
   • تحسين مستوى المسار (مثل PPO-RLHF).

النتائج

• التكافؤ الجبري: العديد من الطرق المذكة على نطاق واسع متكافئة جبرياً. على سبيل المثال، SPPO وNash-MD، المستمدان من أهداف minimax نظرية الألعاب، يختزلان إلى نفس الشكل الموحد لـ DPO تماماً. التبديل بينهما لا يغير هدف التحسين، بل يغير طريقة الاشتقاق فقط.
• التباينات الهيكلية: الطرق التي تنتهك شروط الاختزال (تحديداً R2) تظهر مساحات تحسين مختلفة جوهرياً. إن تطبيع الدفعة في GRPO يعني أن نفس زوج الاستجابات يمكن أن يتلقى تدرجات مختلفة اعتماداً على الدفعة، وهي خاصية مستحيلة لأي طريقة قابلة للاختزال.
• التحقق عبر التهشير (Hash Verification): يوفر المؤلفون رمز SHA-256 لكل شكل موحد للطرق القابلة للاختزال، مما يسمح للممارسين بالتحقق من التكافؤ برمجياً.

الأهمية والادعاءات

يدعي البحث أن "أوبال" يفصل بين تغييرات التمثيل وتغييرات الجوهر.

• توضيح الجدة: يشير إطار العمل إلى أن الكثير من التنوع الظاهري في أدبيات تحسين التفضيل ينبع من إعادة تمثيل مجموعة صغيرة من الأهداف الأساسية. تتطلب الجدة الخوارزمية الحقيقية انتهاك واحد على الأقل من افتراضات الاختزال (R1–R3).
• إرشادات عملية: بالنسبة للممارسين، يجب أن يسترشد الاختيار بين الطرق المتكافئة (مثل DPO مقابل SPPO) بالتفاصيل التنفيذية، أو الاستقرار العددي، أو الانحياز الضمني، بدلاً من توقع سلوك خوارزمي مختلف جوهرياً.
• التكافؤ من منظور نظرية القرار: الطرق المتكافئة تستحث نفس ترتيب التفضيل الأمثل بايزياً (Bayes-optimal) وتتفق على إشارة كل هامش، رغم أنها قد تختلف في مقادير التدرج ومعدلات التقارب.

يضع المؤلفون هذا العمل كأول إطار خوارزمي قادر على الإجابة على سؤال "هل هاتان الطريقتان متطابقتان؟" ببرهان رسمي في كلا الاتجاهين، متجاوزين التصنيف التجريبي نحو التحقق الجبري الصارم.