Transitivity Meets Cyclicity: Explicit Preference Decomposition for Dynamic Large Language Model Alignment

ملخص تقني: التقاء التعدي مع الدورانية: تفكيك التفضيلات الصريح لمواءمة النماذج اللغوية الكبيرة الديناميكية

بيان المشكلة
تعتمد عملية التعلم المعزز من التغذية الراجعة البشرية (RLHF) القياسية على نموذج برادلي-تيلي (BT)، الذي يفترض أن التفضيلات البشرية متعدية ويمكن تمثيلها بمكافآت قياسية ($A \succ B \land B \succ C \implies A \succ C$). ومع ذلك، غالبًا ما تظهر التفضيلات البشرية في العالم الحقيقي أنماطًا غير متعدية ودورية (مثل ديناميكيات "حجر-ورقة-مقص")، وهي أنماط تعجز النماذج القياسية عن تمثيلها بشكل جوهي. وبينما تعالج الأساليب الحديثة مثل نموذج التفضيل العام (GPM) الدورانية باستخدام أشكال ثنائية الخطية متماثلة عكسيًا، يحدد المؤلفون قصورًا نظريًا حرجًا: إن الصيغة الضمنية لنموذج GPM تدمج بين الديناميكيات الهرمية (المتعدية) والديناميكيات الدورية. هذا الدمج يمنع GPM من ضمان تمثيل "الحلول المهيمنة" (المرشحين الذين يهزمون جميع الآخرين بصرامة) في السياقات الدورية العشوائية، حيث يمكن للقدرة الهندسية المطلوبة للتسلسلات الهرمية العالمية أن يتم "إزاحتها" بواسطة الدورات المحلية المعقدة.

المنهجية
يقترح البحث إطار عمل ثنائي المسار لمعالجة هذه التحديات الهيكلية والتحسينية:

1. نموذج المكافأة-الدوري الهجين (HRC):

   • الأساس النظري: استنادًا إلى نظرية التفكيك في نظرية الألعاب (Balduzzi et al., 2019)، يصيغ المؤلفون نمذجة التفضيل كـ "لعبة ذات شكل دالي صفرية المجموع متماثلة". ويثبتون أن أي دالة تفضيل يمكن تفكيكها بشكل فريد إلى مكون متعدٍ متعامد ($\phi_T$) ومكون دوري ($\phi_C$).
   • البنية: يقوم نموذج HRC بتجسيد هذا التفكيك صراحةً. فهو يجمع بين رأس مكافأة قياسي (يلتقط المكون المتعدي عبر بنية تشبه BT) ورأس دوري قائم على المتجهات (يلتقط الديناميكيات غير المتعدية عبر عامل متماثل عكسيًا يشبه GPM).
   • الآلية: درجة التفضيل النهائية هي مجموع الفرق القياسي المتعدي والتفاعل المتجهي الدوري: $s_{HRC} = (r(y_i) - r(y_j)) + (v_i^\top W v_j)$. يفرض النموذج قيود الوحدة على التضمينات ويستخدم آلية بوابات مدركة للسياق لتعديل الشدة الدورية.
   • الميزة: على عكس GPM، الذي يعاني في تمثيل مرشح مهيمن بجانب دورة دون قيود عالية الأبعاد، يضمن HRC رياضيًا الحفاظ على التسلسلات الهرمية المهيمنة من خلال فصل الديناميكيات. كما يحافظ على تعقيد استدلال خطي قدره $O((2d+1)K)$.

2. تحسين التفضيل باللعب الذاتي الديناميكي (DSPPO):

   • المفهوم: تعمل خوارزميات اللعب الذاتي القياسية (مثل SPPO) على التحسين مقابل أوراكل (Oracle) تفضيل ثابت. ويرى المؤلفون أن هذا يحد من قدرة النموذج على التنقل في المشهد متعدد الأبعاد الذي يكشف عنه HRC.
   • الآلية: يعامل DSPPO المواءمة كـ "لعبة متغيرة مع الزمن". حيث يقوم بجدولة إشارة التفضيل عبر دورات التدريب، لينتقل تدريجيًا من هيكل متعدٍ قوي إلى الفروق الدقيقة الدورية الأكثر دقة.
   • الجدول الزمني: تُعرف درجة التفضيل عند التكرار $t$ بالمعادلة $s_t = (1 + \frac{\lambda}{\sqrt{t}})s_T + (1 - \frac{\lambda}{\sqrt{t}})s_C$. يضمن نهج التعلم المنهجي هذا استقرار التدريب عبر إنشاء خط أساس للجودة العالمية قبل إدخال الديناميكيات المحلية المعقدة، مما يضمن نظريًا التقارب نحو توازن ناش بمعدل $O(1/\sqrt{T})$.

المساهمات الرئيسية

• التوحيد النظري: يقدم البحث برهانًا نظريًا يثبت أن HRC يوحد نموذجي BT وGPM من خلال تفكيك التفضيلات صراحةً إلى مكونات متعدية ودورية متعامدة، مما يحل مشكلة عدم القدرة الهيكلية لـ GPM على ضمان الحلول المهيمنة في الإعدادات المختلطة.
• الابتكار الخوارزمي: تقديم DSPPO، وهو إطار تحسين ديناميكي يستفيد من إشارات HRC المفككة لتوجيه تطور السياسة، مما يوفر مسار تقارب أكثر قوة من الخطوط المرجعية الثابتة.
• التحقق التجريبي: تُظهر التجارية الواسعة أن HRC يتفوق على نماذج BT وGPM في نمذجة التفضيلات، لا سيما في المجالات التي تتطلب التعامل مع "التعادل" (Ties) والاستدلال المعقد. حقق إطار HRC+DSPPO تحسنًا ملحوظًا في جودة التوليد في المهام النهائية.

النتائج

• نمذجة التفضيل (RewardBench 2): تفوق HRC باستمرار على خطوط BT وGPM المرجعية. ففي نموذج Gemma-2B-it، حقق HRC متوسط دقة بلغ 57.63%، متفوقًا على أقوى خط مرجعي (GPM) بنسبة 1.23%. ومن الجدير بالذكر أنه في مجال "التعادل" (Ties)، حقق HRC نسبة 74.51% مقارنة بـ 73.53% لكل من BT وGPM، مما يؤكد قدرته على التعامل مع التفضيلات غير الصارمة.
• المواءمة النهائية:
  • AlpacaEval 2.0: باستخدام Gemma-2B-it كنموذج أساسي، حقق HRC+DSPPO ذروة معدل فوز متحكم في الطول بلغت 44.75%، متفوقًا بشكل كبير على خطوط SPPO المرجعية المدربة باستخدام BT أو GPM.
  • Arena-Hard-v0.1: حقق HRC+DSPPO معدل فوز قدره 46.8% على Gemma-2B-it، بزيادة قدرها 3.2% عن أفضل خط مرجعي، مما يدل على قدرة فائقة في المطالبات الصعبة.
  • MT-Bench: أظهر الإطار أداءً قويًا في المحادثات متعددة الأدوار، حيث حقق HRC+DSPPO متوسط درجة 8.29 على Gemma-2B-it.
• البيانات الاصطناعية: أكدت التجارب على مجموعات البيانات الاصطناعية من نوع "مهيمن + دوري" أن HRC يتقارب بشكل أسرع ويحقق دقة أعلى من GPM في الإعدادات المختلطة (المتعدية-الدورية)، بينما فشل GPM منخفض الأبعاد في التقاط الهياكل الدورية.

الأهمية
يزعم البحث أن التمثيل الأمين للطبيعة المعقدة والمتغايرة للتفضيلات البشرية — وتحديدًا الازدواجية بين التسلسلات الهرمية العالمية المتعدية (مثل السلامة والمساعدة) والدورات المحلية غير المتعدية (مثل المقايضات الأسلوبية) — أمر ضروري للمواءمة القوية للذكاء الاصطناعي. ومن خلال تفكيك هذه المكونات صراحةً، يتغلب الإطار المقترح على القيود الهيكلية للنماذج القياسية والنموذج الدوري البحت. ويفترض المؤلفون أن هذا النهج يمكّن أنظمة الذكاء الاصطناعي من التنقل في المشاهد الأخلاقية والثقافية المتنوعة بشكل أكثر فعالية، مما يعزز الثقة في اتخاذ القرار الآلي من خلال احترام الطبيعة غير الصارمة ومتعددة الأبعاد للتقدير البشري. ويشير العمل إلى أن استراتيجيات المواءمة المستقبلية يجب أن تتجاوز المكافآت القياسية الثابتة لتتبنى التفكيكات القائمة على نظرية الألعاب.