A Unified Pair-GRPO Family: From Implicit to Explicit Preference Constraints for Stable and General RL Alignment

ملخص تقني: عائلة Pair-GRPO الموحدة

بيان المشكلة
يُعد التعلم المعزز من التفضيلات البشرية (RLHF) المعيار الأساسي لمواءمة النماذج اللغوية الكبيرة (LLMs) مع القيم البشرية، ومع ذلك تعاني نماذج تعلم التفضيلات الزوجية السائدة من أربعة قيود حرجة: عدم استقرار تحديثات السياسة، غموض اتجاهات التدرج، ضعف القابلية للتفسير، وارتفاع تباين التدرج. وتحديداً، تعتمد الطرق الحالية مثل تحسين السياسة النسبي للمجموعات (GRPO) على مكافآت عددية مستمرة ومطبعة للمجموعات. هذا النهج يُدخل معلومات زائدة (حيث تكون قيم المكافآت المطلقة غالباً اعتباطية)، ويسمح بإزاحات احتمالية عالمية غير مقيدة تضعف إشارات المواءمة، ويؤدي إلى تدرجات عشوائية مشوشة تفتقر إلى الحتمية الاتجاهية.

المنهجية: عائلة Pair-of-GRPO
تقترح الورقة إطاراً نظرياً موحداً يتمحور حول عائلة Pair-GRPO، والتي تجسر الفجوة بين التحسين المعتمد على المكافأة الضمنية والقيود الصريحة للتفضيلات. تتكون هذه العائلة من متغيرين مرتبطين ارتباطاً وثيقاً:

1. Soft-Pair-GRPO (القيود الضمنية):

   • الآلية: تعديل طفيف لنموذج GRPO القياسي يستبدل المكافآت المستمرة المطبعة للمجموعات بمكافآت تفضيل زوجية ثنائية ($+1$ للاستجابة المفضلة $a_p$، و $-1$للاستجابة المرفوضة$a_r$).
   • البنية: يحتفظ بهيكل هدف البديل المقطوع (clipped surrogate objective) وتنظيم KL.
   • الرؤية النظرية: يثبت المؤلفون نظرية تكافؤ التدرج. فبناءً على مفكوك تايلور من الدرجة الأولى حول السياسة الحالية، ثبت أن تدرج Soft-Pair-GRPO هو مضاعف عددي موجب لتدرج GRPO القياسي. وهذا يفسر لماذا لا يؤدي التخلي عن قيم المكافآت المستمرة إلى المساس بالاستقرار؛ إذ تظل إشارة التحسين متطابقة اتجاهياً مع GRPO ولكن مع ضجيج أقل.

2. Hard-Pair-GRPO (القيود الصريحة):

   • الآلية: متغير متقدم يقدم قيوداً احتمالية محلية صريحة. فبدلاً من الاعتماد فقط على إشارة المكافأة، يقوم ببناء توزيع مستهدف $\pi_{tar}$ ينقل الكتلة الاحتمالية بدقة بين الاستجابتين المفضلة والمرفوضة ($a_p$ و $a_r$)، مع تجميد جميع الاستجابات الأخرى.
   • التحسين: تمت صياغته كمسألة ملاءمة KL مقيدة ($\min D_{KL}(\pi_\theta \parallel \pi_{tar})$) تخضع لقيد منطقة الثقة ($D_{KL}(\pi_\theta \parallel \pi_{old}) \le \beta$).
   • الديناميكيات: يستخدم حجم خطوة يتلاشى ديناميكياً ($\delta_t$) لضمان التقارب المستقر دون تذبذب.

المساهمات الرئيسية

1. نظرية تكافؤ التدرج: تثبت الورقة أن تدرج Soft-Pair-GRPO متكافئ اتجاهياً مع GRPO القياسي تحت تقريب الدرجة الأولى، مما يوفر أساساً نظرياً لاستخدام المكافآت الثنائية دون فقدان فوائد إطار عمل GRPO.
2. صياغة القيود الصريحة: يقدم Hard-Pair-GRPO نهج ملاءمة KL مقيداً مبتكراً يعزل إشارات التحسين لتقتصر على زوج التفضيل الحرج، مما يلغي الانحراف في السياسة العالمية.
3. الضمانات النظرية الشاملة: يقدم المؤلفون براهين صارمة لـ:
   • التحسين الأحادي للسياسة: ضمان عدم انخفاض العائد المتوقع تحت قيود منطقة الثقة.
   • حتمية اتجاه التدرج: يدفع التدرج باستمرار نحو رفع احتمالية الاستجابة المفضلة وخفض احتمالية الاستجابة المرفوضة، مع انعدام الإشارة للاستجابات غير ذات الصلة في Hard-Pair-GRPO.
   • تقليل تباين التدرج: تم إثبات تسلسل هرمي صارم حيث $V_{Hard-Pair-GRPO} < V_{Soft-Pair-GRPO} < V_{GRPO}$، مما يوضح أن القيود الصريحة والمقارنات الزوجية تقلل الضجيج العشوائي بشكل كبير.
   • تقارب حجم الخطوة الديناميكي: إثبات أن حجم الخطوة المتلاشي يضمن التقارب المستقر إلى الحد الأمثل المحلي.

النتائج التجريبية
أُجريت تجارب واسعة النطاق على معايير مواءمة النماذج اللغوية الكبيرة (HH-RLHF, UltraFeedback) وعلى مهمة التحكم المستمر العامة HalfCheetah-v4 (MuJoCo).

• أداء المواءمة: تفوق Hard-Pair-GRPO باستمرار على النماذج المرجعية المتطورة (Standard GRPO, DPO, ORPO) عبر مقاييس المواءمة التلقائية (المساعدة، وعدم الضرر) ودرجات التقييم البشري (التماسك، الصلة، الإجمالي).
• استقرار التدريب: أظهرت عائلة Pair-GRPO انخفاضاً صارماً في تباين التدرج والانحراف المعياري لـ KL مقارنة بالنماذج المرجعية. حقق Hard-Pair-GRPO أدنى تباين (تباين معيار التدرج بلغ 0.031 مقابل 0.087 لـ Standard GRPO).
• التعميم: ظل التسلسل الهرمي للأداء ($PPO < GRPO < Soft\text{-}Pair\text{-}GRPO < Hard\text{-}Pair\text{-}GRPO$) صحيحاً في بيئة HalfCheetah-v4، مما يؤكد قابلية تطبيق الإطار لما وراء النماذج اللغوية الكبيرة لتشمل التعلم المعزز العام.
• دراسات الاستئصال: أكدت التجارخت أن تلاشي حجم الخطوة الديناميكي، وتنظيم منطقة الثقة، والقيود المحلية الصريحة هي جميعها مكونات حاسمة لتحقيق الأداء العالي والاستقرار.

الأهمية والادعاءات
تدعي الورقة تأسيس أساس نظري موحد لتحسين التفضيلات القائم على التعلم المعزز. ومن خلال إثبات أن المقدار المطلق للمكافآت العددية هو أمر زائد عن الحاجة لتعلم التفضيلات، يتحدى هذا العمل نموذج نمذجة المكافأة القياسي. وتقترح أن الآلية الجوهرية لـ RLHF يمكن تبسيطها إلى ترتيب زوجي نسبي، معزز بقيود توزيعية صريحة. ويرى المؤلفون أن عائلة Pair-GRPO تقدم طيفاً من المقايضات التصميمية: حيث يعمل Soft-Pair-GRPO كنموذج مرجعي مستقر بحد أدنى من التعديلات، بينما يقدم Hard-Pair-GRGO استقراراً وأداءً فائقين من خلال التحكم الصريح، مما يوحد فعلياً بين القيود الضمنية والصريحة للتفضيلات ضمن إطار عمل واحد ذي أساس نظري متين.