Provably avoiding over-optimization in Direct Preference Optimization without knowing the data distribution

بيان المشكلة

أصبح تحسين التفضيلات المباشر (DPO) معيارًا لمرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs) نظرًا لبساطته وقدرته على تجاوز نمذجة المكافأة الصريحة. ومع ذلك، يُعرف DPO بمعاناته من الإفراط في التحسين (over-optimization): فمع تقدم التدريب، قد يعمل النموذج على تعظيم خسارة التدريب بينما تتدهور الجودة الفعلية للاستجابات المولدة مقارنة بالنموذج الأولي. وتتفاقم هذه المشكلة بسبب حقيقة أن DPO القياسي وتعزيز التعلم من التغذية الراجعة البشرية (RLHF) يعاملان المكافأة المقدرة كحقيقة مطلقة، متجاهلين عدم اليقين.

تعتمد الضمانات النظرية لتخفيف الإفراط في التحسين عادةً على التشاؤم (pessimism)، مما يضمن أن السياسة المتعلمة قوية تجاه أخطاء التقدير. تحقق متغيرات DPO التشاؤمية الموجودة (مثل $\chi^2$-regularized DPO و DPO+SFT) حدودًا نظرية قوية تعتمد فقط على معامل تركيز سياسة واحدة ($C^\star$)، مما يعني المتانة حتى لو لم تغطِ مجموعة البيانات كامل فضاء السياسات. ومع ذلك، تعتمد هذه الضمانات بشكل حاسم على معرفة التوزيع المولد للبيانات ($\pi_{data}$) أو الوصول إلى سياسة مرجعية مغطاة جيدًا بواسطة $\pi_{data}$. وفي الممارسة العملية، غالبًا ما يتم انتهاك هذا الافتراض، كما هو الحال عند ضبط النماذج الأصغر باستخدام بيانات تفضيل ناتجة عن أنظمة أكبر ومملوكة (مثل GPT-4) حيث تكون $\pi_{data}$ غير معروفة ولا يمكن الوصول إليها.

سؤال البحث المركزي الذي يتم معالجته هو: هل يمكننا تصميم خوارزمية شبيهة بـ DPO تكون قوية نظريًا ضد الإفراط في التحسين دون معرفة التوزيع المولد للبيانات $\pi_{data}$؟

المنهجية: PEPO

يقدم المؤلفون PEPO (تحسين التفضيلات القائم على المجموعة التشاؤمية - Pessimistic Ensemble based Preference Optimization)، وهي خوارزمية ذات خطوة واحدة تحقق التشاؤم من خلال مجموعة (ensemble) من السياسات المدربة على مجموعات بيانات منفصلة، دون الحاجة إلى معرفة $\pi_{data}$.

1. تدريب المجموعة (Ensemble Training):
يتم تقسيم مجموعة تفضيلات البيانات $D$ إلى $L$ من المجموعات الفرعية المنفصلة. لكل مجموعة فرعية $D_\ell$، يتم تدريب سياسة خفيفة الوزن $\tilde{\pi}_\ell$ باستخدام هدف DPO تشاؤمي. يعدل هذا الهدف خسارة DPO القياسية عن طريق إزاحة دالة الـ sigmoid أفقيًا بمعامل $\lambda_\ell$، مما يقلل فعليًا من الهامش المطلوب لاحتمالية الفوز. تسبب هذه الإزاحة تقديرًا محافظًا (تشاؤميًا) لفجوة المكافأة.

2. التجميع التشاؤمي (Pessimistic Aggregation):
تُعرف السياسة الناتجة $\pi_{out}$ بأنها الحل لمشكلة RLHF "افتراضية" تعمل على تحسين المكافأة في أسوأ الحالات عبر المجموعة. يتم بناء المكافأة الضمنية للمجموعة عن طريق أخذ الحد الأدنى من بين $L$ من النماذج لفجوات المكافأة المقدرة لديهم، مع تعديلها بناءً على توزيع البيانات في المجموعات الأخرى (لضمان الاستقلالية).
$$r^-(x, a) = \beta \min_{\ell \in [L]} \left( \log \frac{\tilde{\pi}_\ell(a|x)}{\pi_{ref}(a|x)} - \zeta_\ell(x) \right)$$
حيث تأخذ $\zeta_\ell(x)$ في الاعتبار مساهمة البيانات خارج المجموعة الفرعية $\ell$.

3. أخذ العينات الفعال (Efficient Sampling):
يتضمن الحل المغلق لـ $\pi_{out}$ ثابت تطبيع (normalization constant) عبر كامل فضاء الاستجابة، وهو أمر مستعصٍ حسابيًا. لتجاوز ذلك، يستخدم PEPO أخذ عينات الرفض (rejection sampling) (الخوارزمية 2). أي عضو في المجموعة $\tilde{\pi}_\ell$ يعمل كتوزيع اقتراح لأن بسط $\pi_{out}$ محصور بواسطة $\tilde{\pi}_\ell$. وللتطبيقات العملية واسعة النطاق، يقترح المؤلفون أيضًا تقريبًا على مستوى الرمز (token-level approximation) يطبق التجميع التشاؤمي عند كل خطوة فك ترميز، مما يتجنب الحاجة إلى أخذ عينات المسار الكامل ويقلل بشكل كبير من زمن توليد الاستجابة.

المساهمات الرئيسية

المساهمات النظرية:

• تعقيد العينة بدون $\pi_{data}$: في الإعداد الجدولي (tabular setting)، يحقق PEPO ضمانات تعقيد العينة التي تعتمد فقط على معامل تركيز السياسة الواحدة ($C^\star$). وهذا يتناقض مع DPO القياسي، الذي يعاني من معامل تركيز جميع السياسات ($C_{all}$)، ومع متغيرات DPO التشاؤمية الموجودة التي تتطلب معرفة $\pi_{data}$.
• حجم المجموعة الأمثل: يحدد التحليل حجم المجموعة الأمثل $L$ كأصغر قيمة كافية لضمان التشاؤم باحتمالية عالية. تظهر الحدود النظرية أن $L$ يتناسب لوغاريتميًا مع أحجام فضاء الحالة والفعل.
• المتانة: تسري هذه الحدود دون افتراض أن مجموعة البيانات تغطي فئة السياسات بأكملها، مما يعالج فجوة "$\pi_{data}$ المجهولة" في الأعمال النظرية السابقة.

المساهمات العملية:

• التحقق التجريبي: تم تقييم PEPO على نماذج بـ 7 مليار و8 مليار و34 مليار معلمة (Zephyr-7B, Llama-3.1-8B, Mistral-7B, Yi-34B) باستخدام مجموعة بيانات UltraFeedback.
• تخفيف الإفراط في التحسين: تُظهر التجارب أنه بينما يظهر DPO القياسي انخفاضًا حادًا في معدلات الفوز بعد المكاسب الأولية (الإفراط في التحسين)، فإن أداء PEPO يستقر ويتحسن.
• التفوق على النماذج المرجعية: يتفوق PEPO باستمرار على $\chi^2$PO و DPO+SFT في الإعدادات التي تكون فيها $\pi_{data} \neq \pi_{ref}$ (مثل UltraFeedback)، حيث تكون الضمانات النظرية لتلك النماذج المرجعية غير صالحة.
• الكفاءة: يحقق التنفيذ على مستوى الرمز توازنًا جيدًا بين معدل الفوز ووقت التوليد، مما يوفر أداءً قريبًا من الأمثل مع زمن انتقال أقل بكثير من أخذ عينات الرفض الكامل.

النتائج

• الإفراط في التحسين: يوضح الشكل 1 أن معدل فوز DPO يصل إلى ذروته ثم ينخفض، بينما يظهر PEPO (مع $L$ مناسبة) تحسنًا مستدامًا. كما تبين أن التوقف المبكر بناءً على خسارة التحقق غير موثوق لاختيار أفضل نسخة (checkpoint) لـ DPO.
• المقارنة: في الشكل 3، يحقق PEPO معدلات فوز أعلى في AlpacaEval2 مقارنة بـ $\chi^2$PO و SFT+DPO عبر جميع النماذج المختبرة. تضيق فجوة الأداء فقط عندما تكون $\pi_{data} = \pi_{ref}$، مما يؤكد أن ميزة PEPO تنبع من قدرته على التعامل مع توزيعات البيانات المجهولة.
• الدراسة الاستقصائية (Ablation): تؤكد التجارب أن $L$ هو معلمة فائقة (hyperparameter) حرجة؛ فالقيمة الصغيرة جدًا تفشل في إحداث التشاؤم الكافي، بينما القيمة الكبيرة جدًا تقلل من البيانات الفعالة لكل نموذج، مما يؤدي إلى تدهور الأداء.

الأهمية والادعاءات

يدعي البحث تقديم أول خوارزمية شبيهة بـ DPO تتجنب الإفراط في التحسين بشكل مثبت دون معرفة التوزيع المولد للبيانات. هذا أمر مهم لأنه يسد الفجوة بين المتانة النظرية (تركيز السياسة الواحدة) والقيود العملية ($\pi_{data}$ المجهولة)، وهو سيناريو شائع في محاذاة النماذج اللغوية الكبيرة في الواقع، حيث يتم توليد البيانات بواسطة نماذج متنوعة أو مملوكة.

يضع المؤلفون PEPO كحل عملي يحافظ على بساطة DPO (تدريب الخطوة الواحدة، لا توجد نموذج مكافأة صريح) مع دمج السلامة النظرية للتنظيم التشاؤمي. وهم يقرون بأن ضماناتهم النظرية مثبتة حاليًا في الإعداد الجدولي (tabular setting)، وأن توسيع هذه النتائج لتشمل فئات التقريب الوظيفي العامة دون معرفة $\pi_{data}$ يظل تحديًا مفتوحًا. بالإضافة إلى ذلك، فإن الطريقة الحالية تنتج سياسة غير معلمية (عبر أخذ العينات)، وهي مثالية للخطوة النهائية في خط أنابيب التدريب ولكن ليس للنسخ الاحتياطية (checkpoints) المتوسطة، مما يشير إلى اتجاه للعمل المستقبلي على المخرجات المعلمية (parametric outputs).