ملخص تقني: AdaDPO

1. بيان المشكلة

برزت طريقة "تحسين التفضيل المباشر" (DPO) كبديل مهيمن لـ "التعلم التعزيزي من التغذية الراجعة البشرية" (RLHF) لمواءمة النماذج اللغوية الكبيرة (LLMs)، حيث توفر مسار عمل مبسطاً يلغي الحاجة إلى نموذج مكافأة منفصل. ومع ذلك، حدد تحليل نظري حديث أجراه Feng وآخرون [2024] وجود عدم تماثل هيكلي في دالة خسارة DPO.

تتمثل المشكلة الجوهرية في عدم توازن التدرج (Gradient Imbalance). في نظام DPO القياسي، يُضرب المعامل $\beta$ نفسه في لوغاريتمات النسب لكل من الاستجابات المفضلة ($y_w$) وغير المفضلة ($y_l$). ومع تقدم التدريب وزيادة ثقة النموذج في الاستجابة المفضلة، تتقلص قيمة التدرج بالنسبة لاحتمالية الاستجابة المفضلة ($P_w$) بشكل أسرع بكثير من التدرج بالنسبة للاستجابة غير المفضلة ($P_l$). وتحديداً، تنخفض نسبة التدرجات $|\partial L / \partial P_w| / |\partial L / \partial P_l|$ عن 1، وغالباً ما تقترب من الصفر.

نتيجة لذلك، يتعلم النموذج أساساً كيفية كبح الإجابات السيئة بدلاً من تعزيز الإجابات الجيدة. هذا الخلل هو خاصية هيكلية في دالة الخسارة، وليس نتاجاً لضبط المعلمات الفائقة (hyperparameters)، ويصبح واضحاً بشكل خاص عندما تكون الاستجابات المفضلة وغير المفضلة متقاربة دلالياً. وقد رُبطت هذه الديناميكية بـ "انحياز الطول" (length bias)، حيث تستغل النماذج الإطناب لتعظيم المكافآت دون تحسين الجودة بالضرية.

2. المنهجية: AdaDPO

يقترح المؤلفون AdaDPO (تحسين التفضيل المباشر ذاتي التكيف)، وهو متغير مصمم لفرض تساوي قيم التدرج بين الاحتمالات المفضلة وغير المفضلة في كل خطوة تحسين.

الآلية الجوهرية

بدلاً من استخدام معامل $\beta$ ثابت لكلا الطرفين، يقدم AdaDPO معاملات لكل زوج تفضيلي ($\beta_w$ و $\beta_l$). يتم تعديل دالة الخسارة كما يلي:
$$\Delta_{\text{AdaDPO}} = \beta_w \log \frac{P_w}{R_w} - \beta_l \log \frac{P_l}{R_l}$$
حيث تمثل $P$ احتمالات السياسة (policy probabilities) وتمثل $R$ احتمالات النموذج المرجعي (reference model probabilities).

الاشتقاق النظري

لتحقيق تدرجات متوازنة ($|\partial L / \partial P_w| = |\partial L / \partial P_l|$)، اشتق المؤلفون شرطاً ضرورياً لنسبة المعاملات:
$$\frac{\beta_w}{\beta_l} = \frac{P_w}{P_l}$$
(أو في فضاء نسبة الاحتمالات: $\frac{\beta_w}{\beta_l} = \frac{P_w R_l}{P_l R_w}$).

تفاصيل التنفيذ

لتحقيق هذا الشرط دون كسر ديناميكيات التحسين (أي منع المعاملات من أن تصبح بارامترات قابلة للاشتقاق تُمرر التدرجات)، يستخدم AdaDPO عامل إيقاف التدرج (stop-gradient):
$$\beta_w = \beta \cdot \text{sg}\left( \frac{P_w R_l}{P_l R_w} \right)$$
هنا، يتم الإبقاء على $\beta_l$ مساوياً لمعامل $\beta$ القياسي في DPO. يضمن عامل إيقاف التدرج (sg) التعامل مع النسبة كقيمة ثابتة أثناء الانتشار العكسي (backpropagation)، مما يلغي فعلياً تأثير قياس عكس الاحتمال الذي يسبب مشكلة "تلاشي التعزيز" (vanishing promotion) في نظام DPO التقليدي.

النسخة المستقرة من AdaDPO (Stable AdaDPO):
لمعالجة عدم استقرار التدريب في التسلسلات الطويلة حيث يمكن أن تنتج مجموعات اللوغاريتمات لكل رمز (token-summed log-probabilities) نسباً قصوى، قدم المؤلفون متغيراً يعتمد على متوسط لوغاريتمات الاحتمالية لكل رمز (per-token average log-probabilities) ويطبق حداً رقمياً للقص ($C=2.0$) على المعامل المتكيف. يحتفظ هذا المتغير بهيكل DPO الأصلي ولا يتطلب سوى تعديلات بسيطة في بضعة أسطر من الكود.

3. المساهمات الرئيسية

1. التصحيح النظري: يشتق البحث بدقة شرط تساوي قيم التدرج في دوال الخسارة من نوع DPO، ويثبت أن AdaDPO يحقق هذا الشرط تماماً عبر عوامل إيقاف التدرج، مما يوفر تصحيحاً مبنياً على أسس سليمة لعدم توازن التدرج.
2. الأداء التجريبي: عند تدريب نموذج Llama-3-8B-Instruct على مجموعة بيانات UltraFeedback، يتفوق AdaDPO باستمرار على DPO القياسي عبر شبكة واسعة من المعلمات الفائقة.
3. القدرة على التعميم: أظهر المبدأ ذاتي التكيف أنه تعديل "جاهز للاستخدام" (drop-in modification) يمكن تطبيقه على عائلة واسعة من دوال تفضيل المقارنة الزوجية، بما في ذلك SimPO و R-DPO و IPO و CPO و ORPO، دون تغيير معالمها الحالية.

4. النتائج التجريبية

قيم المؤلفون AdaDPO مقابل DPO ونماذج SFT باستخدام Llama-3-8B-Instruct ومجموعة بيانات UltraFeedback، متبعين إعداداً مماثلاً تقريباً لـ SimPO.

النتائج الرئيسية على AlpacaEval 2:

• معدل الفوز المتحكم في الطول (LC): حقق AdaDPO أفضل معدل عالمي لـ LC بنسبة 48.3% (مقابل 46.4% لـ DPO).
• معدل الفوز الخام (WR): حقق AdaDPO أفضل معدل عالمي لـ WR بنسبة 46.1% (مقابل 44.5% لـ DPO).
• قوة المعلمات الفائقة: عبر 16 تركيبة مختلفة من $(lr, \beta)$:
  • تفوق AdaDPO على DPO في 81% من التوليفات فيما يتعلق بـ LC.
  • أنتج AdaDPO هامشاً أكبر لـ (LC-over-WR) (مما يشير إلى انخفاض انحياز الطول) في 88% من التوليفات.
  • حقق AdaDPO أطوال استجابة متوسطة أقصر مع الحفاظ على جودة أعلى، مما يشير إلى أن المكاسب ليست مدفوعة بالإطناب.

الاختبارات الأخرى:

• Arena-Hard: أظهر DPO معدل فوز خام أعلى قليلاً (42.9% مقابل 41.5%)، لكن فترات الثقة بنسبة 95% تداخلت بشكل كبير، مما يشير إلى عدم وجود فرق ذو دلالة إحصائية.
• MT-Bench: تجاوز AdaDPO (8.03) نموذج DPO (8.01) بفارق ضئيل، وهو فرق لاحظ المؤلفون أنه يقل عن دقة مقياس الاختبار.

ديناميكيات التحسين:
أظهر AdaDPO خسارة تقييم أقل، ودقة مكافأة أعلى، وهوامش مكافأة أكبر مقارنة بـ DPO، مما يؤكد أن تحديثات التدرج المتوازنة تترجم مباشرة إلى تحسين جودة المواءمة.

5. الأهمية والادعاءات

يزعم البحث أن AdaDPO يعالج خللاً هيكلياً جوهرياً في DPO ومتغيراته: الميل للتعلم عبر الكبح بدلاً من التعزيز.

• آلية التحسين: يؤكد المؤلفون أن التحسينات الملحوظة في الأداء المتحكم في الطول والحد من انحياز الطول هي نتائج مباشرة لتصحيح عدم توازن التدرج. من خلال ضمان استمرار تلقي النموذج لإشارة تعزيز قوية للاستجابات المفضلة حتى مع زيادة ثقته، يمنع AdaDPO إشارة التحسين من الركود.
• العملية: لا تتطلب الطريقة جمع بيانات جديدة، ولا تغييرات في بنية النموذج، ولا معلمات فائقة حساسة جديدة (بخلاف $\beta$ القياسي وثابت قص قوي). يتم تقديمها كتعديل بسيط في الكود مع تأثير أقصى.
• النطاق: يضع المؤلفون نتائجهم بتواضع كمنهج ينطبق على تحسين التفضيل غير المتصل (offline preference optimization) في سياق تعليمات النماذج اللغوية (LLM Instruct setting). كما صرحوا بوضوح أن التحقق من صحة النماذج عبر نماذج مختلفة، والانتقال إلى مجموعات بيانات أخرى، والتوسع في التعلم التعزيزي عبر الإنترنت (online RL) أو أهداف السلامة، هي أعمال مستقبلية وليست ادعاءات حالية.

في الختام، يفترض البحث أن توازن التدرج، وليس الضبط الدقيق للمعلمات الفائقة، هو القيد الأساسي على أداء أهداف نوع DPO، وأن AdaDPO يوفر حلاً عاماً ومبنياً على أسس نظرية لهذه المشكلة.