ملخص تقني: Se-DPO (ائتمان الرموز ذاتي التطور لتحسين التفضيل المباشر)

بيان المشكلة

أصبح تحسين التفضيل المباشر (DPO) طريقة قياسية لمواءمة النماذج اللغوية الكبيرة (LLMs) مع التفضيلات البشرية عن طريق إعادة صياغة هدف التعلم المعزز من التغذية الراجعة البشرية (RLHF) إلى خسارة تحت الإشراف. ومع ذلك، يقوم DPO القياسي بتجميع نسب احتمالية مستوى الرمز (token-level log-probabilities) عبر الجمع الموحد، مما يعامل كل رمز في الاستجابة ضمنياً على أنه يساهم بالتساوي في إشارة التفضيل.

هذا التعامل الموحد لا يتوافق مع الواقع:

1. المساهمة المتغيرة: لا تساهم جميع الرموز بالتساوي في جودة الاستجابة. يمكن لخطأ واقعي واحد أن يقلب ملصق التفضيل، بينما نادراً ما تؤثر كلمات الحشو في الحكم البشري.
2. الأهمية الثابتة مقابل الديناميكية: تحاول الأساليب الحالية التي تسعى لمعالجة ذلك حساب أهمية الرموز قبل أو خارج حلقة التدريب (باستخدام نماذج معلمة خارجية، أو أزواج تباينية، أو أقنعة ثابتة). تعامل هذه الأساليب الأهمية كأنها ثابتة تقريباً.
3. فجوة التطور: يحدد هذا البحث أن إشارة المكافأة الضمنية التي يتعلمها DPO تخضع لتطور جوهري أثناء التدريب. فمجموعة الرموز التي تُعتبر "مهمة" تتغير بشكل كبير بين المراحل المبكرة والمتأخرة من التدريب. وبناءً على ذلك، تصبح تخصيصات الائتمان الثابتة غير متوافقة (قديمة) بشكل متزايد مع تقدم عملية التحسين. علاوة على على ذلك، فإن الاستخدام المباشر للمكافأة الضمنية دون معايرة يمكن أن يخصص أهمية غير متناسبة للرموز غير الحرجة (مثل علامات الترقيم) بسبب الضجيج، خاصة في مراحل التدريب المبكرة.

المنهجية: Se-DPO

يقترح المؤلفون Se-DPO (ائتمان الرموز ذاتي التطور لـ DPO)، وهو آلية تشتق ديناميكياً ائتمان الرموز من الإشارات الداخلية المتطورة للنموذج نفسه أثناء التدريب.

1. الأساس النظري: ائتمان الرمز (Token Credit)

يعمم المؤلفون هدف DPO للسماح بتنظيم KL لكل رمز بشكل محدد. بدلاً من معامل $\beta$ موحد، يقدمون معامل $\beta_t$ خاص بكل موضع. يؤدي هذا إلى حد ائتمان الرمز $c_t = \beta / \beta_t$.

• الهدف: تعظيم المكافأة المتوقعة مع الالتزام بقيد KL حيث تختلف قوة العقوبة لكل رمز.
• الاشتقاق: تحت معيار تقليل التباين لنسبة اللوغاريتم التفضيلية، يتم اشتقاق الائتمان الأمثل $c_t$ ليكون متناسباً مع مقدار مكافأة الرمز الضمنية الحقيقية ($|r^*_t|$) وعكسياً مع تباين ضجيج التقدير ($\sigma^2_t$).
  $$c^*_t \propto \frac{|r^*_t|}{\sigma^2_t}$$

2. اختيار الإشارة

لتقريب الائتمان الأمثل دون الوصول إلى الحقيقة المطلقة، يستخدم Se-DPO إشارتين متكاملتين متاحتين أثناء التمرير الأمامي (forward pass):

• مقدار المكافأة الضمنية ($|\hat{r}_t|$): مشتق من نسبة لوغاريتم DPO ($\beta \log \frac{\pi_\theta}{\pi_{ref}}$). يشير المقدار العالي إلى أن الرمز يحمل معلومات تفضيل قوية.
• اعتلاج المرجع (Reference Entropy - $H_{ref,t}$): اعتلاج توزيع نموذج المرجع عند رمز معين. يشير الاعتلاج العالي إلى أن نموذج المرجع غير متيقن، مما يجعل تقدير المكافأة الضمنية أكثر ضجيجاً. أما الاعتلاج المنخفض فيعني اليقين، مما يجعل الانحرافات غنية بالإشارات.
• التحقق التجريبي: لاحظ البحث أن اعتلاج المرجع يرتبط ارتباطاً وثيقاً بتباين تقديرات المكافأة الضمنية، مما يؤكد فائدته كوكيل للضجيج.

3. شبكة المعايرة

بسبب العلاقة غير الخطية بين مقدار المكافأة والضجيج، ولأن النسبة المغلقة الصيغة $|\hat{r}_t|/H_{ref,t}$ يمكن أن تكون غير مستقرة عددياً (خاصة بالقرب من الاعتلاج الصفري)، يستخدم Se-DPO شبكة معايرة خفيفة الوزن (MLP صغير، $f_\phi$).

• المدخلات: $|\hat{r}_t|$ و $H_{ref,t}$.
• المخرجات: قيمة عددية للائتمان $\tilde{c}_t$.
• التطبيع (Normalization): يتم تطبيع الائتمانات لتكون ذات متوسط وحدة داخل كل استجابة. يضمن هذا بقاء ميزانية KL الإجمالية قابلة للمقارنة مع DPO القياسي مع السماح بإعادة توزيع الميزانية للرموز الأكثر أهمية.

4. خوارزمية التدريب

تعمل الخوارزمية في مرحلتين:

1. مرحلة الإحماء ($W$ خطوة): يُستخدم DPO القياسي مع ائتتمانات موحدة ($c_t=1$). هذا يمنع تضخيم الضجيج عندما تكون المكافآت الضمنية غير مستقرة أو قريبة من الصفر في مراحل التدريب المبكرة.
2. المرحلة الموجهة ($>W$ خطوة): يتم تحديث شبكة المعايرة $f_\phi$ بشكل مشترك مع السياسة $\pi_\theta$. في كل خطوة، يحسب النموذج $|\hat{r}_t|$ و $H_{ref,t}$ من التمرير الأمامي الحالي، ويولد الائتمانات عبر $f_\phi$، ويقوم بتحسين الخسارة الموزونة بالرموز:
   $$L_{Se-DPO} = -\log \sigma \left( \sum_{t} c^{(c)}_t \hat{r}^{(c)}_t - \sum_{t} c^{(r)}_t \hat{r}^{(r)}_t \right)$$
   من الضروري ملاحظة أن هذا لا يتطلب أي نماذج خارجية (معلمين أو مميزين) ولا يضيف سوى عبء حسابي ضئيل.

المساهمات الرئيسية

1. ملاحظة الديناميكيات الزمنية: يوضح البحث أن المكافآت الضمنية على مستوى الرمز تتغير بشكل كبير أثناء تدريب DPO، مع تداخل محدود (على سبيل المثال، ~33.6% لأفضل 20% من الرموز) بين المراحل المبكرة والمتأخرة. وهذا يتحدى افتراض الأهمية الثابتة للأساليب السابقة على مستوى الرمز.
2. صياغة ائتمان الرمز: يصيغ المؤلفون "ائتمان الرمز" كآلية لتعديل قوة تنظيم KL لكل رمز، مشتقين أن الائتمان الأمثل يعتمد على كل من مقدار المكافأة واليقين في التقدير.
3. خوارزمية Se-DPO: طريقة عملية عبر الإنترنت (online) تشتق ائتمان الرمز من الإشارات الداخلية باستخدام شبكة معايرة خفيفة الوزن، وتتجنب النماذج الخارجية والحلول المعقدة.
4. التحقق التجريبي: يحقق Se-DPO نتائج رائدة (SOTA) بين الأساليب التي لا تستخدم نماذج خارجية، محققاً تحسناً في معدلات الفوز في AlpacaEval 2 و Arena-Hard مقارنة بـ DMO القياسي وغيره من الخطوط المرجعية.

النتائج التجريبية

أُجريت التجارب على ثلاثة نماذج (Llama-3-8B-Instruct، Llama-3.2-3B-Instruct، Gemma-2-2B-it) باستخدام مُصنفين للتفضيل (ArmoRM و PairRM).

• مكاسب الأداء:
  • على Llama-3-8B-Instruct (باستخدام ArmoRM)، حقق Se-DPO معدل فوز بنسبة 50.6% في AlpacaEval 2 و 43.3% في Arena-Hard. وهذا يتفوق على أقوى خط مرجعي سابق (TGDPO) بمقدار +8.1 و +2.8 نقطة على التوالي.
  • باستخدام تصنيف PairRM، حقق Se-DPO نسبة 47.2% (AlpacaEval 2) و 42.6% (Arena-Hard)، متفوقاً على الخطوط المرجعية بمقدار +3.3 و +8.3 نقطة.
  • في النماذج الأصغر (3B و 2B) باستخدام LoRA، تفوق Se-DPO باستمرار على DPO القياسي وظل منافساً لـ TGDPO.
• دراسات الاستئصال (Ablation Studies):
  • الثابت مقابل الديناميكي: نسخة "الائتمان الثابت" (المجمدة بعد الإحماء) حسنت الأداء بشكل طفيف فقط فوق DPO، مما يؤكد أن الائتمان "المتطور" ضروري.
  • ضرورة الإشارة: وُجد أن كلاً من المكافأة الضمنية واعتلاج المرجع ضروريان؛ حيث لم تتفوق النسب المصنوعة يدوياً باستمرار على النسخ التي تستخدم إشارة واحدة، مما يؤكد الحاجة إلى شبكة معايرة متعلمة.
  • الإحماء: كانت مرحلة الإحماء القصيرة (الافتراضية 4%) حاسمة؛ حيث أدى إزالتها أو استخدام عمليات إحماء طويلة جداً إلى تدهور الأداء.

الأهمية والادعاءات

يدعي البحث أن Se-DPO يعالج قصوراً جوهرياً في تحسين التفضيل الحالي: وهو افتراض أن أهمية الرمز ثابتة. ومن خلال معاملة ائتمان الرمز كخاصية ذاتية التطور مشتقة من مسار تدريب النموذج نفسه، يقوم Se-DHO بمواءمة قوة التنظيم مع محتوى المعلومات الفعلي لكل رمز في تلك اللحظة المحددة من التدريب.

تكمن الأهمية في:

1. الكفاءة: يحقق أداءً متفوقاً دون التكلفة الحسابية لنماذج المعلم الخارجية أو الحلول المعقدة المطلوبة للأساليب الأخرى على مستوى الرمز.
2. المتانة: يتميز بالمتانة تجاه مختلف مصنفات التفضيل (ArmoRM مقابل PairRM) لأنه يعتمد على حالات النموذج الداخلية بدلاً من الإشارات الخارجية.
3. الرؤية النظرية: يوفر تبريراً قائماً على تقليل التباين لسبب وجوب كون ميزانيات KL على مستوى الرمز ديناميكية وعكسية بالنسبة لضجيج التقدير.

يبقى المؤلفون متواضعين فيما يتعلق بمقياس MT-Bench، مشيرين إلى أنه بينما يتفوق Se-DPO في اختبارات معدل الفوز الزوجي (AlpacaEval 2، Arena-Hard)، فإن درجاته المطلقة على MT-Bench تتفاوت، مما يشير إلى وجود مقايضة بين مواءمة التفضيل الزوجي ومقاييس التقييم المطلقة تتطلب مزيداً من البحث.