ملخص تقني: نسبة الرموز (TBPO)

1. بيان المشكلة

أصبح تحسين التفضيل المباشر (DPO) معيارًا لمواءمة النماذج اللغوية الكبيرة (LLMs) مع التفضيلات البشرية عبر تجنب تعقيد التعلم التعزيزي (RL). ومع ذلك، يوجد عدم تطابق جوهري: تولد النماذج اللغوية الكبيرة النصوص بشكل تلقائي (autoregressively) (أي اتخاذ قرارات لكل رمز بناءً على البادئة)، بينما تقوم نماذج DPO ومتغيراتها عادةً بنمذجة التفضيلات عبر تسلسلات كاملة ككائنات غير قابلة للتجزئة.

تحاول الامتدادات الحالية "على مستوى الرمز" (مثل TDPO وTIS-DPO) معالجة ذلك من خلال تفكيك هدف برادلي-تيري (Bradley–Terry) على مستوى التسلسل عبر الخطوات الزمنية. وتجادل الورقة بأن هذه الطرق لا تزال تنمذج في الأساس نموذجًا على مستوى التسلسل، مما يترك الأمثلية لكل بادئة (حالة) ضمنية. يؤدي هذا إلى تخصيص ائتماني (credit assignment) غير أمثل، حيث يمكن للأخطاء الصغيرة في الرموز المبكرة أن تتراكم، ولا يتم تدريب النموذج صراحةً على إجراء المقايضات المثلى محليًا عند كل خطوة توليد. المشكلة الجوهرية هي كيفية استعادة الأمثلية على مستوى الرمز باستخدام بيانات المقارنة الزوجية القياسية على مستوى التسلسل فقط، دون التضحية بالبساطة والكفاءة التي تجعل DPO جذابًا.

2. المنهجية: تحسين تفضيل بريغمان على مستوى الرمز (TBPO)

يقترح المؤلفون تحسين تفضيل بريغمان على مستوى الرمز (TBPO)، وهو إطار عمل يعمل صراحةً على نمذجة التفضيلات على مستوى الرمز عبر مطابقة نسبة الكثافة مع الاعتماد حصريًا على بيانات على مستوى التسلسل.

2.1. نموذج برادلي-تيري على مستوى الرمز

بدلاً من معاملة الاستجابة الكاملة كوحدة واحدة، يفترض TBPO نموذج برادली-تيري على مستوى الرمز. بالنسبة لزوج تفضيل $(y_w, y_l)$ وخطوة زمنية محددة $t$، يقارن النموذج الرمز التالي $y^w_t$ من البادئة الفائزة $s^w_t = [x, y^w_{<t}]$ مقابل الرمز التالي $y^l_t$ من البادئة الخاسرة $s^l_t = [x, y^l_{<t}]$.

يتم تعريف احتمال التفضيل كالتالي:
$$p_{data}(y^w_t \succ y^l_t | s^w_t, s^l_t) = \sigma(S(s^w_t, y^w_t) - S(s^l_t, y^l_t))$$
حيث أن $S(s, a)$ هي دالة درجة على مستوى الرمز و $\sigma$ هي دالة سيجمويد (sigmoid).

2.2. نموذجان تطبيقيان

ينتج عن الإطار العملي نوعان بناءً على اختيار دالة الدرجة $S$:

1. TBPO-Q: يستخدم دالة القيمة (state-action value function) $Q^{\pi_{ref}}$ الخاصة بالسياسة المرجعية كدرجة. يعامل هذا التفضيل كإشارة ضوضائية لمقارنة المنفعة للنظر المستقبلي لخطوة واحدة.
2. TBPO-A: يستخدم دالة الميزة (advantage function) $A^{\pi_{ref}}$ الخاصة بالسياسة المرجعية كدرجة. يشجع هذا النوع السياسة على زيادة فجوة الميزة بين الامتدادات الفائزة والخاسرة عند كل حالة.

2.3. مطابقة نسبة الكثافة والأوزان لكل حالة

هناك رؤية نظرية حاسمة وهي أن مقارنة الإجراءات عبر بادئات مختلفة (حالات) تتطلب حد تصحيح. اشتق المؤلفون مساواة تربط السياسة المثلى $\pi^*_\theta$ بالسياسة المرجعية $\pi_{ref}$، والتي تتضمن وزنًا لكل حالة $w_t$:
$$\frac{\pi^*_\theta(y^w_t | s^w_t)}{\pi^*_\theta(y^l_t | s^l_t)} = \frac{\pi_{ref}(y^w_t | s^w_t)}{\pi_{ref}(y^l_t | s^l_t)} \times \left( \frac{p_{data}(y^w_t \succ y^l_t)}{p_{data}(y^l_t \succ y^w_t)} \right)^{1/\beta} \times w_t$$

• في TBPO-Q، يكون $w_t$ هو نسبة دوال التجزئة (partition functions/soft-values) للبادئتين.
• في TBPO-A، يكون $w_t$ هو الفرق في تباعد KL (KL-divergence) بين البادئتين.

لجعل هذا الأمر قابلاً للتطبيق، اقترح المؤلفون مقدرات عملية:

• TBPO-Q: يتعلم رأس خط أساس (baseline head) خفيف الوزن من نوع MLP للتنبؤ بلوغ دالة التجزئة (log-partition function)، مع إيقاف تدفق الاشتقاقات (stopping gradients) إلى العمود الفقري الرئيسي للنموذك اللغوي الكبير.
• TBPO-A: يقدر الفرق في تباعد KL باستخدام مقدر مونت كارلو غير متحيز (K3 estimator) بناءً على السياسة الحالية والسياسة المرجعية.

2.4. هدف التحسين

يصنف الإطار عملية تحسين التفضيل كمسأية مطابقة نسبة كثافة لتباعد بريغمان (Bregman-divergence density-ratio matching). من خلال تقليل تباعد بريغمان بين نسبة البيانات التجريبية ونسبة النموذج على مستوى الرمز، يستنتج المنهج دالة خسارة قابلة للتطبيق. هذه الدالة تعمم خسارة لوجستية/DPO مع الحفاظ على السياسة المثلى المستحثة من النموذج. يتم حساب متوسط دالة الخسارة عبر الخطوات الزمنية للتسلسل الأقصر في الزوج.

3. المساهمات الرئيسية

1. إطار العمل: تقديم TBPO، وهو أول إطار عمل ينظم صراحةً التفضيلات على مستوى الرمز عبر مطابقة نسبة الكثافة باستخدام بيانات المقارنة على مستوى التسلسل فقط.
2. النظرية: اشتقاق صارم يوضح أن تقليل هدف TBPO يستعيد سياسة مثلى على مستوى الرمز تحت سعة نموذج كافية. يثبت المؤلفون أن المقلل (minimizer) يتوافق مع السياسة المثلى المرغوبة المعرفة بواسطة نموذج برادلي-تيري على مستوى الرمز.
3. النماذج التطبيقية: اقتراح نموذجين محددين (TBPO-Q و TBPO-A) يتعاملان مع حدود التصحيح المعتمدة على الحالة بشكل مختلف (عبر رؤوس خط أساس متعلمة مقابل تطبيع الميزة).
4. المرونة: تسمح الصيغة بعائلة من خسائر التفضيل الزوجية القابلة للتركيب عبر تغيير دالة مولد بريغمان (على سبيل المثال، استخدام Scaled Basu's power divergence لضبط المرونة).

4. النتائج التجريبية

قيم المؤلفون TBPO على نماذج Mistral 7B v0.1 و Llama 3 8B عبر عدة اختبارات مرجعية:

• القدرات العامة: على لوحة صدارة Open LLM (تشمل ARC، HellaSwag، MMLU، TruthfulQA، Winogrande، GSM8K)، تفوقت متغيرات TBPO باستمرار على النماذج المرجعية القوية (SFT، DPO، TDPO، TIS-DPO، BPO).
  • حقق TBPO-Q أعلى متوسط درجات على Mistral 7B (60.95) و TBPO-A على Llama 3 8B (70.50).
  • لوحظت مكاسب ملحوية في المهام التي تعتمد على الاستدلال (مثل GSM8K، MMLU).
• جودة التوليد (MT-Bench): حقق TBPO معدلات فوز زوجية أعلى ضد النماذج المرجعية السابقة مع معدلات خسارة منخفضة، كما تم تقييمه بواسطة أحكام النماذج اللغوية الكبيرة (Llama 3 70B و Mixtral-8x22B).
• المساعدة وعدم الضرر: في مجموعة بيانات Anthropic HH-RLHF، حققت متغيرات TBPO أعلى معدلات فوز محكومة بالطول (LC) مع إنتاج استجابات أقصر من المنافسين. يشير هذا إلى أن التحسينات ليست مدفوعة بالإسهاب (verbosity) بل بجودة المحاذاة الحقيقية.
• التنوع: على عكس بعض الطرق على مستوى الرمز التي تسبب انهيار التنوع (Self-BLEU مرتفع، إنتروبيا منخفضة)، حقق TBP توازنًا أفضل، حيث حافظ على إنتروبيا تنبؤية عالية ودرجات Distinct-1 عالية مع إبقاء Self-BLEU منخفضًا.

5. الأهمية والادعاءات

تدعي الورقة أن TBPO يسد الفجوة بين الطبيعة التلقائية لتوليد اللغة وتحسين التفضيل على مستوى التسلسل. من خلال فرض الأمثلية صراحةً على مستوى الرمز، يتجنب TBPO مشكلات التخصيص الائتماني غير المباشر التي تعاني منها طرق مستوى التسلسل.

يؤكد المؤلفون أن نهجهم:

• يستعيد الأمثلية على مستوى الرمز: يوفر ضمانًا نظريًا بأن السياسة المتعلمة مثالية عند كل حالة (بادئة)، وليس فقط في المتوسط عبر التسلسلات.
• يحافظ على البساطة: يحتفظ بساطة "الشبيهة بـ DPO" من حيث عدم الحاجة إلى نموذج مكافأة صريح أو تعلم تعزيزي داخل السياسة (on-policy RL)، مع إضافة مكون تقدير خط أساس خفيف الوزن فقط.
• يحسن الاستقرار والتنوع: تشير النتائج التجريبية إلى أن TBPO يوفر استقرار تدريب أفضل ويحافظ على تنوع المخرجات بشكل أفضل من النماذج المرجعية الأخرى على مستوى الرمز.

يُقدم هذا العمل كمساهمة منهجية في تصميم أنظمة تعلم آلي أكثر موثوقية وفهمًا للمواءمة، دون ادعاء النشر الفوري في مجالات محددة عالية المخاطر.