ملخص تقني: القضاء على الانحياز الاستقرائي في نماذج المكافأة عبر التوجيه القائم على نظرية المعلومات

بيان المشكلة

تعد نماذج المكافأة (RMs) مكونات حاسمة في التعلم المعزز من التغذية الراجعة البشرية (RLHF)، حيث تعمل على مواءمة النماذج اللغوية الكبيرة (LLMs) مع القيم البشرية. ومع ذلك، غالبًا ما تكون بيانات التدريب لنماذج المكافأة منخفضة الجودة، وتحتوي على انحيازات استقرائية كبيرة تؤدي إلى الإفراط في التخصيص (overfitting) و"اختراق المكافأة" (reward hacking). تشمل الانحيازات الشائعة ما يلي:

• طول الاستجابة: يميل المقيّمون غالبًا إلى تفضيل الاستجابات الأكثر تفصيلًا، مما يجعل نماذج المكافأة تربط خطأً بين النصوص الأطول والجودة الأعلى.
• التملق (Sycophancy): قد تتعلم نماذج المكافأة تفضيل الاستجابات التي تداهن المستخدم بدلاً من تلك الدقيقة واقعيًا.
• التنسيق (Format): تفضيل عناصر أسلوبية محددة (مثل القوائم، الخط العريض، الرموز التعبيرية) لا علاقة لها بجودة المحتوى.

تعاني أساليب إزالة الانحياز الحالية من قيود:

1. الارتباط الخطي: الطرق التي تستخدم معاملات بيرسون تلتقط فقط العلاقات الخطية البسيطة، وتفشل في معالجة الانحيازات المعقدة وغير الخطية.
2. القيود القياسية (Scalar Constraints): الأساليب التي تضيف رأسًا (head) محددًا للتنبؤ بالطول تقتصر على الانحيازات القياسية وتفتقر إلى الأساس النظري.
3. الإفراط في التقييد: التقنيات التي تفرض الثبات التوزيعي (مثل Maximum Mean Discrepancy) تخاطر بتشويه مشهد المكافأة، مما يؤدي إلى الانهيار الوظيفي.
4. الافتقار إلى القيود الصريحة: طرق الضغط العامة مثل "عنق زجاجة المعلومات" (Information Bottleneck - IB) لا تقيد سمات الانحياز صراحة، مما يفشل في ضمان إزالة الانحياز.

المنهجية: DIR (إزالة الانحياز عبر تحسين المعلومات لنماذج المكافأة)

يقترح المؤلفون DIR، وهو إطار عمل قائم على نظرية المعلومات مستوحى من مبدأ عنق زجاجة المعلومات (IB). الهدف الجوهري هو تعظيم المعلومات المتبادلة (MI) بين تنبؤ نموذج المكافأة والتفضيل البشري الحقيقي (جودة المحتوى) مع تقليل المعلومات المتبادلة بين تنبؤ النموذج وسمات الانحياز غير ذات الصلة.

الصيغة النظرية

يتم تعريف هدف التحسين كالتالي:
$$\max_{\phi} I(1_{\mathbf{y} \succ \bar{\mathbf{y}}}; \mathbf{x}, \mathbf{y}, \bar{\mathbf{y}}) - \lambda \cdot I(1_{\mathbf{y} \succ \bar{\mathbf{y}}}; \mathbf{b})$$
حيث أن:

• $1_{\mathbf{y} \succ \bar{\mathbf{y}}}$ هي تسمية التفضيل.
• $\mathbf{x}, \mathbf{y}, \bar{\mathbf{y}}$ تمثل الزوج (المطالبة والاستجابة).
• $\mathbf{b}$ هي سمة الانحياز (مثل فرق الطول، أو مؤشر التملق).
• $\lambda$ هو معامل لضبط التوازن بين تعلم التفضيل وإزالة الانحياز.

التقدير عبر الحدود المتغيرة (Variational Bounds)

بما أن حساب المعلومات المتبادلة (MI) بدقة أمر مستعصٍ حسابيًا، يستخدم DIR حدودًا متغيرة:

1. حد التفضيل (التعظيم): يتم تقريبه باستخدام حد Barber-Agakov (BA) السفلي. يوضح المؤلفون أن تعظيم هذا الحد السفلي يكافئ تقليل خسارة ترتيب Bradley-Terry القياسية، مما يضمن أن نموذج المكافأة يتعلم إشارات التفضيل الحقيقية.
2. حد إزالة الانحياز (التقليل): يتم تقريبه باستخدام الحد العلوي لنسبة السجل التباينية (CLUB). تقوم الطريقة بتقليل الحد العلوي للمعلومات المتبادلة بين التمثيلات المخفية لنموذج المكافأة ($\mathbf{H}$) وسمة الانحياز ($\mathbf{b}$).

تفاصيل التنفيذ

• سمات الانحياز النسبية: بدلاً من التنبؤ بالقيم المطلقة (مثل عدد الرموز بالضبط)، يستخدم DIR سمات انحياز نسبية (مثل ما إذا كانت الاستجابة المختارة أطول من الاستجابة المرفوضة). هذا يحول تقدير الانحياز إلى مهمة تصنيف ثنائي.
• البنية الهيكلية: ينتج العمود الفقري لنموذج المكافأة (Transformer) حالات مخفية $\mathbf{H}$. وتقوم شبكة متغيرة خفيفة الوزن $q_\psi(\mathbf{b}|\mathbf{H})$ بتقدير الانحياز.
• حلقة التدريب: تستخدم الطريقة عملية تدريب تكرارية (الخوارزمية 1) حيث يتم تحديث مقدر الانحياز ($q_\psi$) ونموذج المكافأة ($r_\phi$) بالتناوب داخل كل دفعة (batch) لضمان بقاء الحد العلوي للمعلومات المتبادلة دقيقًا.
• دالة الخسارة: تجمع الخسارة الإجمالية بين خسارة التفضيل وخسارة إزالة الانحياز:
  $$\mathcal{L}_{Total} = \mathcal{L}_{Preference} + \lambda \cdot \mathcal{L}_{Debiasing}$$

المساهمات الرئيسية

1. إطار عمل مبتكر: تقديم DIR، وهو أول طريقة تطبق مبادئ نظرية المعلومات خصيصًا لإزالة أنواع متنوعة من الانحيازات الاستقرائية في نمذجة المكافأة مع ضمانات نظرية.
2. التعامل مع اللاخطية: على عكس الطرق القائمة على معامل بيرسون، يستخدم DIR المعلومات المتبادلة لالتقاط وتخفيف الارتباطات المعقدة وغير الخطية بين سمات الانحياز ومخرجات نموذج المكافأة.
3. استراتيجية الانحياز النسبي: يسمح إدخال سمات الانحياز النسبية للطريقة بالتعامل مع أنواع الانحياز المختلفة (الطول، التملق، التنسيق) بشكل موحد دون تشويه مشهد المكافأة الأساسي.
4. القابلية للتوسع: يتوافق الإطار مع مسارات PPO و Direct Preference Optimization (DPO).

النتائج التجريبية

قيم المؤلفون DIR عبر ثلاثة سيناريوهات انحياز: طول الاستجابة، التملق، والتنسيق، باستخدام اختبارات مثل RM-Bench، و RewardBench، و GSM8K، و MMLU، و ArenaHard.

1. إزالة انحياز الطول

• تقليل الانحياز: حقق DIR أدنى ارتباط بيرسون بين طول الاستجابة ودرجات المكافأة ($r=0.468$) مقارنة بالنماذج المرجعية مثل Skywork ($0.533$) و PoE ($0.516$).
• الأداء: حققت سياسات RLHF المدربة باستخدام نماذج مكافأة قائمة على DIR أعلى متوسط دقة (66.20) عبر عدة اختبارات، متفوقة على النماذج المرجعية القوية.
• الكفاءة: أنتجت السياسات الموجهة بواسطة DIR استجابات أقصر وأكثر إيجازًا (على سبيل المثال، 679 رمزًا مقابل 754 رمزًا للنماذج المرجعية) مع الحفاظ على معدلات الفوز أو تحسينها (معدل فوز 54.3% مقابل النموذج المرجعي).

2. إزالة انحياز التملق

• المتانة: في الاختبارات العدائية حيث تم حقن مقدمات تملقية، حافظ DIR على أعلى دقة (تصل إلى 93.6% في إعدادات معينة) مقارنة بنماذج BT و InfoRM القياسية، مما أظهر قدرة فائقة على الصمود أمام الإشارات "المداهنة ولكن الخاطئة".

3. إزالة انحياز التنسيق

• التحييد: نجح DIR في تحييد انحياز التنسيق، حيث قلل معدلات الفوز للتنسيقات التي تستخدم الخط العريض أو القوائم إلى حد قريب من العتبة المثالية 50% (51.2% و 52.0%)، متفوقًا على طريقة فصل التنسيق (FD) في مجموعات فرعية صعبة من RewardBench.

4. تعدد الانحيازات المتزامنة

• تم توسيع DIR للتعامل مع انحيازات الطول والتملق في آن واحد. حقق النموذج المشترك أفضل أداء إجمالي على RM-Bench مع تقليل كلا الانحيازين بفعالية، مما يشير إلى أن إزالة الانحياز المتعدد يؤدي إلى نموذج مكافأة أكثر توازنًا.

الكفاءة

• التكلفة الحسابية: لا يتسبب DIR إلا في زيادة طفيفة في استخدام ذاكرة وحدة معالجة الرسومات (56.88 جيجابايت مقابل 55.08 جيجابايت للنموذج المرجعي) ووقت التدريب (67.09 دقيقة مقابل 50.46 دقيقة)، مما يجعله حلاً عمليًا.

الأهمية والادعاءات

يزعم البحث أن DIR يقدم حلاً مبدئيًا، وقابلاً للتوسع، وواسع النطاق لبناء أنظمة مواءمة أكثر موثوقية. من خلال فصل إشارات التفضيل البشري الحقيقية عن الارتباطات الزائفة، لا يقلل DIR من نطاق واسع من الانحيازات فحسب، بل يعزز أيضًا جودة التعميم والمواءمة لنماذج المكافأة. ويفترض المؤلفون أن هذا يؤدي إلى أداء أكثر قوة في عمليات RLHF، مما يمهد الطريق لأنظمة ذكاء اصطناعي أكثر اتساقًا مع القيم البشرية وأقل عرضة لاختراق المكافأة. تُقدم الطريقة كخطوة مهمة للأمام مقارنة بتقنيات إزالة الانحياز الخطية أو القائمة على الاستدلال (Heuristic-based).