ملخص تقني: ما وراء التعلم التعزيزي من التغذية الراجعة البشرية (RLHF): إطار نظري موحد للمحاذاة

بيان المشكلة

أصبح التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) هو النموذج المهيمن لمحاذاة النماذج اللغوية الكبيرة (LLMs) مع التفضيلات البشرية. ومع ذلك، تحدد الورقة فجوات نظرية كبيرة في الفهم الحالي لـ RLHF وطرق المحاذاة ذات الصلين:

1. الافتقار إلى التبرير: غالبًا ما تعامل النظريات الحالية هدف RLHF كتحصيل حاصل (التقارب إلى النسخة السكانية للهدف نفسه) بدلاً من تقديم تبرير من منظور نظرية التعلم يوضح سبب تقاربه إلى النموذج اللغوي المستهدف.
2. الأطر غير المتوافقة: يتم تحليل الطرق المختلفة (مثل DPO وRLHF وREBEL) تحت أطر نظرية متباينة، مما يمنع المقارنة المباشرة لضمانات التقارب الخاصة بها.
3. معضلة RLHF: يواجه هدف RLHF القياسي معضلة تقاربية فيما يتعلق بقوة التنظيم $\beta$. إذا ظلت $\beta$ ثابتة، فإن النموذج يعاني من نقص في الملاءمة (يبقى قريبًا جدًا من السياسة المرجعية)؛ وإذا تلاشت $\beta$ لتصل إلى الصفر مع زيادة البيانات، فقد يؤدي الحل إلى التدهور.
4. الفجوة بين التجريب والنظرية: تجريبيًا، غالبًا ما تتفوق الأهداف التي تعتمد على السياسة الحالية (on-policy) مثل RLHF على الطرق القائمة على الاحتمالية (likelihood-based) مثل تحسين التفضيل المباشر (DPO)، ومع ذلك لا تستطيع النظريات الحالية تفسير هذا التفوق لأنها تقدم ضمانات عشوائية لكل طريقة على حدة.

يقترح المؤلفون إعادة صياغة المحاذاة ليس كتعظيم للمكافأة، بل كـ تعلم توزيع من التفضيلات الزوجية. السؤال الجوهري هو: تحت أي افتراضات يمكننا اشتقاق أهداف تدريب تتقارب بشكل مثبت نحو نموذج لغوي مستهدف ($\pi^*$)؟

المنهجية

تفترض الورقة وجود نموذج لغوي مستهدف (أوراكل) $\pi^*$ وتنمذج صراحةً كيف تكشف التغذية الراجعة للتفضيلات عن معلومات حول $\pi^*$.

1. نموذج التفضيل

يفترض المؤلفون نموذج برادلي-تيري (BT) حيث يتم تحديد احتمال تفضيل الاستجابة $a$ على $b$ بمعلومية المحفز $x$ مباشرة من خلال احتمالات النموذج المستهدف، وليس من خلال دالة مكافأة خارجية:
$$P(a \succ b | x) = \frac{\pi^*(a | x)^\gamma}{\pi^*(a | x)^\gamma + \pi^*(b | x)^\gamma}$$
هنا، $\gamma > 0$ هو معلمة فائقة (hyperparameter). هذا الافتراض يعني أن نموذج التفضيل هو صراحةً نموذج لغوي، على عكس DPO الذي يعتمد على افتراض "السياسة الشاملة" لاستنتاج العلاقة بين المكافآت والنموذج اللغوي.

2. الأهداف المقترحة

بناءً على منظور تعلم التوزيع هذا، اشتق المؤلفون ثلاثة أهداف محاذاة مبدئية:

• تقدير الاحتمال الأقصى للتفضيل (PMLE):
  يعمل هذا الهدف على تعظيم الاحتمال للارتباطات الزوجية الملحوظة تحت افتراض BT، مع التنظيم بواسطة تباعد KL تجاه سياسة مرجعية $\pi_0$.
  $$L_{PMLE, \beta}(\pi) = \frac{1}{n} \sum -\ln \sigma\left(\gamma \ln \frac{\pi(a^+|x)}{\pi(a^-|x)}\right) + \beta KL(\pi \| \pi_0)$$
  على عكس DPO، الذي يقلل نسبة الاحتمال دون منظم صريح (مما قد يؤدي إلى توزيعات متدهورة)، يتضمن PMLE حدًا صريحًا لـ KL لضمان الاستقرار.

• تقطير التفضيل (Preference Distillation):
  يتبع هذا النهج تعلم نموذج مكافأة $\hat{R}$ (ما يعادل تعلم محاكي للتفضيل) ثم تقطير توزيع التفضيل هذا في النموذج اللغوي. بدلًا من استخدام خسارة المربعات (كما في REBEL)، فإنه يقلل تباعد KL بين توزيعات التفضيل الثنائية للمحاكي المتعلم والسياسة المستهدفة:
  $$L_{Distill}(\pi) = \frac{1}{n} \sum KL(\text{Bern}(P_{\hat{\pi}}(a^+ \succ a^-|x)) \| \text{Bern}(P_{\pi}(a^+ \succ a^-|x))) + \beta KL(\pi \| \pi_0)$$
  هذه الصيغة مشتقة صراحة من نموذج BT وتتجنب مشكلات التبرير الإحصائي لخسارة المربعات.

• تقليل KL العكسي (RKL):
  إدراكًا بأن الهدف هو تعلم التوزيع، يقترح المؤلفون تقليل تباعد KL العكسي $E_x[KL(\hat{\pi}(x) \| \pi^*(x))]$. وبما أن $\pi^*$ غير معروف، فإنهم يستخدمون مقدرًا $\hat{\pi}$ مشتقًا من نموذج المكافأة.
  $$L_{RKL, \beta}(\pi) = \frac{1}{n} \sum \left( -E_{a \sim \pi(x)}[\hat{R}(x, a)] - \gamma H(\pi(x)) + \beta KL(\pi(x) \| \pi_0(x)) \right)$$
  يشبه هذا الهدف عملية RLHF، ولكنه يتضمن حدًا إضافيًا للإنتروبيا ($-\gamma H(\pi(x))$). يجادل المؤلفون بأن هذا يعمل كـ "تصحيح" لـ RLHF، مما يحل المعضلة التقاربية حيث يفشل RLHF القياسي في التقارب إلى $\pi^*$ الحقيقي مع زيادة $n \to \infty$.

3. الضمانات النظرية

تقدم الورقة ضمانات تقارب غير تقاربية (non-asymptotic) بمعدل $O(1/n)$ لجميع الطرق الثلاث. وتحديدًا، يثبتون أن خطأ KL الأمامي $E_x[KL(\pi^*(x) \| \hat{\pi}(x))]$ يتقارب نحو الصفر بمعدل $O(1/n)$، حيث $n$ هو حجم مجموعة البيانات.

• PMLE وتقطير التفضيل: يحققان حدودًا تعتمد على معامل التغطية لفئة السياسة $\Pi$.
• الـ KL العكسي (RKL): يحقق حدًا أكثر إحكامًا يعتمد على معامل التغطية لفئة النموذج المستحث بالمكافأة $\mathcal{P}_\gamma(\mathcal{R})$، وهي غالبًا أصغر من $\Pi$. وهذا يفسر نظريًا لماذا تتفوق الأهداف التي تعتمد على السياسة الحالية (مثل RKL/RLHF) تجريبيًا على طرق الاحتمالية (مثل PMLE/DPO).

النتائج الرئيسية

النتائج النظرية

• تبرير RLHF: يوفر هدف RKL تبريرًا نظريًا قويًا لـ RLHF، حيث يظهر أنه حالة خاصة (عندما $\gamma \to 0$) من هدف تعلم توزيع متسق، بشرط تطبيق تصحيح الإنتروبيا.
• حل المعضلة: يوضح التحليل النظري والتجارب النموذجية (الشكل 1) أنه بينما يعاني RLHF القياسي من عدم الاتساق (التشبع عند خطأ غير صفري) مع $n \to \infty$ بسبب معضلة التنظيم، فإن طريقة RKL المقترحة تتقارب نحو النموذج المستهدف الحقيقي.
• تفوق الأساليب القائمة على السياسة الحالية: تؤكد النظرية أن KL العكسي (المشابه لـ RLHF) يتمتع بضمان تقارب متفوق مقارنة بـ PMLE (المشابه لـ DPO)، لأنه يستفيد من التعقيد الأصغر لفئة نموذج المكافأة بدلاً من فئة السياسة الكاملة.

النتائج التجريبية

أُجريت التجارب على مهمتين:

1. تلخيص TL;DR: باستخدام نماذج Pythia-2.8B و Pythia-6.9B.
   • معدلات الفوز: حققت الطرق المقترحة (PMLE، تقطير التفضيل، RKL) باستمرار معدلات فوز أعلى مقابل GPT-4 مقارنة بالنماذج المرجعية (DPO، REBEL، RLHF).
   • تباعد KL: حقق PMLE تباعد KL أقل بكثير للنموذج المرجعي مقارنة بـ DPO، مما يؤكد فائدة المنظم الصريح.
2. الدردشة العامة (UltraFeedback): باستخدام LLaMA-3-8B-Instruct.
   • تم التقييم باستخدام MT-Bench و AlpacaEval 2.0 و Arena Hard.
   • تفوق PMLE وتقطير التفضيل على DPO و REBEL في معظم المعايير، وأظهرا بشكل خاص مكاسب قوية في AlpacaEval 2.0 و Arena Hard.

الأهمية والادعاءات

تدعي الورقة أنها تقدم أول إطار نظري موحد للمحاذاة يعامل المشكلة كتعلم توزيع من التفضيلات الزوجية. وتتمثل مساهماتها الرئيسية في:

1. منظور موحد: توحد الطرق الموجودة (DPO، RLHF، REBEL) تحت افتراض احتمالي واحد، مما يجعل افتراضاتها الخفية صريحة.
2. تأسيس نظري: تقدم ضمانات تقارب غير تقاربية صارمة بمعدل $O(1/n)$ لتعلم توزيع مستهدف من التغذية الراجعة الزوجية، وهي نتيجة لم تكن متاحة سابقًا لهذا الإعداد.
3. تفسير الاتجاهات التجريبية: تقدم أول تأكيد نظري للملاحظة التجريبية التي مفادها أن الأهداف القائمة على السياسة الحالية (RLHF) غالبًا ما تتفوق على أهداف الاحتمالية (DPO)، وتعزو ذلك إلى خصائص التغطية لنموذج المكافأة مقابل فئة السياسة.
4. تصحيح RLHF: تحدد خللًا محددًا في هدف RLHF القياسي (نقص حد الإنتروبيا الذي يؤدي إلى عدم الاتساق) وتقترح هدفًا مصححًا (RKL) يحتفظ بالمزايا العملية لـ RLHF مع ضمان الاتساق النظري.

يخلص المؤلفون إلى أنه بينما تتنافس أساليبهم مع النماذج المرجعية القوية، فإن القيمة الأساسية تكمن في الإطار النظري الذي يشرح لماذا تعمل هذه الأساليب وكيف يمكن تحسينها. وتشمل الأعمال المستقبلية المقترحة استكشاف أهداف البحث عن النمط (mode-seeking) مقابل أهداف تغطية النمط (mode-covering) وتوسيع الإطار ليشمل تباعدات بديلة.