ملخص تقني: التعلم البايزي للتفضيلات لنماذج المكافأة القابلة للتوجيه وقت الاختبار

بيان المشكلة

تعد نماذج المكافأة (RMs) مركزية في مواءمة النماذج اللغوية مع التفضيلات البشرية عبر التعلم المعزز من التغذية الراجعة البشرية (RLHF). تقليديًا، يتم تدريب نماذج تصنيف المكافأة كمقدرات ثابتة لمعلمات نموذج برادلي-تيلي (BT) باستخدام مجموعة بيانات ثابتة. وبمجرد تدريبها، تفتقر هذه النماذج إلى القدرة على التكيف؛ إذ لا يمكنها التكيف مع توزيعات التفضيل غير المرئية أو المقايضات الديناميكية (مثل الموازنة بين الفائدة والأمان) دون إعادة تدريب. علاوة على ذلك، فإن نماذج تصنيف المكافأة القياسية عرضة لـ "التحسين المفرط" (over-optimization)، حيث تتقارب احتمالات التفضيل نحو 1، مما يؤدي إلى نقاط مثلى محلية تفشل في استيعاب التعقيد الحقيقي للتفضيلات البشرية. وبينما توفر نهج "النموذج اللغوي الكبير كحكم" (LLM-as-a-Judge) مرونة، إلا أنها غالبًا ما تعتمد على نماذج مملوكة ذات تكاليف حوسبية عالية. تعالج الورقة البحثية الحاجة إلى نموذج مكافأة قائم على التصنيف يكون فعالًا ويظل قابلًا للتكيف في وقت الاختبار ويتجنب التحسين المفرط.

المنهجية: نمذجة المكافأة السياقية المتغيرة (ICRM)

يقترح المؤلفون نمذجة المكافأة السياقية المتغيرة (ICRM)، وهو إطار عمل بايزي يعامل نمذجة المكافأة كاستدلال متغير مدمج (amortized variational inference) على احتمال تفضيل كامن.

الصياغة الجوهرية

1. تعريف المتغير الكامن: يقدم النموذج متغيرًا عشوائيًا كامنًا $z \in [0, 1]$ يمثل احتمال تفضيل الاستجابة المختارة $y_w$ على الاستجابة المرفوضة $y_l$ بناءً على المحفز $x$ ومجموعة من الأمثلة السياقية $C$.
2. التوزيع القبلي والبعدي لبيتا (Beta Prior and Posterior):
   • تم تخصيص نموذج BT لـ $N=2$ (زوج واحد)، حيث يتبع احتمالية نتيجة التفضيل توزيع بيرنولي معلم بـ $z$.
   • يتم وضع توزيع بيتا قبلي $p(z) = \text{Beta}(\alpha_0, \beta_0)$ على $z$. وعادة ما يستخدم المؤلفون توزيعًا منتظمًا $(\alpha_0, \beta_0) = (1, 1)$ لتمثيل نقطة بداية غير معلوماتية.
   • يتم تمثيل التوزيع البعدي التقريبي $q_\theta(z | x, y_w, y_l, C)$ بواسطة شبكة عصبية ذات رأس إسقاط ثنائي الأبعاد، والتي تخرج درجة المنفعة $u_\theta$ ودرجة الثقة (الدليل) $s_\theta$.
   • يتم إعادة تمثيل التوزيع البعدي كـ $\text{Beta}(\alpha_q, \beta_q)$ حيث:
     • $\mu = \sigma(u_w - u_l)$ يمثل متوسط التوزيع البعدي (احتمال التفضيل).
     • $\tau = \text{Softplus}(s_w) + \text{Softplus}(s_l) + 1$ يمثل التركيز (الثقة).
     • $\alpha_q = \mu\tau$ و $\beta_q = (1-\mu)\tau$.

هدف التعلم

يتم تدريب النموذج عن طريق تعظيم الحد الأدنى للاحتمال المتغير (ELBO)، وتقليل خسارة الحد الأدنى للاحتمال المتواجد السالب:
$$\mathcal{L}_{ICRM} = -\mathbb{E}_{q_\theta}[\log z] + \lambda(N) D_{KL}(q_\theta(z|\cdot) \parallel p(z))$$

• حد إعادة البناء (Reconstruction Term): يقيس الحد الأول مدى قدرة التوزيع البعدي على تفسير التفضيل الملحوظ. بالنسبة لتوزيع بيتا، لهذا الحد صيغة مغلقة تتضمن دالة ديجاما $\psi$. تقليل هذا الحد يدفع $\mu$ نحو 1 للاستجابة المختارة.
• حد التنظيم (Regularization Term): يقيس الحد الثاني تباعد KL بين التوزيع البعدي المتعلم والتوزيع القبلي الثابت. المعلم الفائق $\lambda(N)$ هو دالة متناقصة رتيبًا مع عدد الأمثلة السياقية $N$.
  • عندما يكون $N$ صغيرًا، يكون $\lambda(N)$ كبيرًا، مما يجبر التوزيع البعدي على البقاء قريبًا من التوزيع القبلي (ثقة منخفضة).
  • مع زيادة $N$، يتناقص $\lambda(N)$، مما يسمح لحد إعادة البناء بالهيمنة ويسمح للنموذج بتكوين توزيع بعدي واثق ومدفوع بالبيانات.

الضمانات النظرية

يثبت المؤلفون أن هدف تنظيم KL يمنع نمط فشل "التحسين المفرط" الشائع في نماذج BT القياسية.

• التمهيدية 3.1: مع اقتراب احتمال التفضيل $\mu \to 1$، يتم تقييد تدرج الخسارة بالنسبة لدرجة المنفعة بعامل يتناسب مع $1/\epsilon$ (حيث $\epsilon = 1-\mu$)، مما يمنع التعظيم غير المنضبط.
• النظرية 3.2: يُضمن أن المقلل العالمي لدالة الخسية يقع في النطاق الداخلي ($0 < \mu^* < 1$ و $0 < \tau^* < \infty$)، مما يضمن عدم انهيار النموذج إلى حلول حدودية.

المساهمات الرئيسية

1. تعلم التفضيل المتغير المبدئي: تتيح ICRM لنماذج المكافأة استنتاج التفضيلات في وقت الاختبار من أمثلة سياقية قليلة. يضمن هدف تنظيم KL الوصول إلى حد أدنى عالمي داخلي، مما يخفف من حدة التعظيم المفرط لمتوسطات التفضيل.
2. القابلية للتوجيه أحادية ومتعددة الأهداف: يسمح التصميم المتغير بكل من التوجيه الاتجاهي (التكيف مع اتجاهات تفضيل محددة) والتوجيه المعاير (ترميز درجة تحول التفضيل). كما يمتد إلى الإعدادات متعددة الأهداف، مما يسمح للنموذج بالتنقل بين المقايضات بين الأهداف المتعارضة (مثل الأمان مقابل الفائدة) عن طريق خلط الأمثلة السياقية.
3. تمثيل المكافآت القابلة للتحقق: يتم تطبيق الإطار على التعلم المعزز بالمكافآت القابلة للتحقق (RLVR). يفسر النموذج درجات المنفعة والثقة لإنشاء إشارة مكافأة تكون اتجاهية ومعايرة لمدى موثوقية السياق، متفوقًا على الموثقات القياسية ونماذج BT في مهام الاستدلال الرياضي.

النتائج التجريبية

قيم المؤلفون ICRM باستخدام خلفيات Qwen3-4B و Llama-3.2-3B مقابل خطوط الأساس بما في ذلك نماذج تصنيف المكافأة القياسية (BTRM, ArmoRM, GRM) والنماذج التوليدية (LLM-as-a-Judge, GRAM-r2).

• التوجيه المعاير: في أزواج تفضيلات المعضلات الأخلاقية، أظهرت ICRM القدرة على اتباع درجة تحول التفضيل المحددة من خلال تكوين الأمثلة السياقية. مع زيادة عدد الأمثلة ($N$) من 8 إلى 64، انخفض خطأ المعايرة المتوقع (ECE) من 0.099 إلى 0.076، متفوقًا على خط الأساس LLM-as-a-Judge.
• التوجيه الاتجاهي: في اختبارات مثل SafeRLHF و HHH-Alignment، تكيفت ICRM مع تسميات التفضيل "المعكوسة" (حيث تم وسم الاستجابات الضارة بأنها مختارة) بدقة عالية (تصل إلى 89%)، بينما فشلت الخطوط الأساسية الثابتة.
• أداء RM-Bench: أدت زيادة عدد الأمثلة السياقية إلى تحسين دقة RM-Bench بشكل كبير. مع $N=64$، حققت ICRM متوسط دقة قدره 70.8%، ارتفاعًا من 60.5% عند $N=1$، متجاوزة خط الأساس LLM-as-a-Judge (70.3%).
• مقايضات الأهداف المتعددة: في مجال سلامة RM-Bench، أنتجت ICRM حدود باريتو (Pareto frontiers) سلسة بين سلوكيات "يجب الرد" و "يجب الرفض". زاد الحجم الفائق (Hypervolume - HV) لهذه الحدود مع زيادة $N$، مما يثبت أن ICRM يمكنها توسيع منطقة المقايضة المتاحة، وهي قدرة تفتقر إليها النماذج الثابتة.
• تطبيق RLVR: في مهام الاستدلال الرياضي باستخدام مجموعة بيانات INTELLECT-MATH، حقق السياسة المدربة باستخدام مكافآت ICRM دقة بنسبة 53.8% على MATH-500، متفوقة على السياسات المدربة باستخدام موثق ذهبي (50.4%) ونموذج مكافأة BT قياسي (51.4%).

الأهمية والادعاءات

تدعي الورقة أن ICRM توفر مسارًا مؤسسًا نظريًا وفعالًا عمليًا نحو نماذج المكافأة التي يمكنها التكيف مع معايير التفضيل غير المرئية بعد التدريب. من خلال معاملة التفضيلات كاحتمالات كامنة مع توزيعات بيتا الشرطية على الأمثلة السياقية، توحد ICRM بين التنظيم البايزي والتوجيه السياقي.

يؤكد المؤلفون أن هذا النهج:

• يحل الطبيعة الثابتة لنماذج تصنيف المكافأة التقليدية دون العبء الحوسبي للنماذج التوليدية المملوكة.
• يوفر آلية مبدئية للتخفيف من التحسين المفرط للمكافأة من خلال تنظيم KL.
• يتيح التحكم الديناميكي في وقت الاختبار على المواءمة متعددة الأهداف، مما يسمح بالتنقل المستمر في فضاءات التفضيل بدلاً من نقاط التشغيل الثابتة.

تشير الدراسة إلى أن مستقبل نمذجة المكافأة يمكن أن ينتقل من مجموعات البيانات الثابتة نحو المواءمة الديناميكية القائمة على الأمثلة، رغم أن المؤلفين يشيرون إلى قيود تتعلق بطول السياق والحاجة إلى ضمانات ضد توجيه النماذج نحو السلوكيات الضارة.