How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "كيف تتعلم نماذج المكافأة العصبية الميزات لتحسين السياسة: تحليل المؤشر الواحد".

بيان المشكلة

تعد نمذجة المكافأة (RM) مكونًا حاسمًا في مواءمة النماذج اللغوية الكبيرة (على سبيل المثال، عبر RLHF)، ومع ذلك فهي تختلف جوهريًا عن التنبؤ الخاضع للإشراف القياسي. في تحسين السياسة المنظم بـ KL، يتم رفع دالة المكافأة المتعلمة $r(x)$ إلى القوة الأسية لتحديد السياسة المنشورة $\pi_\beta(dx) \propto e^{r(x)/\beta}\pi_{ref}(dx)$. وبناءً على ذلك، فإن القيمة النهائية للنظام لا تعتمد فقط على دقة التنبؤ تحت التوزيع المرجعي $\pi_{ref}$، بل تعتمد أيضًا على الأخطاء في المناطق التي تكون فيها المكافأة مرتفعة حيث تتركز السياسة. وهذا يخلق تحولًا في التوزيع ناتجًا عن السياسة.

تفترض التحليلات النظرية الحالية للمواءمة غير المتصلة (offline alignment) وجود ميزات خطية ثابتة ومعروفة، مما يتجاوز تحدي كيفية اكتشاف الشبكات العصبية للميزات ذات الصلة (تعلم الميزات) وتقريب مناظر المكافأة غير الخطية تحت مثل هذه التحولات في التوزيع. تعالج هذه الورقة هذه الفجوة من خلال تحليل كيفية تعلم شبكة عصبية ذات طبقتين للميزات وملاءمة دالة مكافأة غير خطية عندما تتضمن عملية هدف التدريب أوزانًا أسية للمكافأة.

المنهجية

يصيغ المؤلفون المشكلة ضمن إطار نموذج المؤشر الواحد الغاوسي (Gaussian Single-Index Model - SIM):

• توليد البيانات: المدخلات $x \sim \mathcal{N}(0, I_d)$، والملصقات $y = r^*(x) + \zeta$، حيث المكافأة الحقيقية هي $r^*(x) = \sigma^*(\langle \theta^*, x \rangle)$. هنا، $\theta^*$ هو اتجاه مستهدف خفي، و$\sigma^*$ هي دالة ربط حدودية محدودة، و$\zeta$ هو ضجيج محدود.
• بنية النموذج: شبكة عصبية ذات طبقتين مع $N$ من الخلايا العصبية: $r_a(x) = \frac{1}{N} \sum_{j=1}^N a_j \sigma(\langle w_j, x \rangle + b_j)$.
• بروتوكول التدريب ذو المرحلتين:
  1. استعادة الميزات (المرحلة 1): يتم تدريب اتجاهات الطبقة الأولى $w_j$ عبر خوارزمية SGD كروية عبر الإنترنت باستخدام هدف مرجح بالمكافأة مع درجة حرارة $\beta_1$. يتم تثبيت معاملات الطبقة الثانية $a$ عند التهيئة. الهدف هو محاذاة $w_j$ مع الاتجاه الخفي $\theta^*$.
  2. ملاءمة القراءة (المرحلة 2): بمجرد استعادة الميزات، يتم تجميد الاتجاهات $w_j$ والانحيازات $b_j$. يتم ملاءمة معاملات الطبقة الثانية $a$ باستخدام انحدار ريدج المرجح على عينات جديدة. يستخدم مخطط الوزن درجة حرارة النشر $\beta_2$، والتي قد تختلف عن $\beta_1$. تم تحليل مخططين للوزن:
     • الوزن بالملصق (Label-weighted): الأوزان هي $e^{y/\beta_2}$.
     • **الوزن بالبديل (Surrogate-weighted): الأوزان هي $e^{r_{proxy}(x)/\beta_2}$، حيث $r_{proxy}$ هي مكافأة بديلة مجمدة (على سبيل المثال، من مرحلة استعادة الميزات).

المساهمات والنتائج الرئيسية

1. تعلم الميزات تحت تحول التوزيع الناجم عن المكافأة
تحدد الورقة استعادة ميزات الطبقة الأولى تحت وزن المكافأة الأسي.

• تحول الإشارة: يعمل الوزن الأسي كتحويل ملصق غير خطي يغير إشارة هيرميت (Hermite signal) المتاحة للطبقة الأولى.
• تقليل الأس: يوضح التحليل أنه لأي درجة حرارة لتعلم الميزات $\beta_1$ أعلى من عتبة $O(1)$ المستقلة عن البعد، يتقلص عنق الزجاجة الفعال للتعلم من الأس المعلوماتي (Information Exponent - IE) إلى الأس التوليدي (Generative Exponent - GE).
• ضمانات الاستعادة: تحت افتراضات حدودية عليا، تستعيد نسبة ثابتة من الخلايا العصبية الاتجاه الخفي $\theta^*$ باحتمالية عالية. تعتمد تعقيدات الاستعادة الضعيفة على الأس التوليدي وتتدرج كـ $\tilde{O}(\beta_1^{2(I^*-1)} d^{(p_{gen}-1)\vee 1})$، حيث $I^*$ هي القوة المطلوبة للوصول إلى GE.
• أهمية $\beta_1$: من المهم أن الحد الأدنى المطلوب لـ $\beta_1$ مستقل عن البعد $d$. وهذا يحسن من التحليلات السابقة ذات الأسس المقطوعة (clipped-exponential) التي كانت تتطلب درجات حرارة لوغاريتمية متزايدة مع البعد، مما كان سيبطل فوائد تقليل الأس.

2. من التنبؤ المرجح إلى ندم السياسة المائلة (Tilted-Policy Regret)
ينتقل المؤلفون إلى ما وراء حدود خطأ التنبؤ القياسية لتقييم فجوة قيمة السياسة المائلة:
$$\mathcal{R} = \mathbb{E}_{x \sim \pi_{\beta^*}}[r^*(x)] - \mathbb{E}_{x \sim \hat{\pi}_{\beta_2}}[r^*(x)]$$
حيث $\pi_{\beta^*}$ هي السياسة المستهدفة و$\hat{\pi}_{\beta_2}$ هي السياسة المستحثة بواسطة المكافأة المتعلمة.

• التفكيك: يتم تفكيك الندم إلى ثلاثة حدود:
  1. عدم تطابق درجة الحرارة ($T_{temp}$): يعتمد على الفرق بين درجة الحرارة المستهدفة $\beta^*$ ودرجة حرارة النشر $\beta_2$.
  2. القطع المسقط ($T_{cut}$): ينشأ من قصر التحليل على فضاء فرعي مسقط لضمان التكامل.
  3. حد التعلم ($T_{learn}$): يعتمد على خطأ التنبؤ المرجح للمكافأة الملائمة.
• سلوك درجات الحرارة المنخفضة: تشتق الورقة حدودًا صريحة تظهر أن تباين المكافأة تحت السياسة المائلة يتدرج كـ $\beta_2^2 / (2p_{max})$، حيث $p_{max}$ هو الرتبة المحلية لـ حد أقصى للمكافأة.

3. حدود الندم المرجح بالملصق وبالبديل
تقدم الورقة حدودًا صريحة لفجوة القيمة لكلا مخططات الملاءمة:

• الحد المرجح بالملصق: يعمل كمعيار نظري. يفصل الحد بين عدم تطابق درجة الحرارة، والقطع، وتكاليف التعلم، ويربط معدلات قيمة السياسة بالشكل المحلي لـ حد أقصى المكافأة غير الخطي.
• الحد المرجح بالبديل: أكثر عملية لخطوط الإنتاج (pipelines). يقدم هذا الحد عاملًا إضافيًا $C_{0,R}(\beta_2)$، والذي يمثل نسبة الكثافة بين المقياس المستحث بالبديل والتوزيع المرجعي.
  • آلية عدم تطابق البديل: عندما يكون البديل غير مثالي، يمكن أن يكون $C_{0,R}(\beta_2)$ كبيرًا (يتدرج حدوديًا مع $1/\beta_2$). وهذا يضخم كل من أخطاء التقريب وأخطاء العينة المحدودة، مما يحدد آلية إحصائية وراء "عدم تطابق البديل" والإفراط في تحسين المكافأة.
• درجات الحرارة المقبولة: ينتج التحليل مجموعة مقبولة من درجات حرارة النشر $\beta_2$. اختيار $\beta_2$ أصغر يحسن المطابقة مع السياسة المستهدفة ولكنه يضخم تكاليف التعلم عبر الوزن الأسي. الاختيار الأمثل يوازن بين هذه المقايضات.

الأهمية والادعاءات

تدعي الورقة أنها توفر توصيفًا تأسيسيًا للتفاعل بين نمذجة المكافأة وقيمة السياسة ضمن إطار نظري مضبوط.

• تعلم الميزات: تثبت أن الوزن الأسي الناجم عن المكافأة يمكن أن يسهل تعلم الميزات عن طريق تقليل أس التعلم الفعال من IE إلى GE، بشرما كانت درجة الحرارة $\beta_1$ ليست صغيرة جدًا. وتثبت أن درجة حرارة $O(1)$ مستقلة عن البعد كافية للاستعادة، مما يصحح الافتراضات السابقة التي تطلبت درجات حرارة متزايدة مع البعد.
• مقياس التقييم: تجادل بأن الهدف الإحصائي ذي الصلة لنمذجة المكافأة هو قيمة السياسة المائلة، وليس خطأ التنبؤ تحت التوزيع المرجعي. تربط الحدود المستمدة صراحةً فجوة القيمة بالهندسة المحلية لمناظر المكافأة واختيار درجة حرارة النشر.
• مخاطر البديل: تحدد آلية إحصائية محددة حيث يمكن استخدام مكافأة بديلة للوزن (الوزن البديل) أن يضخم الأخطاء إذا كان البديل غير مثالي، مما يقدم تفسيرًا نظريًا لظواهر الإفراط في تحسين المكافأة الملاحظة في الممارسة العملية.

يؤكد المؤلفون أنه بينما يعد نموذج SIM الغاوسي تجريدًا نظريًا، إلا أنه يعزل الآليات الأساسية لتعلم الميزات وتحولات التوزيع الناجمة عن السياسة، مما يوفر أساسًا للعمل المستقبلي على توزيعات مدخلات أغنى وهياكل متعددة المؤشرات.