ملخص تقني: عندما تفشل مكاسب التوزيع الداخلي: تقييم نماذج المكافأة من الضعيف إلى القوي تحت تحول التفضيل

1. تعريف المشكلة

تتناول الورقة البحثية فجوة حرجة في التعميم من الضعيف إلى القوي (W2S) للإشراف القابل للتوسع. بينما تهدف أطر عمل W2S إلى تدريب نموذج طالب أقوى باستخدام تسميات من معلم أضعف لاستخراج قدرات تتجاوز أداء المعلم نفسه، فإن التقييمات الحالية تعتمد عادةً على توزيعات متطابقة في التدريب والاختبار.

يجادل المؤلفون بأن هذا الإعداد يبالغ في تقدير موثوقية المحاذاة (alignment) في النشر الواقعي. وتحديداً، يبحثون في تعلم التفضيل (W2S) تحت تحول التوزيع الصفري (zero-shot distribution shift). تكمن المشكلة الجوهرية في أن الطلاب الأقوياء الذين تم تدريبهم على تسميات تفضيل ضعيفة من نطاق مصدر غالباً ما يبدون ناجحين في التوزيع الداخلي (ID)، لكنهم يفشلون في نقل سلوك المحاذاة الذي تعلموه إلى نطاقات مستهدفة غير مرئية (خارج التوزيع، OOD).

تحدد الورقة نمط فشل محدد: الفشل التمثيلي (representational failure). يمكن للضبط الدقيق الخاضع لإشراف ضعيف أن يسحب التمثيلات الداخلية للنموذج القوي نحو سمات (artifacts) خاصة بنطاق المصدر، بدلاً من الحفاظ على تمثيلات تفضيل قابلة للنقل على نطاق واسع. ونتيجة لذلك، يتناسب النموذج مع بيانات المصدر ولكنه يفقد القدرة على التعميم.

2. المنهجية: تثبيت التمثيل (ANCHOR)

للحد من الانجراف التمثيلي، يقترح المؤلفون تثبيت التمثيل (ANCHOR)، وهو تقنية تنظيم مصممة لتقييد النموذج الطالب أثناء الضبط الدقيق الخاضع لإشراف ضعيف.

الآلية الجوهرية

يعزز ANCHOR هدف تعلم التفضيل القياسي (W2S) بمنظم يحافظ على الحالات المخفية للطالب قريبة من نموذج مرجعي مسبق التجهيز ومجمد (يتم تهيئته من نفس نقطة التفتيش المستخدمة للطالب قبل الضبط الدقيق).

يجمع هدف التدريب بين حدين:

1. خسارة التفضيل الضعيفة ($L_{w2s}$): خسارة برادلي-تيري (Bradley-Terry) القياسية حيث يتعلم الطالب القوي مطابقة احتمالات التفضيل الناعمة ($q_i$) التي يولدها المعلم الضعيف.
2. خسارة التثبيت ($L_{anchor}$): متوسط مربع الخطأ (MSE) المقنع بين الحالات المخفية للطالب القابل للتدريب والنموذج المرجعي المجمد. يتم تطبيق هذه الخسارة فقط على رموز الاستجابة (response tokens)، مع استبعاد رموز المطالبة (prompt) والحشو (padding).

إجمالي الخسارة للعينة $i$ هو:
$$L(i) = L_{w2s}(i) + \lambda L_{anchor}(i)$$
حيث يتحكم $\lambda$ في قوة الحفاظ على التمثيل.

المتغيرات

يقيم المؤلفون متغيرين بناءً على الطبقات التي يتم تثبيتها:

• تثبيت الطبقة الأخيرة (الافتراضي): يطبق الخسارة على طبقة الترانسفورمر الأخيرة. هذا فعال حوسبياً ويقوم بتنظيم التمثيل المستخدم لرأس المكافأة بشكل مباشر.
• تثبيت الطبقة الوسطى: يطبق الخسارة على الطبقات المتوسطة (على سبيل المثال، 50% و75% من الطبقات) للحفاظ على الميزات العامة مع منح الطبقات النهائية مرونة أكبر.

3. بروتوكول التقييم والمقاييس

تقدم الورقة بروتوكول تقييم تحول نطاق التفضيل الصفري. بدلاً من التقسيمات المحتجزة القياسية، يتم تدريب النماذج على مجموعة بيانات واحدة (نطاق المصدر) ويتم تقييمها على:

• التوزيع الداخلي (ID): تقسيم اختبار محتجز من نفس مجموعة بيانات المصدر.
• خارج التوزيع (OOD): تقسيمات اختبار من مجموعات بيانات مختلفة ضمن نفس فئة التفضيل الواسعة (على سبيل المثال، التدريب على HelpSteer3، والاختبار على Anthropic Helpful أو UltraFeedback).

لقياس الأداء، يقترح المؤلفون ثلاثة مقاييس واعية بالانتقال (Transfer-Aware Metrics):

1. المكسب الخام من الضعيف إلى القوي (WRG): يقيس التحسن في التوزيع الداخلي (ID) مقارنة بالمعلم الضعيف ($Acc_{student} - Acc_{teacher}$ على المصدر).
2. المكسب المطلق خارج التوزيع (AOG): يقيس الانتقال إلى نطاق مستهدف ($Acc_{student} - Acc_{teacher}$ على الهدف).
3. درجة الانتقال الصافية (NTS): مقياس مركب يعاقب التراجع في نطاق المصدر.
   $$NTS = AOG - \max(0, Acc_{teacher}^{ID} - Acc_{student}^{ID})$$
   هذا يضمن أن المكاسب في النطاقات خارج التوزيع لا تتحقق على حساب الموثوقية في نطاق المصدر.

4. النتائج الرئيسية

أُجريت التجارب عبر فئتي تفضيل (المساعدة/Helpful والأمان/Harmless) وعائلتي نماذج (Llama وQwen)، باستخدام مجموعات بيانات مثل HelpSteer3، وAnthropic Helpful/Harmless، وUltraFeedback، وPKU-SafeRLHF، وRAIL.

• نجاح التوزيع الداخلي يحجب فشل الخارج عن التوزيع: غالباً ما تحقق الطرق الأساسية (النماذج الضعيفة البسيطة وW2S القائمة على الثقة) أداءً قوياً في التوزيع الداخلي (WRG مرتفع) ولكنها تظهر انخفاضاً كبيراً في الأداء أو انتقالاً سلبياً في حالات OOD. على سبيل المثال، أظهر نموذج "Naive" مدرب على HelpSteer3 انخفاضاً في الدقة بمقدار 20 نقطة عند تقييمه على Anthropic Helpful.
• مقايضة SEAM: أظهر خط الأساس SEAM مقايضة حادة، حيث حقق مكاسب تنافسية في OOD ولكن غالباً على حساب تدهور شديد في ID (WRG سالب).
• أداء ANCHOR: حقق ANCHOR باستمرار النتائج الأكثر توازناً. فقد حافظ على أداء تنافسي في ID مع تحسين كبير في انتقال OOD.
  • في إعداد Llama/Helpful، حسن ANCHOR قيمة AOG في Anthropic Helpful من 0.60 (النموذج البسيط) إلى 4.41.
  • حقق أعلى درجات صافية للانتقال (NTS) في معظم الإعدادات، مما يثبت نجاحه في الحفاظ على موثوقية نطاق المصدر مع تمكين التعميم عبر النطاقات.
• نتائج الدراسة الاستقصائية (Ablation):
  • قوة التثبيت ($\lambda$): وفرت قوة التثبيت المتوسطة (على سبيل المثال، $\lambda = 10^{-4}$) أفضل توازن. القيود القوية أعاقت التكيف مع الإشارة الضعيفة، بينما فشلت القيود الأضعف في منع الانجراف.
  • اختيار الطبقة: قدم "تثبيت الطبقة الأخيرة" توازناً عاماً أفضل من "تثبيت الطبقة الوسطى"، مما يشير إلى أن تنظيم التمثيل النهائي كافٍ وأكثر كفاءة لهذه المهمة.

5. الأهمية والادعاءات

تدعي الورقة ثلاث مساهمات رئيسية:

1. بروتوكول التقييم: وضعت بروتوكولاً صارماً لتحول نطاق التفضيل الصفري، جادلة بأن دقة ID وحدها غير كافية لتقييم نماذج مكافأة W2S.
2. الدليل التجريبي: أثبتت أن طرق W2S الحالية هشة تحت تحول التوزيع، وكشفت أن مكاسب التوزيع الداخلي قد تبالغ في تقدير موثوقية المحاذاة.
3. الطريقة القوية: قدمت ANCHOR، وهي طريقة تنظيم بسيطة تحد بفعالية من الانجراف التمثيلي. ويدعي المؤلفون أن هذا يوفر مساراً عملياً نحو انتقال تفضيل أكثر قوة دون تغيير بنية الاستدلال.

يخلص المؤلفون إلى أن المحاذاة القوية لـ W2S يجب تقييمها ليس فقط من حيث ما إذا كانت النماذج القوية تتعلم من الإشراف الضعيف، بل من حيث ما إذا كانت دالة المكافأة المتعلمة تظل موثوقة خارج نطاق التدريب المحدد.

6. القيود

يقر المؤلفون بعدة قيود:

• مقاييس الوكيل غير المتصلة (Offline Proxy Metrics): يعتمد التقييم على دقة الأزواج (pairwise accuracy) غير المتصلة، والتي قد لا تستوعب تماماً الفروق الدقيقة في النشر اللاحق (مثل اختيار أفضل n، أو RLHF عبر الإنترنت، أو جودة التوليد المفتوح).
• التكلفة الحوسبية: بينما يظل الاستدماء معيارياً، يتطلب التدريب تمريرة أمامية إضافية عبر النموذج المرجعي المجمد، مما يزيد من متطلبات ذاكرة الفيديو (VRAM) والوقت.
• النطاق: تقتقت التجارب على نطاقات محددة للمساعدة/الأمان ونطاقات نماذج معينة؛ وهناك حاجة لتقييم أوسع عبر مجالات مهام متنوعة وعائلات نماذج أكبر.