Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges

إليك ملخص تقني مفصل لورقة البحث بعنوان "النماذج التقييمية كسطح هجوم: الانحراف الخفي في تفضيلات الحكام من النماذج اللغوية الكبيرة".

1. بيان المشكلة

تحدد الورقة ثغرة أمنية حرجة وغير معترف بها كفاية في مسارات محاذاة النماذج اللغوية الكبيرة (LLMs): الانحراف في التفضيلات الناجم عن النماذج التقييمية (RIPD).

• السياق: تعتمد عمليات محاذاة النماذج اللغوية الكبيرة الحديثة (مثل RLHF و RLAIF) بشكل متزايد على أنظمة "النموذج اللغوي كحكم" (LLM-as-a-Judge). تقوم هذه الحكام بتقييم استجابات النماذج بناءً على نماذج تقييمية (Rubrics) ذات لغة طبيعية (معايير التقييم). ولضمان الجودة، يتم تنقيح هذه النماذج والتحقق من صحتها مقابل مجموعات بيانات مرجعية (Benchmarks) قياسية (مثل MT-Bench و Chatbot Arena).
• الثغرة الأمنية: يوضح المؤلفون أن التعديلات المعتمدة على اللغة الطبيعية لهذه النماذج التقييمية يمكن صياغتها بحيث تحافظ على الأداء في مجموعة البيانات المرجعية (Benchmark)، بينما تسبب في الوقت نفسه تدهوراً نظامياً وتوجيهياً في تفضيلات الحكم في المجالات المستهدفة (سيناريوهات غير مرئية أو سيناريوهات واقعية محددة).
• التهديد: يمكن للمهاجم (أو حتى مهندس حسن النية ولكنه مضلل) تعديل النموذج التقييمي لإعادة وزن معايير التقييم بشكل خفي. ولأن هذا النموذج التقييم المعدل يجتاز عملية التحقق من المرجعية (حيث يظل الاتفاق مع العلامات البشرية مرتفعاً)، يتم قبول التعديل. ومع ذلك، في البيانات المستهدفة، ينحرف سلوك الحكم بشكل كبير بعيداً عن القصد البشري. هذا الانحراف "خفي" لأنه متسق وتوجيهي، وليس مجرد ضجيج عشوائي، مما يجعل اكتشافه صعباً عبر المقاييس الإجمالية أو الفحص العشوائي.

2. المنهجية

يصيغ المؤلفون نموذج التهديد ويقترحون "هجوماً قائماً على النموذج التقييمي" لاستغلال هذه الثغرة.

أ. صياغة المشكلة

• الإعداد: يقوم نموذج حكم ثابت $J_\theta$ بتقييم أزواج $(y_1, y_2)$ بناءً على نموذج تقييمي $R$.
• المجالات: يتم تقسيم مجموعة البيانات إلى مجال مرجعي (Benchmark Domain) ($D_{bench}$) يُستخدم للتحقق، ومجال مستهدف (Target Domain) ($D_{target}$) حيث يتم إحداث الانحراف.
• تعريف RIPD: يعد تعديل النموذج التقييمي $R \to R'$ حالة من حالات RIPD إذا تحقق ما يلي:
  1. الحفاظ على المرجعية: يظل الاتفاق مع الإشارة المرجعية في $D_{bench}$ ضمن نطاق سماح صغير $\epsilon$.
  2. التدهور في المجال المستهدف: ينخفض الاتفاق مع الإشارة المرجعية في $D_{target}$ بشكل كبير (بفارق $\tau$).

ب. آلية الهجوم: البحث عن نموذج تقييمي منحاز

يقترح المؤلفون خوارزمية بحث تطورية لإيجية نماذج تقييمية منحازة دون الوصول إلى أوزان النموذج (هجوم الصندوق الأسود):

1. البحث القائم على الجمهرة (Population-Based Search): بدءاً من مجموعة أولية من النماذج التقييمية، يقوم النظام بتوليد نسخ متغيرة من هذه النماذج بشكل تكراري.
2. التحسين غير المتماثل (Asymmetric Refinement): هذا هو الابتكار الجوهري. يستخدم البحث إشارتين متمايزتين:
   • أخطاء المرجعية: الحالات التي يختلف فيها الحكم مع المرجع البشري في $D_{bench}$. يتم تحسين النموذج التقييمي لتصحيح هذه الأخطاء (للحفاظ على أداء المرجعية).
   • "أخطاء" المجال المستهدف: الحالات التي يتفق فيها الحكم مع المرجع البشري في $D_{target}$. يتم تحسين النموذج التقييمي لعكس هذه الأحكام (لإحداث الانحراف).
   • الأمر الجوهري: نموذج التحسين لا يدرك القصد العدائي؛ بل يُطلب منه ببساطة "تصحيح الأخطاء"، ولكن تعريف "الخطأ" يتم التلاعب به ليشمل الأمثلة المستهدفة التي تم الحكم عليها بشكل صحيح.
3. الاختيار: يتم اختيار النموذج التقييمي النهائي من بين المرشحين الذين يجتازون قيد المرجعية ولكنهم يعظمون انحراف التفضيل في المجال المستهدف.

ج. الانتشار إلى السياسة (Policy)

تتبع الدراسة كيفية انتقال هذا الانحراف إلى المراحل اللاحقة:

• يقوم الحكم المنحاز بتوليد تسميات تفضيلية ($D_{R'}$) للمجال المستهدف.
• تُستخدم هذه التسميات لتدريب السياسة عبر تحسين التفضيل المباشر (DPO) أو RLAIF.
• تستوعب السياسة الناتجة ($\pi_{bias}$) التفضيلات المنحازة، مما يؤدي إلى انحراف سلوكي مستمر حتى في المجالات التي لم تستهدف تعديل النموذج التقييمي بشكل مباشر.

3. المساهمات الرئيسية

1. تحديد RIPD: تحدد الورقة وتصيغ نمط فشل جديد حيث تؤدي تعديلات النماذج التقييمية إلى فصل أداء المرجعية عن السلوك في المجال المستهدف.
2. إثبات قابلية الاستغلال: يوضح المؤلفون أن تعديلات النماذج التقييمية "السليمة" يمكن تسليحها لتقليل دقة المجال المستهدف بنسبة تصل إلى 9.5% (في الفائدة/Helpfulness) و 27.9% (في السلامة/Harmlessness) مع الحفاظ على درجات المرجعية أو حتى تحسينها.
3. إثبات الانتشار: يثبتون أن هذا الانحراف لا يتوقف عند مرحلة التقييم؛ بل ينتقل عبر مسار المحاذاة، مما يتسبب في جعل السياسات المدربة تظهر انحرافاً سلوكياً منهجياً.
4. الخفاء: الهجوم قوي ضد الدفاعات القياسية. فالنماذج التقييمية المعدلة غالباً ما تُصنف على أنها أفضل أو مساوية للنماذج الأصلية من قبل مقيمين مستقلين (نماذج لغوية أخرى)، وهي تجتاز معايير التحقق المرجعية القياسية.

4. النتائج التجريبية

استخدمت التجارب خمس مجموعات بيانات (UltraFeedback, ChatbotArena, RMB, Anthropic hh-rlhf, PKU-SafeRLHF) وعدة نماذج حكم (Qwen3-14B, Gemma-3-27B, DeepSeek-V3).

• الفجوة بين المرجعية والمستهدف:
  • أنتج "البحث عن النموذج التقييمي المنحاز" باستمرار أكبر فجوة ($\Delta$) بين دقة المرجعية ودقة الهدف.
  • مثال (السلامة، Qwen3-14B): ارتفعت دقة المرجعية من 0.686 إلى 0.706، بينما انهارت دقة الهدف من 0.826 إلى 0.547.
• قابلية الانتقال بين النماذج: النماذج التقييمية التي تم تحسينها على حكم واحد (مثل Qwen3) أحدثت انحرافاً مشابهاً عند تطبيقها على حكام آخرين (Gemma, DeepSeek)، مما يثبت أن الانحراف مدفوع بمنطق النموذج التقييمي وليس بخصائص فريدة للنموذب.
• التحقق من الجودة: أظهرت المقارنات الزوجية العمياء من قبل نموذج لغوي مستقل أن النماذج التقييمية المنحازة كانت غالباً مفضلة على النماذج الأصلية (معدل فوز 1.00 في بعض الحالات)، مما يؤكد أن الهجوم ليس ناتجاً عن "سوء كتابة" النماذج التقييمية بل عن إعادة وزن دقيقة للمعايير.
• انحراف السياسة:
  • السياسات المدربة على تسميات منحازة ($\pi_{bias}$) كانت أقل تفضيلاً بشكل ملحوظ من تلك المدربة على تسميات أصلية ($\pi_{seed}$) من قبل حكام طرف ثالث (معدلات فوز ~40% مقابل 50%+).
  • استمر هذا التدهور حتى عند التدريب على بيانات مختلطة (مرجعية + مستهدفة)، مما يشير إلى أن استراتيجيات خلط البيانات القياسية لا يمكنها بسهولة تخفيف الانحياز.

5. الأهمية والآثار المترتبة

• المخاطر على مستوى النظام: تنقل الورقة التركيز من "موثوقية المقيم" إلى "أمن واجهة التقييم". فهي تكشف أن النموذج التقييمي نفسه هو سطح تحكم عالي المستوى يمكن التلاعب به لتغيير سلوك النموذج دون المساس بأوزان النموذج أو بيانات التدريب مباشرة.
• محدودية المراجع (Benchmarks): تتحدى هذه النتائج الافتراض بأن الأداء القوي في المراجع يضمن التعميم. يمكن للنموذج التقييمي أن يكون "آمناً بالنسبة للمرجعية" ولكنه "خطر بالنسبة للمجال المستهدف".
• توصيات الدفاع:
  • يجب التعامل مع تحسين النماذج التقييمية كعنصر حرج في مسار المحاذاة، وليس مجرد مواصفات ثابتة.
  • يجب أن يتجاوز التحقق المقاييس الإجمالية للمرجعية ليشمل اختبارات متنوعة للمجالات المستهدفة خارج التوزيع (out-of-distribution).
  • تحتاج أنظمة المحاذاة المستقبلية إلى آليات للكشف عن "الانحراف التوجيهي" في منطق النماذج التقييمية، وليس فقط انخفاض الدقة.

في الختام، تعمل هذه الورقة كتحذير من أن الواجهة اللغوية الطبيعية المستخدمة لتوجيه الحكام من النماذج اللغوية الكبيرة هي سطح هجوم هش وقابل للتلاعب، قادر على إفساد محاذاة السياسات البرمجية اللاحقة بشكل صامت.