A Unified Perturbation Framework for Analyzing Leaderboard Stability and Manipulation

ملخص تقني: إطار عمل موحد للاضطراب لتحليل استقرار لوحات المتصدرين والتلاعب بها

بيان المشكلة

تعد لوحات المتصدرين التقييمية، مثل LMArena وChatbot Arena، ركيزة أساسية في قياس أداء النماذج اللغوية الكبيرة (LLMs) عبر تجميع التفضيلات البشرية الثنائية في تصنيفات باستخدام إطار عمل برادلي-تي (Bradley–Terry). وبينما تدفع هذه المنصات تبني النماذج والاعتراف الصناعي بها، إلا أن متانة تصنيفاتها ضد التعديلات الهيكلية للبيانات لا تزال غير مفهومة بشكل كافٍ. لقد حددت الأدبيات الحالية نقاط ضعف معزولة — مثل الحساسية لحقن الأصوات، أو تسرب البيانات، أو إزالة مقارنات محددة — ولكنها تفتقر إلى صياغة موحدة لتحليل كيفية انتشار أنواع مختلفة من الاضطرابات عبر مُقدّر التصنيف لتؤثر على أهداف متنوعة (مثل عضوية الـ top-k، والاتساق العالمي، وعدم اليقين الإحصائي). تعالج هذه الورقة السؤال التالي: كيف تؤثر التغييرات الصغيرة والهيكلية في مجموعات بيانات المقارنة على استنتاجات لوحة المتصدرين عبر أبعاد متعددة؟

المنهجية

يقترح المؤلفون إطار عمل موحد للاضطراب قائم على التأثير للوحات المتصدرين التي تعمل بنظام برادلي-تي. يتمثل جوهر الطريقة في استخدام دالات التأثير (influence functions) لتقريب التأثير المحلي لتعديل أوزان المباريات دون الحاجة إلى إعادة ضبط النموذج بالكامل لكل إجراء مرشح.

1. انتشار التأثير:
يعامل إطار العمل تعديلات مجموعة البيانات كتدخلات هيكلية على مُقدّر برادلي-تي الموزون. ويستخدم دالات التأثير لتقريب التغير في متجه المهارة الكامن $\hat{\theta}$ الناتج عن اضطراب في وزن المباراة $w_n$:
$$\frac{\partial \hat{\theta}(w)}{\partial w_n} \bigg|_{w=1} = -H^{-1} g_n$$
حيث $H$ هو مصفوفة هسيان (Hessian) للخسارة، و$g_n$ هو التدرج للمباراة $n$. يتم نشر حساسيات هذه المعلمات إلى أهداف لوحة المتصدرين القياسية $f(\hat{\theta}, w)$. وللتعامل مع الطبيعة المحدودة للاضطرابات (بدلاً من التغييرات المتناهية في الصغر)، يستخدم المؤلفون تحسين نيوتن ذو الخطوة الواحدة (1sN) لتصحيح جزئي لتغيرات الانحناء في الهدف المضطرب.

2. فضاء الإجراءات:
يحدد إطار العمل ثلاثة اضطرابات أساسية على مستوى المباراة وتدخلاً واحدًا على مستوى اللاعب:

• الحذف (Drop): إزالة مباراة موجودة ($w_n: 1 \to 0$).
• الإضافة (Add): إدخال مباراة جديدة ($w_{new}: 0 \to 1$). ينظر المؤلفون في ثلاثة فضاءات مرشحة بزيادة في مستويات التحكم: all_pairs (النتيجة ثابتة بناءً على المهارة)، وall_outcomes_weighted (النتائج موزونة باحتمالية برادلي-تي)، وall_outcomes (النتيجة محكومة بالكامل).
• القلب (Flip): عكس نتيجة مباراة موجودة ($y_n \to 1-y_n$)، ويتم نمذجته كحذف للمباراة الأصلية وإضافة المباراة المعكوسة.
• إزالة اللاعب (Player Removal): حذف جميع المباريات المرتبطة بلاعب معين، ويتم تحليلها عبر تحسين نيوتن المجموعاتي.

3. أهداف التقييم:
يقيم إطار العمل الاضطرابات مقابل ثلاث فئات متميزة من الأهداف:

• عضوية الـ top-k (هدف الفجوة): يقيس فرق المهارة ($\theta_i - \theta_j$) عبر حدود الـ top-k لتحديد ما إذا كان النموذج يدخل أو يخرج من مجموعة الـ top-k.
• اتساق التصنيف العالمي (معامل كيندال $\tau$): يستخدم بديلًا سلسًا يعتمد على دالة الـ tanh لقياس الارتباط بين التصنيف المضطرب والتصنيف المرجعي الأصلي.
• عدم اليقين الإحصائي (فترات الثقة): يستخدم تقريب معلومات محلي (معكوس معلومات فيشر) لتقدير تباين تقديرات المهارة. تشمل الأهداف تقليل عدم اليقين للاعب معين ($f_{CI-player}$) أو عدم يقين الأثر العالمي ($f_{CI-trace}$).

المساهمات الرئيسية

1. إطار عمل موحد: تقدم الورقة صياغة واحدة تفصل بين آلية الاضطراب (حذف، إضافة، قلب) وبين الهدف الذي يتم تدقيقه، مما يسمح بالدراسة المتزامنة لفشل المتانة والتدخلات المستهدفة.
2. عدم المتانة المنهجي: من خلال التجارب على سبع مجموعات بيانات (بما في ذلك Chatbot Arena وMT-Bench وتصنيفات رياضية مثل NBA وATP)، يثبت المؤلفون أن لوحات المتصدرين الحديثة غير متينة. فالاضطرابات المستهدفة التي تقل عن 1% كافية لتغيير النموذج المصنف الأول، وتدهور اتساق التصنيف العالمي، وتغيير فترات الثقة.
3. التلاعب المستهدف الفعال: تمكن درجات التأثير نفسها من إجراء تدخلات مستهدفة فعالة. يمكن لإطار العمل تعزيز نماذج معينة أو خفض رتبتها بعدد أقل من الإجراءات مقارنة بنماذج التلاعب بالأصوات السابقة (مثل omni-rigging)، وتقليل عدم اليقين للنموذج المستهدف بشكل أكثر فعالية من نماذج العينات النشطة (مثل Arena Active).
4. تحليل إزالة اللاعب: تقيس الدراسة "وهم لوحة المتصدرين" من خلال إظهار أن إزالة اللاعبين المؤثرين (مثل النماذج ذات الاتصال العالي) يمكن أن يؤدي إلى إعادة ترتيب واسعة للنماذج المتبقية، مما يغير الرتب ويغير عضويات الـ top-10.
5. درجات المتانة المعيارية: يجمع المؤلفون حالات الفشل الموجهة بالتأثير في درجات متانة معيارية على مستوى مجموعة البيانات ($R_{Top-1}$، $R_{CI}$، $R_{\tau}$)، مما يوفر ملف تدقيق مدمج عبر وجهات نظر مختلفة لاستقرار لوحة المتصدرين.

النتائج

• المتانة: في لوحات المتصدرين الرئيسية لـ LLM (مثل Arena 55k)، يمكن لأقل من 1% من الإجراءات المستهدفة (تحديدًا Flip أو Drop) تغيير النموذج المصنف الأول. على سبيل المثال، كانت 3 إجراءات Flip أو 5 إجراءات Drop كافية لتغيير المصنف الأول في Arena 55k.
• حساسية الأهداف:
  • يعتبر القلب (Flip) بشكل عام الأكثر كفاءة في عدد الإجراءات لتغيير التصنيفات وتدهور كيندال $\tau$.
  • يعتبر الحذف (Drop) أكثر تحفظًا ولكنه لا يزال فعالاً للغاية.
  • متغيرات الإضافة (Add) أقل فعالية في تغيير التصنيفات ولكنها الأكثر فعالية في تقليل عدم اليقين (التدخل البناء).
• المتانة المدركة بفترات الثقة (CI-Aware): بينما تزيد مراعاة فترات الثقة من الميزانية المطلوبة لتغيير التصنيف (بمتوسط 13 ضعفًا مقارنة بالتقديرات النقطية)، تظل لوحات المتصدرين عرضة للخطر. إذ لا يزال بإمكان عمليات الحذف المستهدفة تغيير عضوية الـ top-k تحت معايير صارمة تراعي فترات الثقة.
• تباين مجموعات البيانات: تظهر مجموعات البيانات التي يشرف عليها خبراء (مثل MT-Bench) متانة أعلى من مجموعات البيانات من نوع "الساحة" (arena-style) التي تعتمد على الحشود. وتظهر الرسوم البيانية المتفرقة (مثل ATP Top-10) أدنى استقرار في التصنيف العالمي.
• إزالة اللاعب: يمكن لإزالة لاعب واحد عالي التأثير أن يزيح ما يصل إلى 28 لاعبًا في الرتبة ويغير ما يصل إلى 6 عضويات في الـ top-10، حيث يعد "الدرجة" (عدد المباريات) أقوى مؤشر لتأثير اللاعب.

الأهمية والادعاءات

تدعي الورقة أنها توفر أداة عملية ومفيدة لتدقيق استقرار لوحات المتصدرين. ومن خلال الربط بين تحليل المتانة والتلاعب العدائي، يكشف إطار العمل عن قيود جوهرية في تصميمات لوحات المتصدين الحالية. ويؤكد المؤلفون أن نفس التقنيات المستخدمة لتدقيق الهشاشة يمكن استخدامها نظريًا للتلاعب بالتصنيفات، مما يسلط الضوء على التوتر بين الاستخدام المزدوج.

تكمن أهمية هذا العمل في قدرته على:

1. التحفيز على بروتوكولات تقييم أكثر متانة من خلال قياس هشاشة الأنظمة الحالية.
2. توفير آلية دفاعية، حيث يمكن لدرجات المتانة المنخفضة أو المقارنات عالية التأثير أن تطلق تقارير أكثر تحفظًا، أو جمع بيانات مستهدف، أو تحديثات مؤجلة.
3. تقديم منظور موحد يتجاوز دراسات الاضطراب الفردي، ليشمل إضافة المباريات، وحذفها، وقلبها عبر أهداف تصنيف متعددة.

يظل المؤلفون متواضعين بشأن نطاق العمل، مشيرين إلى أن تقديرات التأثير هي تقريبات محلية وأن أهداف عدم اليقين لديهم تعتمد على بدائل قابلة للتوسع قد لا تلتقط جميع مصادر ضوضاء التدوين أو تحيز القضاة. ويقترحون أن العمل المستقبلي يجب أن يركز على طرق الإسناد من الدرجة الأعلى والمقدرات القوية تجاه القيم المتطرفة.