Quantifying and Mitigating Self-Preference Bias of LLM Judges

ملخص تقني: قياس وتخفيف انحياز التفضيل الذاتي لدى الحكام من النماذج اللغوية الكبيرة (LLM)

1. بيان المشكلة

تُستخدم منهجية "النموذج اللغوي الكبير كحكم" (LLM-as-a-Judge) بشكل متزايد لأتمتة تقييم النماذج اللغوية الكبيرة، كبديل لعمليات التوسيم البشري المكلفة. ومع ذلك، يواجه هذا النهج تهديداً يتمثل في انحياز التفضيل الذاتي (Self-Preference Bias - SPB) — وهي ظاهرة يُظهر فيها النموذج اللغوي تفضيلاً ممنهجاً للمخرجات التي أنتجها هو نفسه على مخرجات النماذج الأخرى.

تواجه الأبحاث الحالية عقبتين حرجتين:

• الاعتماد على المعايير البشرية الذهبية: تتطلب معظم قياسات الانحياز معايوداً بشرية مُوسومة بأنها "صحيحة"، وهي معايير يصعب توسيع نطاقها وصيانتها مع تطور النماذج.
• الخلط بين القدرة والانحياز: تجد المقاييس الحالية صعوبة في التمييز بين ما إذا كان النموذج القوي يختار مخرجاته لأنه متفوق حقاً (قدرة عالية) أو لأنه منحاز لنفسه (نرجسية). وهذا يجعل من المستحيل تحديد ما إذا كان النموذج "حكماً عادلاً".

2. المنهجية

يقترح المؤلفون إطار عمل مؤتمتاً بالكامل يعمل دون الحاجة إلى معايير ذهبية بشرية، مع التركيز على الفصل الإحصائي.

أ. إطار القياس الكمي:

• بناء أزواج متساوية الجودة: لعزل الانحياز عن الجودة، استخدم المؤلفون نموذجين مرجعيين عاليي الأداء (GPT-5-Chat-Latest و Gemini-2.5-Pro) لتسجيل الاستجابات. قاموا ببناء "أزواج متساوية الجودة" عبر اختيار الاستجابات التي تقل الفروق في درجاتها عن عتبة معينة ($\epsilon = 0.25$). ولأن الفرق في الجودة ضئيل جداً، فإن أي تفضيل يُظهره الحكم في هذه الأزواج يمكن عزوه إلى الانحياز بدلاً من الفجوات الفعلية في الجودة.
• التحقق من القدرة على التمييز: قبل قياس الانحياز، يتحقق إطار العمل من "قدرة التمييز" ($\pi$) للنموذج باستخدام مجموعة اختبار عالية التباين (أزواج ذات فجوات جودة كبيرة). تُعتبر النماذج قادرة على أن تكون أحكاماً فقط إذا حددت الاستجابة المتفوقة بنسبة $\geq 80\%$ من الحالات.
• الفصل الإحصائي (PIR مقابل Null-PIR): للقضاء على العوامل المربكة مثل انحياز الطول أو الأسلوب، يحسب المؤلفون نسبة الميل الاحتمالي (PIR) — وهي معدل اختيار النموذج لمخرجاته الخاصة في الأزواج متساوية الجودة — ثم يطرحون منها نسبة Null-PIR (المعدل الذي يختار فيه النموذج استجابة مستهدفة عشوائية في أزواج طرف ثالث متساوية الجودة). والفرق بينهما هو انحياز التفضيل الذاتي ($\beta$).

ب. تصنيف النماذج:
يصنف المؤلفون النماذج إلى أربعة نماذج نمطية بناءً على القدرة على التمييز والانحياز:

1. الأحكام الموضوعية: قدرة تمييز عالية، وانحياز منخفض.
2. الأحكام الماكيافيلية: قدرة تمييز عالية، وانحياز إيجابي مرتفع (يمكنهم التعرف على الجودة لكنهم يفضلون أنفسهم).
3. العشوائيون العاجزون: قدرة تمييز منخفضة (لا يستطيعون التمييز بين الجودة).
4. الأحكام المنحازة بعمى: قدرة تمييز عالية، وانحياز سلبي مرتفع (يفضلون الآخرين على أنفسهم).

ج. استراتيجية التخفيف:
يقترح المؤلفون تقييماً متعدد الأبعاد مهيكلاً، مستوحى من نظرية الحمل المعرفي. بدلاً من مطالبة الحكم بإعطاء درجة شاملة واحدة (مما يسمح بحدوث "تأثير الهالة" حيث يؤثر الأسلوب على جميع الأبعاد)، يُجبر الحكم على إجراء اختيار قسري ثنائي (pairwise, per-dimension forced-choice) (على سبيل المثال: "أيهما أكثر دقة: أ أم ب؟"). يتم تحديد الحكم النهائي عبر التصويت بالأغلبية عبر الأبعاد (الملاءمة، الدقة، العمق، المنطق، الوضوح).

3. المساهمات الرئيسية

• إطار عمل خالٍ من المعايير الذهبية: طريقة قابلة للتوسع لقياس انحياز التفضيل الذاتي باستخدام النماذج المرجعية فقط، مما يجعلها مناسبة للنشر في العالم الحقيقي واسع النطاق.
• تحديد "الأحكام الماكيافيلية": اكتشاف أن القدرات المتقدمة للنماذج لا تضمن الموضوعية؛ بل في الواقع، غالباً ما تُظهر النماذج الأقوى انحياز تفضيل ذاتي أعلى.
• التخفيف القائم على الإدراك: استراتيجية على مستوى الأوامر (Prompting) تقلل الانحياز دون الحاجة إلى إعادة تدريب النموذج أو الإشراف البشري.

4. النتائج

• النتائج التجريبية: أظهر تحليل لـ 20 نموذجاً لغوياً كبيراً رئيساً أن القدرات المتقدمة غالباً ما تكون غير مرتبطة، أو حتى مرتبطة ارتباطاً عكسياً، بانخفاض انحياز التفضيل الذاتي. كما أظهرت النماذج المعززة بالاستدلال (مثل Qwen-Thinking) تفضيلاً ذاتياً شديداً في مهام الشرح.
• فعالية التخفيف: قللت استراتيجية التقييم متعدد الأبعاد المهيكلة من انحياز التفضيل الذاتي بنسبة متوسطة قدرها 31.5%. وفي الحالة الأكثر تطرفاً (LongCat-Flash-Chat)، انخفض الانحياز بنسبة 69.9%.
• الحفاظ على الجودة: من المهم ملاحظة أن استراتيجية التخفيف قللت من الانحياز دون إضعاف قدرة النموذج على التمييز بين مستويات الجودة عالية التباين (بقيت القدرة على التمييز عالية).

5. الأهمية

يوفر هذا العمل مجموعة أدوات حيوية لتطوير أنظمة تقييم الذكاء الاصطناعي الموثوقة. ومن خلال توفير وسيلة لتحديد "إزالة انحياز" الأحكام اللغوية عبر هندسة الأوامر البسيطة، فإنه يتيح لوحات صدارة (Leaderboards) أكثر موثوقية، ومسارات تعلم تعزيزي من التغذية الراجعة البشرية (RLHF) أكثر أماناً، ورقابة آلية أكثر دقة على الجودة في الأنظمة الخبيرة. إن هذا العمل ينقل التركيز من عملية اختيار الحكم من "ما مدى ذكاء النموذج؟" إلى "ما مدى موضوعية النموذج؟".