A Judge Should Know What Changed:Construct Validity for LLM-as-a-Judge Evaluation
تقدم هذه الورقة إطاراً ثنائي الأبعاد لصلاحية البناء يتألف من الثبات والحساسية لإثبات أن تقييمات "النموذج اللغوي الكبير كحكم" الحالية غالباً ما تُظهر توافقاً عالياً مع حساسية منخفضة تجاه التغييرات الجوهرية في المحتوى، مما يكشف أن الموثوقية العالية لا تضمن التقييم الصالح للبناء الأساسي.
المؤلفون الأصليون:Jianlin Chen, Wenhui Chen, Ziyao Lin, Chi Man Vong
في ظل التطور المتسارع في مجال الذكاء الاصطناعي، ظهر جيل جديد من الأنظمة التي يمكنها كتابة المقالات، وحل المشكلات، وإجراء المحادثات. ولتحديد أي من هذه الأنظمة هو الأفضل، يعتمد الباحثون على حكام آليين — وهي نماذج ذكاء اصطناعي متخصصة تم تدريبها لقراءة إجابتين مختلفتين لنفس السؤال واختيار الفائز بينهما. يعمل هؤلاء الحكام كحكام في العصر الرقمي، حيث يحددون النماذج التي يتم ترقيتها، والتي يتم تحسينها، والتي يتم استبعادها. ولكي يكون الحكم مفيداً، يجب أن يكون متسقاً؛ فإذا قُدمت نفس الإجابة مرتين، يجب أن تحصل على نفس الدرجة. لكن الاتساق ليس سوى نصف المهمة. إذ يجب على الحكم أيضاً أن يكون حساساً للجودة الفعلية للعمل. فإذا قام الطالب بتغيير ادعاء غامض إلى ادعاء محدد مدعوم بالأدلة، فيجب على الحكم أن يلاحظ هذا التحسن. وإذا قام الطالب بتغيير ادعاء محدد إلى تعميم غامض، فيجب على الحكم أن يلاحظ هذا التراجع. والسؤال المركزي للمجتمع العلمي هو ما إذا كان هؤلاء الحكام الآليون يقيسون حقاً جودة النص، أم أنهم يكتفون بمجرد التفاعل مع سمات سطحية مثل طول النص أو كيفية تنسيقه.
لقد شرع فريق من الباحثين في اختبار هؤلاء الحكام باستخدام منهجية جديدة صارمة. فقد عاملوا الحكام ليس فقط كأدوات للاستخدام، بل كأدوات قياس يجب معايرتها، تماماً مثل ميزان الحرارة الذي قد يكون متسقاً تماماً ولكنه لا يزال يقيس الشيء الخطأ. ركز الباحثون على نوع محدد من الأخطاء: عندما يتجاوز الادعاء العلمي ما تدعمه الأدلة فعلياً. لقد أنشأوا مجموعة من الجمل المعدلة بعناية حيث تغير المعنى بطريقتين متميزتين. في النوع الأول من التعديل، تم توسيع الادعاء ليشمل حالات أكثر مما تسمح به الأدلة، مثل تغيير نتيجة تتعلق بثلاث عينات صخرية محددة لتصبح نتيجة تتعلق بجميع الصخور الرسوبية. وفي النوع الآخر، جعل الادعاء أكثر قوة دون تغيير نطاقه، مثل إزالة كلمة حذرة مثل "قد" واستبدالها بعبارة جازمة مثل "يفعل". ثم طلب الباحثون من خبراء بشريين التحقق من أن هذه التعديلات غيرت حقيقة العبارة بالفعل، لضمان أن الاختبار مستند إلى الواقع وليس مجرد تخمينات حاسوبية.
وعندما وضعوا سبعة حكام آليين مختلفين تحت هذا الاختبار، كشفت النتائج عن نقطة عمياء مذهلة. فقد كان الحكام متسقين بشكل ملحوظ؛ فعندما غير الباحثون السمات السطحية للنص فقط، مثل ترتيب الجمل أو نمط الخط، لم يغير الحكام أحكامهم تقريباً. وهذا الاتساق أمر جيد، لكن تبين أنه مضلل. فعندما غير الباحثون المعنى الفعلي للادعاء — بجعله إما واسع النطاق للغاية أو قوياً للغاية — فشل الحكام في ملاحظة الفرق في معظم الأحيان. في المتوسط، حدد الحكام بشكل صحيح أن الادعاء قد تغير بنسبة 32 بالمائة فقط، رغم أنهم كانوا متسقين بنسبة 95 بالمائة في الاختبارات السطحية. الأمر يشبه ناقداً للطعام يمكنه التمييز بدقة بين وجبة مقدمة في طبق أحمر وآخر أزرق، لكنه يفشل في ملاحظة عندما يستبدل الطاهي خضروات طازجة بأخرى بلاستيكية. لقد كان الحكام موثوقين، لكنهم لم يكونوا صالحين؛ فقد كانوا يقيسون شيئاً آخر غير جودة الحجة.
ولم يكن الفشل عشوائياً؛ بل كان له هيكل محدد. فقد كان الحكام أفضل بكثير في رصد الحالات التي يصبح فيها الادعاء واسع النطاق جداً مقارنة بالحالات التي يصبح فيها الادعاء قوياً جداً. لقد لاحظوا عندما يتوسع نطاق الادعاء خارج حدود الأدلة، لكنهم أغفلوا إلى حد كبير عندما يصبح الالتزام بهذا الادعاء شديد القوة. وهذا التمييز مهم لأنه يفسر ظاهرة محيرة لوحظت في دراسات أخرى: وهي عندما يطلب الباحثون من نماذج الذكاء الاصطناعي أن تكون أكثر "دقة"، تنتهي هذه النماذج غالباً بتقديم ادعاءات أسوأ وأكثر ثقة مفرطة. وتظهر الدراسة الجديدة أن هذا يحدث لأن الطلب من أجل الدقة يدفع النماذج إلى الظهور بمظهر أكثر تأكيداً، مما يزيد من قوة ادعاءاتها دون أن يجعلها بالضريد أكثر صحة. ومع ذلك، فإن الحكام مبرمجون لتجاهل هذه الزيادة في القوة، لذا فهم يكافئون النماذج على الظهور بمظهر الواثق حتى عندما تتجاوز حدودها.
ولعل النتيجة الأكثر إثارة للقلق هي أن المعايير القياسية المستخدمة لاختبار هؤلاء الحكام معيبة. فقد اكتشف الباحثون أن العديد من مجموعات البيانات العامة المستخدمة لتدريب وتقييم الحكام هي مجموعات "مسربة". وهذا يعني أن الإجابات الصحيحة في هذه المجموعات يمكن تخمينها ببساطة من خلال النظر إلى طول الاستجابة أو طريقة توليدها، دون فهم المحتوى فعلياً. وفي بعض الحالات، تمكنت قاعدة بسيطة تختار فقط الاستجابة الأقصر من إعادة إنتاج 72 بالمائة من أصوات البشر في معيار رئيسي. وهذا يشير إلى أنه عندما يتفق الحكام مع التصنيفات البشرية، فقد لا يكون ذلك لأنهم يفهمون النص، بل لأنهم يتفاعلون مع نفس الإشارات السطحية. إن الدرجات العالية المشهودة في هذا المجال ليست بالضرورة دليلاً على الذكاء أو الفهم، بل هي دليل على أن الحكام قد تعلموا كيفية التلاعب بالنظام.
ويخلص الباحثون إلى أن المجال بحاجة إلى تغيير طريقة قياس النجاح. فبدلاً من الاعتماد على رقم واحد يمثل مدى اتفاق الحاكم مع البشر، يقترحون تقديم رقمين منفصلين: أحدهما للاتساق والآخر للحساسية. هذا الملف التعريفي المكون من جزأين من شأنه أن يكشف ما إذا كان الحكم مجرد نموذج عنيد أم أنه ينتبه حقاً للأشياء الصحيحة. كما يحثون صانعي المعايير على الشفافية بشأن كيفية إنشاء تصنيفاتهم، محذرين من أنه إذا كان التصنيف مرتبطاً بطريقة توليد النص بدلاً من النص نفسه، فلا يمكن الوثوق به كمقياس للجودة. لا تدعي الدراسة أن هؤلاء الحكام عديمو الفائدة، لكنها توضح أنهم حالياً عميان عن التغييرات الأكثر أهمية. وحتى يتم إصلاح المساطر نفسها، ستظل القياسات التي تقدمها غير مكتملة، مما يترك المجتمع العلمي يبحر في مشهد الذكاء الاصطناعي بخريطة تظهر التضاريس ولكن تغفل عن المنحدرات.
ملخص تقني: صدق البناء لتقييم "النموذج اللغوي الكبير كحكم" (LLM-as-a-Judge)
بيان المشكلة أثبت مجال تقييم النماذج اللغوية الكبيرة (LLM) على نطاق واسع أن "الأحكام" (المقيمين) يتسمون بالضجيج وعدم الاتساق. وتُظهر الأدبيات السابقة أن الأحكام غالبًا ما تعتمد على الخصائص السطحية — مثل طول الاستجابة، أو التنسيق، أو السجل اللغوي، أو البيانات الوصفية المحقونة — بدلاً من الجودة الجوهرية للمحتوى. وتُعرف هذه الظاهرة بفشل الثبات (Invariance): حيث يغير المُقيّم حكمه عندما يتم تعديل المدخلات بطرق لا ينبغي أن تغير الحكم الصحيح.
ومع ذلك، تجادل الورقة البحثية بأن الأدبيات قد اختبرت جانبًا واحدًا فقط من الشروط الضرورية للأداة الصالحة. يجب أن يستوفي الحکم الصالح شرطين متمايزين:
الثبات (S): يجب ألا يتغير الحكم تحت تأثير التعديلات التي تحافظ على البناء الجوهري (مثل تغيير التنسيق).
حساسية البناء (R): يجب أن يتغير الحكم تحت تأثير التعديلات الطفيفة التي تغير البناء الجوهري (مثل تغيير نطاق أو قوة الادعاء).
وتفترض الورقة أنه بينما تم قياس الثبات بدقة، فإن حساسية البناء ظلت غير مختبرة إلى حد كبير. يمكن للحكم أن يكون ثابتًا تمامًا (موثوقًا) ومع ذلك يكون أعمى تمامًا عن التغيرات في البناء الذي يُفترض به قياسه، مما يجعله غير صالح. علاوة على ذلك، تجادل الورقة بأن الاتفاق العالي بين الأحكام والملصقات البشرية ليس دليلًا على الصلاحية إذا كانت مجموعات الملصقات نفسها "مسربة" — أي يمكن حلها عبر استدلالات سطحية دون فهم البناء.
المنهجية يصيغ المؤلفون "صدق البناء" كملف تعريف ثنائي الأبعاد V(J)=(S,R)، حيث S هو احتمال الحفاظ على الحكم تحت التعديلات التي تحفظ البناء (TI)، و R هو احتمال تغيير الحكم تحت التعديلات التي تغير البناء (TC).
تعريف البناء: تركز الدراسة على "تجاوز الادعاء" (ما إذا كان الادعاء العلمي يتجاوز أدلته). يتم تفكيك هذا البناء إلى محورين متعامدين:
النطاق (Scope): يغير مجموعة المواقف التي يغطيها الادعاء (مثل توسيع المجتمع، أو تمديد المجال، أو تقوية المكممات).
القوة (Strength): يغير درجة الالتزام دون تغيير النطاق (مثل إزالة صيغ التحوط، أو حذف الشروط، أو إضافة أدوات التوكيد).
تصميم التدخل: يبتكر المؤلفون تعديلات طفيفة لكلا المحورين. ومن الأهمية بمكان أن اتجاه التعديل (ما إذا كان يجب أن يقلب الحكم أم لا) يتم تحديده بواسطة المقيمين البشريين (3 مقيمين مستقلين، يتطلب الأمر اتفاقًا بنسبة ≥0.75)، وليس بواسطة النماذج نفسها، لتجنب الدورانية.
بروتوكول التقييم:
الأحكام: يتم تقييم 7 عائلات متميزة من أحكام LLM (تشمل موردين مختلفين، وأحجام بارامترات مختلفة، وأنماط استدلال مختلفة) عبر 4 مجالات. // لضمان المقارنة العادلة، لا تتم مقارنة الأحكام عند عتباتها الافتراضية. بدلاً من ذلك، يستخلص المؤلفون درجات متدرجة من الأحكام ويطبقون عتباتهم الخاصة لإنشاء جبهة الصلاحية (validity frontier) (جبهة باريتو لـ S مقابل R). وهذا يسمح بالمقارنة عند مستويات ثبات متطابقة.
القدرة على التحقق (VP): يقدم المؤلفون مقياسًا لقياس مدى "تسريب" مجموعات الملصقات العامة. يعرّفون VP بأنها الفجوة بين الاتفاق البشري والاتفاق الذي تحققه "المتنبئات الفقيرة" (النماذج التي ترى فقط الميزات السطحية مثل الطول، أو n-grams، أو بيانات المصدر الوصفية).
الضوابط: تتضمن الدراسة ذراع تحكم من تعديلات سطحية فقط (تغيير السجل، إعادة الترتيب، حشو الإطناب) لتحديد خط الأساس للثبات S.
المساهمات الرئيسية
صياغة صدق البناء: تُعرّف الورقة صلاحية المُقيّم كزوج (S,R) وليس كقيمة عددية واحدة. وتثبت رياضيًا أن S و R مستقلان (Proposition 1)، وأنه لا يوجد ملخص عددي يمكنه التمييز بين حكم صالح وحكم متدهور (Proposition 2).
قياس فجوة "عدم الحساسية": تقدم الدراسة أول قياس منهجي لـ R لأحكام LLM، كاشفةً أنها أقل حساسية لتغيرات البناء بكثير مما هي عليه في الثبات تجاه التغيرات السطحية.
عدم التماثل بين النطاق والقوة: يظهر المؤلفون نمط فشل مهيكل: الأحكام أكثر حساسية لتغيرات النطاق منها لتغيرات القوة.
حل مفارقة الدقة: تقدم الورقة تفسيرًا كافيًا لمفارقة تم الإبلاغ عنها سابقًا (Peters and Chin-Yee [41]) حيث تؤدي مطالبة النماذج بالدقة إلى زيادة التعميم المفرط. توضح الورقة أن مطالبات "الدقة" تضيق النطاق (عبر قمع صيغ التحوط والشروط المذكورة) وتضخم القوة، وبما أن الأحكام عمياء تجاه تغيرات القوة، فإن التعميم المفرط يمر دون اكتشاف.
تشخيص قدرة التحقق: تقدم الورقة طريقة لتدقيق مجموعات الملصقات، موضحة أن المتنبئات العامة تسمح للمتنبئات السطحية فقط باستعادة 55%–67% من الملصقات، مما يعني أن الاتفاق العالي للأحكام على هذه المجموعات قد يعكس ارتباطًا سطحيًا بدلاً من فهم البناء.
النتائج
الملف التعريفي: عند مستوى ثبات متطابق S≥0.90، بلغ متوسط الأحكام السبعة S=0.945 ولكن R=0.319 فقط. وهذا يضعها في الربع "غير الحساس" من ملف الصلاحية: فهي موثوقة (مستقرة) ولكنها تفشل في اكتشاف متى يتغير البناء.
عدم التماثل: هناك فجوة ثابتة قدرها +0.121 بين حساسية النطاق (Rscope≈0.383) وحساسية القوة (Rstrength≈0.262) عبر جميع الأحكام السبعة. تكتشف الأحكام أن الادعاء يغطي مساحة أكبر، لكنها تغفل إلى حد كبير حقيقة أن الادعاء أصبح أكثر التزامًا.
المتانة: تظل هذه الفجوة ثابتة عبر الموردين، وأحجام النماذج، وأنماط الاستدلال. وهي تمثل حدًا أدنى، حيث إن انحياز الطول (تفضيل الأحكام للاستجابات الأطول/الأقصر) يعمل فعليًا ضد الفجوة المرصودة.
تسريب مجموعات الملصقات: عبر 5 مجموعات ملصقات عامة (بما في ذلك MT-Bench و RewardBench)، استعادت المتنبئات السطحية فقط 55%–67% من الملصقات في الوضع المزدوج. على سبيل المثال، نجحت قاعدة بسيطة تفضل الاستجابات الأقصر في التنبؤ بـ 59.7% من الأزواج في RewardBench، حتى بعد محاولة المعيار التحكم في الطول.
ضغط الدقة: عندما يتم توجيه المولدات للعمل بدقة، فإنها تضيق النطاق (أقل استخدامًا لصيغ التحوط) وتزيد من القوة. ولأن الأحكام غير حساسة لتغيرات القوة، فإنها تفشل في معاقبة التعميم المفرط الناتج.
الأهمية والادعاءات تزعم الورقة أن الحالة الراهنة لتقييم LLM معيبة بنيويًا لأنها تخلط بين الموثوقية (الثبات) والصلاحية (الحساسية).
الاتفاق العالي ليس صلاحية: الاتفاق العالي مع مجموعة ملصقات ليس دليلًا على حكم صالح؛ فقد يشير ببساطة إلى أن الحكم ومجموعة الملصقات يتشاركان نفس الانحيازات السطحية.
تسريب "المساطر": الفشل ليس في الأحكام فحسب بل في "المساطر" (مجموعات الملصقات). إذا كان يمكن حل مجموعة ملصقات عبر استدلالات سطحية، فلا يمكن لأي ضبط للأحكام أن ينتج تقييمًا صالحًا على تلك المجموعة.
دعوة للعمل: يدعو المؤلفون إلى تحول في معايير التقارير:
تقرير ملف الصلاحية (S,R)، وليس فقط الاتفاق.
تقرير أداء "المتنبئات الفقيرة" جنبًا إلى جنب مع الأحكام لتحديد كمية تسريب مجموعات الملصقات.
الإفصاح عن مصدر الملصقات (كيف تم إنتاجها) للسماوة بحسابات قدرة التحقق.
مقارنة الأحكام بناءً على جبهات الصلاحية بدلاً من العتبات الافتراضية.
تخلص الورقة إلى أن "عدم الحساسية" لتغيرات البناء، وخاصة فيما يتعلق بقوة الادعاءات، هي خاصية جوهرية لأحكام LLM الحالية تتطلب بُعدًا جديدًا للتقييم يتجاوز اختبارات الثبات الراسخة.