💬 NLP

JudgmentBench: Comparing Rubric and Preference Evaluation for Quality Assessment

تقدم هذه الورقة البحثية JudgmentBench، وهو معيار مرجعي جديد لـ 30 مهمة قانونية تم تصنيفها من قبل محامين خبراء باستخدام كل من درجات التقييم وفق معايير محددة والتفضيلات الثنائية، مما يثبت أن الأحكام المقارنة تتفوق بشكل كبير على التسجيل القائم على المعايير في استعادة ترتيب الجودة مع تطلب أقل من نصف وقت التصنيف.

المؤلفون الأصليون: Russell Yang, Ruishi Chen, Pierce Kelaita, Riya Ranjan, Sibo Ma, Charles Dickens, Matthew Guillod, Megan Ma, Julian Nyarko

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Russell Yang, Ruishi Chen, Pierce Kelaita, Riya Ranjan, Sibo Ma, Charles Dickens, Matthew Guillod, Megan Ma, Julian Nyarko

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تقييم جودة دفعة من الوثائق القانونية التي كتبها ذكاء اصطناعي. لديك طريقتان رئيسيتان للقيام بذلك، وهذه الورقة البحثية هي سباق مواجهة مباشرة بينهما لمعرفة أيهما يخبرك بالفعل أي الوثائق هي الأفضل.

إليك تفصيل للمتنافسين الاثنين:

الحَكَمان

حَكَم القائمة المرجعية (التقييم القائم على المعايير):
تخيل معلماً صارماً يصحح مقالاً. لديه قائمة مرجعية طويلة ومفصلة: "هل استخدمت الفاصلة؟ نعم (+1). هل ذكرت التاريخ؟ نما (+1). هل تجنبت اللغة العامية؟ نعم (+1)." ثم يجمع النقاط للحصول على الدرجة النهائية.

رؤية الورقة: تحاول هذه الطريقة تفكيك "الجودة" إلى قطع صغيرة قابلة للقياس. تبدو دقيقة وعادلة لأن الجميع يتبعون نفس القواعد.

حَكَم اختبار التذوق (الحكم المقارن):
تخيل ناقد طعام في مطعم. بدلاً من قياس كمية الملح أو درجة حرارة الحساء، يُقدم له وعاءان من الحساء جنباً إلى جنب ويُسأل: "أيهما مذاقه أفضل؟" لا يحتاج إلى شرح "لماذا" من حيث المكونات؛ هو فقط يستخدم شعوره الداخلي وخبرته لاختيار الفائز.

رؤية الورقة: تعتمد هذه الطريقة على "شعور" الحَكَم الشمولي بالجودة، حيث يقارن بين شيئين مباشرة بدلاً من تقييم أحدهما بشكل منعزل.

التجربة

وضع الباحثون "اختبار تذوق" باستخدام مهام قانونية واقعية (مثل صياغة العقود أو تحليل ملفات المحاكم). لم يسألوا مجرد أشخاص عشوائيين؛ بل استعانوا بـ 51 محامياً خبيراً من كبرى شركات المحاماة في الولايات المتحدة.

لجعل الاختبار عادلاً، أنشأوا ثلاث نسخ لكل مهمة قانونية:

النسخة "الممتازة": عمل عالي الجودة.
النسخة "الجيدة": عمل لائق.
النسخة "المتوسطة": عمل متواضع.

قاموا بإخفاء الملصقات بحيث لا يعرف المحامون أي نسخة هي أي منها. ثم قسموا المحامين إلى مجموعتين:

المجموعة (أ): كان عليهم تقييم كل وثيقة باستخدام القائمة المرجعية (المعايير).
المجموعة (ب): كان عليهم مقارنة أزواج من الوثائق واختيار الفائز باستخدام اختبار التذوق (الحكم المقارن).

النتائج: المفاجأة الكبرى

أراد الباحثون معرفة أي المجموعتين استطاعت أن تحدد بشكل صحيح أن النسخة "الممتازة" هي الأفضل من النسخة "الجيدة"، وأن النسخة "الجيدة" هي الأفضل من النسخة "المتوسطة".

الفائز: حَكَم اختبار التذوق (الحكم المقارن)

الدقة: كان المحامون الذين قارنوا الوثائق جنباً إلى جنب أكثر قدرة بكثير على رصد فروق الجودة. كانت قدرتهم على ترتيب الوثائق بشكل صحيح شبه مثالية (بدرجة 0.91 من 1.0). أما حكام القائمة المرجعية، فقد واجهوا صعوبة كبيرة (بدرجة 0.15 فقط). بدا الأمر كما لو أن حكام القائمة المرجعية كانوا يخمنون، بينما كان حكام اختبار التذوق يرون بوضوح.
السرعة: كان حكام اختبار التذوق أيضاً أسرع بأكثر من الضعف. فقد أنهوا عملهم في حوالي دقيقتين لكل مهمة، بينما استغرق حكام القائمة المرجعية ما يقرب من 5 دقائق.

اختبرت الورقة أيضاً "المصححات الآلية" (باستخدام ذكاء اصطناعي آخر للتقييم)، وكانت "حكام اختبار التذوق" من الذكاء الاصطناعي قد تفوقوا أيضاً على "حكام القائمة المرجعية" من الذكاء الاصطناعي.

لماذا فشلت القائمة المرجعية؟

تقترح الورقة عدة أسباب جعلت القائمة المرجعية المفصلة لا تعمل بشكل جيد مع العمل القانوني المعقد:

مشكلة "القطعة المفقودة": العمل القانوني يشبه اللوحة المعقدة. لا يمكنك فقط قياس كمية الطلاء الأحمر أو عدد ضربات الفرشاة لتعرف ما إذا كانت لوحة فنية رائعة. القائمة المرجعية تجبر المحامين على النظر فقط في عناصر محددة ومسبقة التعريف (مثل "هل استشهدت بالقضية؟")، لكنها تغفل عن "السحر" الكامن في العمل — مثل الحكم الاستراتيجي، أو التدفق الإقناعي، أو الفوارق الدقيقة والرهيفة. القائمة المرجعية تغفل عن الغابة من أجل الأشجار.
"تأثير الهالة": عندما يرى المحامي وثيقة تبدو رائعة من الخارج، فقد يعطيها لا شعورياً درجات عالية في كل بند من بنود القائمة المرجعية، حتى لو كانت ضعيفة في بعض جوانبها فعلياً.
العبء المعرفي: من المرهق ذهنياً التوقف للتحقق من 20 صندوقاً مختلفاً لكل وثيقة. من الأسهل بكثير لعقل الإنسان أن يقول: "هذا يبدو أفضل من ذاك".

الخلاصة

تخلص الورقة إلى أنه بالنسبة للوظائف المعقدة وعالية المخاطر مثل القانون (حيث يصعب تعريف "الجودة" بقائمة بسيطة)، فإن مقارنة شيئين جنباً إلى جنب هو طريقة أفضل وأسرع وأكثر دقة لتقييم الجودة من محاولة التقييم بناءً على قائمة مرجعية.

ومع ذلك، أضاف المؤلفون ملاحظة تحذيرية صغيرة: لا تزال القوائم المرجعية مفيدة إذا كنت بحاجة لمعرفة لماذا فشل شيء ما بالضبط (مثل عملية التدقيق). ولكن إذا كان هدفك الرئيسي هو ببساطة معرفة أي المخرجات هي الأفضل، فإن طريقة "جنباً إلى جنب" هي الفائز الواضح.

ملخص تقني: JUDGMENTBENCH

بيان المشكلة

تواجه عملية تقييم النماذج اللغوية الكبيرة (LLMs) في المجالات عالية المخاطر وعالية الخبرة (مثل القانون، والطب، والتمويل) انقساماً منهجياً. يوجد نهجان مهيمنان: التقييم القائم على المعايير (rubric-based scoring)، والذي يقيم المخرجات مقابل معايير محددة مسبقاً وذرية، والحكم المقارن (comparative judgment - CJ)، الذي يستخلص التفضيلات الزوجية بين المخرجات. وبينما يُستخدم كلاهما على نطاق واسع، فإن الاختيار بينهما غالباً ما يكون عشوائياً. وفي المجالات الغنية بالأحكام مثل القانون، حيث تكون "الجودة" متعددة الأبعاد، وتعتمد على السياق، وتستعصي على المعايير الموضوعية المباشرة، لا يزال من غير الواضح أي المنهجيتين تقدم تقييمات أكثر موثوقية. علاوة على ذلك، تفتقر الاختبارات المرجعية الحالية إلى البيانات المزدوجة اللازمة للمقارنة المباشرة بين هذين الأسلوبين على نفس العناصر باستخدام نفس الخبراء، لا سيما في البيئات المهنية حيث يصعب التحقق من الحقيقة المطلقة (ground truth).

المنهجية

يقدم المؤلفون JUDGMENTBENCH، وهو اختبار مرجعي مصمم لتسهيل مقارنة مباشرة ومباشرة بين التقييم القائم على المعايير والحكم المقارن.

بناء مجموعة البيانات

المصدر: تتكون مجموعة البيانات من 30 مهمة قانونية من العالم الحقيقي تم أخذها من "Harvey's BigLaw Bench"، وتغطي كلاً من مجالات التقاضي والممارسات التعاقدية. تمثل هذه المهام أعمالاً قانونية ذات قيمة اقتصادية بدلاً من كونها مسائل امتحانات نمطية.
استحثاث الجودة: لإنشاء حقيقة مطلقة معروفة للتقييم، قام المؤلفون ببناء ثلاثة مستويات جودة متميزة (متوسط، جيد، ممتاز) لكل مهمة. تم تحقيق ذلك من خلال توجيه نموذج Claude Opus 4.6 من Anthropic باستخدام "برومبت نظام" يتحكم في ستة أبعاد للجودة: العمق التحليلي، الدقة، الاكتمال، وضوح الاستدلال، الحكم، والبراعة (nuance).
بروتوكول التدوين:
- الخبراء: قام 51 محامياً ممارساً (بمتوسط خبرة 10 سنوات) من شركات قانونية أمريكية كبرى ومختبر بيانات ذكاء اصطناعي مهني (Snorkel AI) بتدوين البيانات.
- الإشارات المزدوجة: لكل مهمة، قدم الخبراء نوعين من التدوينات:
  1. درجات المعايير (Rubric Scores): تسجيل ذري بناءً على معايير طورها الخبراء (نقاط إيجابية وسلبية).
  2. الأحكام المقارنة (Comparative Judgments): تفضيلات زوجية للأزواج الثلاثة الفريدة المتكونة من مخرجات مستويات الجودة الثلاثة.
- النطاق: تتضمن مجموعة البيانات 1,539 درجة معيارية و1,530 حكماً تفضيلياً زوجياً عبر 2,274 مخرجاً فريداً.
- التصميم: تم تعيين المهام للمدونين في مسار عمل حيث يتناوبون بين المنهجيتين لمنع تحيز إجهاد الطريقة، رغم أنهم لم يقيموا نفس العنصر بكلتا الطريقتين.

مقاييس التقييم

المقدر الأساسي ( $D$ ) هو متوسط الفرق في مدى نجاح كل طريقة في استعادة ترتيب الجودة المنشود.

استعادة المعايير (Rubic Recovery): معامل ارتباط سبيرمان للرتب بين ترتيب الجودة المنشود والترتيب المستمد من متوسط درجات المعايير.
استعادة الحكم المقارن (CJ Recovery): معامل ارتباط سبيرمان للرتب بين ترتيب الجودة المنشود والترتيب الضمني الناتج عن ملاءمة نموذج "برادلي-تيري" (Bradley-Terry) للتفضيلات الزوجية.
التحقق الإحصائي: استخدم المؤلفون استراتيجية "بوتستراب هرمية" (hierarchical bootstrap) (2,000 تكرار) لتقييم الأهمية الإحصائية، مع مراعاة عدم اليقين في العينات من المشاركة المحدودة للمقيمين.

المساهمات الرئيسية

مجموعة بيانات مزدوجة: يعد JUDGMENTBENCH أول مجموعة بيانات متاحة للجمال في مجال عالي الخبرة حيث يتم استخلاص كلا إشارتي الإشراف (المعايير والتفضيل) من نفس الخبراء على نفس العناصر. هذا الازدواج هو شرط مسبق لإجراء مقارنة نظيفة بين المنهجيتين.
المقارنة التجريبية في القانون: تقدم الدراسة أول دليل تجريبي مباشر يقارن بين التقييم القائم على المعايير والحكم المقارن داخل المجال القانوني، وهو مجال يتميز بالتعقيد العالي والمعرفة الضمنية.
تحليل المصحح الآلي (Autograder): وسع المؤلفون التقييم ليشمل المصححات الآلية للنماذج اللغوية الكبيرة (GPT-5.4 و GPT-5.4-mini) لتحديد ما إذا كانت الأنماط الملحوظة تنطبق أيضاً على أنظمة التقييم الآلية.

النتالئج

تجد الدراسة أن الأحكام المقارنة تتفوق بشكل كبير على التقييم القائم على المعايير في استعادة ترتيب الجودة المنشود، بينما تتطلب وقتاً أقل بكثير.

الأداء: كان متوسط معامل ارتباط سبيرمان للأحكام المقارنة هو 0.908، مقارنة بـ 0.150 للمعايير. وكان الفرق ( $D$ ) هو 0.758 (بفاصل ثقة 95% [0.494, 1.021])، مما يشير إلى ميزة قوية للحكم المقارن (CJ).
الكفاءة: تطلبت الأحكام المقارنة أقل من نصف وقت تدوين المعايير (متوسط 1.92 دقيقة مقابل 4.74 دقيقة).
الاتساق: استمرت ميزة الأحكام المقارنة عبر:
- مستويات مختلفة من خبرة المحامين (رغم أن الفجوة كانت أكثر اتساقاً بين المحامين ذوي الخبرة العالية).
- فئات المهام (التقاضي مقابل التعاقد).
- كل من المدونين البشريين والمصححات الآلية (حيث تفوق الحكم المقارن للمصحح الآلي أيضاً على المعايير).
قصور المعايير: لم يكن ضعف أداء المعايير ناتجاً عن نقص في تباين الدرجات (كانت الدرجات موزعة على نطاق واسع)، بل بدا أنه ناتج عن عدم قدرة المعايير الذرية على استيعاب الأبعاد الشمولية والضمنية للجودة القانونية (مثل الحكم الاستراتيجي، والقوة الإقناعية).

الأهمية والادعاءات

يدعي البحث أن لنتائجه آثاراً مهمة على كيفية قياس الجودة وكيفية بناء إشارات المكافأة للنماذج اللغوية الكبيرة في المجالات المهنية:

التفوق المنهجي: في المجالات الغنية بالأحكام حيث يصعب تعداد الجودة مسبقاً، تعد الأحكام المقارنة طريقة أكثر موثوقية وكفاءة لاستعادة ترتيبات الجودة من المعايير التي وضعها الخبراء.
آثار ما بعد التدريب: تتحدى النتائج الافتراض بأن التغذية الراجعة القائمة على المعايير هي بطبيعتها متفوقة أو أكثر قابلية للتفسير للتعلم التعزيزي ومواءمة النماذج في المجالات المعقدة. وبينما توفر المعايير إمكانية التدقيق، إلا أنها قد تفشل في التقاط الأبعاد الكامنة للجودة التي يحافظ عليها الحكم المقارن.
الإرشاد العملي: يقترح المؤلفون على الممارسين الذين يبنون تقييمات قانونية استخدام الأحكام المقارنة كخيار افتراضي لتقييم الجودة الشاملة نظراً لميزتها في صدق البناء وانخفاض تكلفتها، مع تخصيص المعايير للحالات المحددة التي تتطلب معلومات تشخيصية لكل معيار بشكل صريح.
البحث المستقبلي: يدعم الهيكل المزدوج لمجموعة البيانات المزيد من البحث حول كيفية دمج هاتين الإشارتين (على سبيل المثال، استخدام المعايير كركائز للأحكام المقاربة أو اشتقاق المعايير من التفضيلات) وكيفية عملهما كإشارات إشراف لتدريب النماذج في مرحلة ما بعد التدريب في المجالات التي تفتقر إلى حقائق مطلقة يمكن التحقق منها.

يحافظ المؤلفون على التواضع فيما يتعلق بالصلاحية الخارجية، مشيرين إلى أن التباين في الجودة تم استحثاثه عبر التوجيه (الذي قد يختلف عن التباين البشري الطبيعي) وأن المهام محددة بالقانون العام الأمريكي. ومع ذلك، يجادلون بأن مجموعة البيانات توفر أساساً صارماً لإعادة تقييم منهجيات التقييم في تطبيقات الذكاء الاصطناعي عالية المخاطر.