BenGER: Benchmarking LLM Systems on Subsumption-Based Legal Reasoning in German Law
تقدم الورقة البحثية BenGER، وهي مجموعة بيانات مرجعية شاملة لتقييم النماذج اللغوية الكبيرة في الاستدلال القانوني القائم على التضمين في القانون الألماني، مظهرةً أن النماذج الرائدة المغلقة تتصدر الأداء بينما يتفوق الإنشاء المشترك بين الإنسان والذكاء الاصطناي بشكل كبير على العمل البشري غير المدعوم، وكل ذلك تم التحقق منه من خلال إطار عمل قوي يعتمد على النموذج اللغوي الكبير كحَكَم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يكون محامياً. ليس أي محامٍ فحسب، بل محامياً متخصصاً في النظام القانوني الألماني المحدد، والجامد، وشديد الهيكلية. في هذا النظام، لا يقتصر حل المشكلة القانونية على تخمين الإجابة الصحيحة؛ بل يتعلق باتباع وصفة صارمة تسمى "الاستيعاب" (Subsumption).
فكر في الأمر كأنك تخبز كعكة تتطلب الوصفة فيها ذكر كل مكون بدقة، وشرح سبب ملاءمة كل مكون للوصفة بالضبط، وإثبات كيفية اختلاطه مع المكونات الأخرى قبل أن تتمكن حتى من قول: "الكعكة جاهزة". إذا تخطيت خطوة أو قلت فقط "إنها كعكة"، فقد فشلت، حتى لو كان طعم الكعكة جيداً.
هذه الورقة البحثية، BenGER، هي اختبار ضخم جديد مصمم لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي الحديث (نماذج اللغات الكبيرة) اتباع هذه الوصفة القانونية الألمانية الصارمة بالفعل.
إليك تفصيل لما قاموا به، باستخدام تشبيهات بسيطة:
1. مطبخ الاختبار (مجموعة البيانات)
قام الباحثون ببناء "مطبخ اختبار" ضخم يسمى BenGER. يحتوي على ثلاثة أنواع من التحديات:
- الامتحانات الكبرى: 596 حالة قانونية طويلة ومعقدة (مثل الامتحانات النهائية لطلاب القانون) حيث يتعين على الذكاء الاصطناعي كتابة حل كامل ومنظم.
- الاختبارات السريعة: 531 سؤالاً قصيراً حول المبادئ القانونية.
- "ماراثون المقاعد" (المختبر الذي يجمع بين الإنسان والذكاء الاصطناعي): مجموعة خاصة من 15 مشكلة لم يكتفوا فيها بسؤال الذكاء الاصطناعي لحلها فحسب، بل طلبوا أيضاً من بشر حقيقيين حلها بطريقتين:
- بشكل منفرد: بشر يعملون بمفردهم مع الكتب والإنترنت.
- الإنتاج المشترك: بشر يعملون مع مساعد ذكاء اصطناعي لكتابة الحل.
2. القضاة (كيف تم تقييم الإجابات)
تقييم المقالات القانونية أمر صعب للغاية. حتى الخبراء البشر غالباً ما يختلفون؛ فقد يعطي أحد الأساتيد ورقة بتقدير "امتياز"، بينما يعطيها آخر بتقدير "مقبول" لنفس العمل.
وللتعامل مع هذا، لم يكتفِ الباحثون بطلب تقييم واحد من شخص واحد للذكاء الاصطناعي، بل بنوا "قاضياً آلياً" (LLM-as-a-Judge) تم تدريبه على معيار تقييم محدد جداً (قائمة مراجعة للدرجات).
- المعيار (الروبريك): تخيل بطاقة تسجيل تحتوي على 10 فئات، مثل "هل وجدت القانون الصحيح؟"، "هل ربطت الوقائع بالقانون؟"، و"هل كتابتك منظمة؟".
- التحقق من الصحة: لضمان أن "قاضيهم الآلي" ليس منحازاً أو غير منطقي، قارنوا درجاته مقابل لجنة من ثلاثة خبراء بشريين حقيقيين قاموا بتقييم نفس الإجابات دون معرفة مسبقة بالنتائج.
- النتيجة: كان القاضي الآلي عادلاً بشكل مدهش. فعندما استبدلوا مقيّماً بشرياً ووضعوا القاضي الآلي مكانه، لم تتغير الدرجة النهائية للمجموعة كثيراً. لقد كان القاضي الآلي موثوقاً بقدر خبير بشري.
3. النتائج (من الفائز؟)
اختبروا 12 نظاماً مختلفاً من الذكاء الاصطناعي، تتراوح بين نماذج "النماذج الرائدة" (Flagship) الأكثر قوة (وهي الحواسيب العملاقة في عالم الذكاء الاصطعي) إلى نماذج "الكفاءة" الأصغر والأسرع.
- الأبطال: جاءت النماذج الرائدة الكبيرة والمغلقة المصدر (مثل تلك التابعة لـ OpenAI وAnthropic وGoogle) في المقدمة. فقد سجلت أعلى الدرجات، وحصلت غالباً على "درجات نجاح" تضاهي طلاب القانون المتفوقين.
- المنافسون المغمورون: أدت النماذج مفتوحة المصدر (المتاحة للتحميل مجاناً) أداءً جيداً، لكنها ظلت عموماً متأخرة عن النماذج التجارية الكبرى.
- التركيبة السحرية: كانت النتيجة الأكثر إثارة للدهشة تتعلق بـ الإنتاج المشترك بين الإنسان والذكاء الاصطناعي. فعندما سُمح للبشر باستخدام الذكاء الاصطناعي لمساعدتهم في كتابة إجاباتهم، ارتفعت درجاتهم بشكل هائل. لم يكتفوا بأداء جيد فحسب، بل كانوا أفضل من البشر الذين يعملون بمفردهم، بل وتفوقوا حتى على الذكاء الاصطناعي الذي يعمل بمفرده. كان الأمر يشبه طباخاً بشرياً يستخدم خلاطاً عالي التقنية لخبز كعكة أفضل مما يمكن للشيف صنعها بمفرده، أو مما يمكن للآلة صنعها بمفردها.
4. "الفخاخ" (ما تحذرنا منه الورقة)
كان المؤلفون صادقين جداً بشأن القيود:
- الصندوق الأسود: تم اختبار الذكاء الاصطناعي كما يُباع للجمهور (عبر واجهة برمجة التطبيقات API). لم يتمكنوا من رؤية "المحرك" تحت غطاء المحرك، لذا لا يعرفون بالضبط لماذا يعد نموذج معين أفضل من غيره، بل يعرفون فقط أنه أفضل.
- الوصفة محددة: هذا الاختبار مخصص حصرياً للقانون الألماني. الطريقة التي يفكر بها المحامون الألمان (وصفة "الاستيعاب") تختلف عن طريقة تفكير المحامين في الولايات المتحدة أو المملكة المتحدة (الذين يعتمدون أكثر على السوابق القضية). لا يمكنك أخذ هذه النتائج والقول: "هذا الذكاء الاصطناعي سيكون محامياً رائعاً في نيويورك".
- خطر الحفظ: بعض أسئلة الاختبار جاءت من دوريات عامة. من المحتمل أن يكون الذكاء الاصطناعي قد حفظ الإجابات من الإنترنت بدلاً من "التفكير" فعلياً في المشكلة. ومع ذلك، أظهرت أسئلة "ماراثون المقاعد" الجديدة (التي لم يرها الذكاء الاصطناعي من قبل) نتائج مماثلة، مما يشير إلى أن الذكاء الاصطناعي يتعلم المنطق فعلياً، وليس مجرد الغش.
الخلاصة
تقول هذه الورقة: "لقد بنينا اختباراً صارماً وعادلاً للاستدلال القانوني الألماني. نماذج الذكاء الاصطناعي الأفضل أصبحت الآن جيدة جداً في اتباع القواعد، لكنها ليست مثالية بعد. ومع ذلك، عندما يتحد البشر مع الذكاء الاصطناعي، فإنهم يصبحون محامين خارقين، متفوقين على كل من البشر والذكاء الاصطناعي الذين يعملون بمفردهم."
لقد أثبتوا أيضاً أن "القاضي الآلي" الذكي يمكنه تقييم هذه المقالات بموثوقية تقارب موثوقية غرفة مليئة من الأساتذة البشر، مما قد يساعد في توسيع نطاق التعليم والاختبار القانوني في المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.