Multi-Legal-Bench: Evaluating LLMs on Legal Reasoning Across Jurisdictions, Languages, and Legal Traditions

ملخص تقني: Multi-Legal-Bench

بيان المشكلة
تعاني معايير تقييم معالجة اللغات الطبيعية (NLP) القانونية الحالية من تصميم تقييم "منعزل". فالموارد الحالية مثل LegalBench وLexGLUE وLEXTREME إما تركز حصرياً على أنظمة القانون العام (Common Law) الناطقة بالإنجليزية، أو تجمع بين مهام مختلفة جوهرياً عبر لغات متعددة (على سبيل المثال، مقارنة تصنيف المواضيع في الألمانية بتصنيف نوع المحكمة في الفرنسية). هذا التصميم يمنع إجراء مقارنة حقيقية عابرة للغات لأن فروق الأداء تخلط بين القدرة اللغوية وصعوبة المهمة. علاوة على ذلك، لا يوجد معيار سابق يقيم مهام استدلال قانوني متطابقة عبر أنظمة قانونية وطنية متعددة باستخدام النماذج اللغوية الكبيرة (LLMs) الرائدة، مما يترك فجوة حرجة في فهم كيفية تعميم النماذج عبر الولايات القضائية.

المنهجية
يقدم المؤلفون Multi-Legal-Bench، وهو معيار عابر للولايات القضائية تم إنشاؤه من مجموعة بيانات SecondLayer القانونية، والتي تحتوي على 134 مليون قرار محكمة من 20 ولاية قضائية. يركز المعيار على ست ولايات قضائية تتبع القانون المدني (Civil Law): أوكرانيا، فرنسا، هولندا، بولندا، التشيك، وليتوانيا. وقد تم اختيار هذه الدول لتشمل أربع عائلات لغوية (السلافية، الرومانسية، الجرمانية، والبلطيقية) ونوعين من الكتابة (اللاتينية والسيريلية).

يعرّف المعيار خمس مهام استدلال قانوني متطابقة، مرتبطة ببيانات وصفية (Metadata) مهيكلة من السجلات القضائية الوطنية:

1. تصنيف نوع المحكمة (CTC): تصنيف الفرع القضائي (مثل مدني، جنائي).
2. تصنيف شكل الحكم (JFC): تحديد نوع الوثيقة الإجرائية.
3. التنبؤ بنتيجة القضية (COP): التنبؤ بالنتيجة القضائية بناءً على قسم الوقائع فقط.
4. استخراج القاعدة القانونية (NE): استخراج استشهادات القواعد القانونية.
5. التنبؤ بفئة السبب (CCP): تصنيف الموضوع القانوني.

نظراً لتباين ثراء البيانات الوصفية عبر الولايات القضائية، يشكل التقييم مصفوفة (مهمة × ولاية قضائية) "متفرقة" بشكل متعمد بمقاس 5×6 (20 خلية من أصل 30 ممتلئة). ويتجنب المؤلفون صراحةً اختلاق تسميات أو استخدام تسميات زائفة؛ حيث تمثل الخلايا الفارغة غياباً حقيقياً للبيانات الوصفية.

الإعداد التجريبي
تدرس الدراسة 11 نموذجاً لغوياً كبيراً عبر خدمة AWS Bedrock:

• 7 نماذج رائدة: تشمل Llama 4 Maverick، وLlama 3.3 70B، وMistral Large 3، وNemotron Super 3، وAmazon Nova Pro، ومتغيرات Qwen3 (بأحجام 235B و32B).
• 4 نماذج صغيرة/متوسطة: Ministral 3B/8B، وLlama 3.1 8B، وNemotron Nano 12B، استُخدمت لتحليل التوسع (Scaling analysis).

تشمل بروتوكولات التقييم التعلم بأسلوب الصفر محاولة (Zero-shot) و3 محاولات (3-shot prompting) باللغة الأصلية لكل ولاية قضائية. بالإضافة إلى ذلك، أجرى المؤلفون تجارب النقل عبر اللغات، لاختبار ما إذا كانت أمثلة الـ "few-shot" باللغة الأوكرانية يمكن أن تحسن الأداء على بيانات اختبار غير أوكرانية.

النتائج الرئيسية

1. آثار التعلم بأس few-shot المعتمدة على المهمة: أظهرت النتائج أن تأثيرات التعلم بـ few-shot هي تأثيرات خاصة بكل مهمة (وهو ما اكتُشف في عمل سابق مقتصر على أوكرانيا)، وقد تكرر ذلك عبر جميع الولايات القضائية. يحقق تصنيف JFC باستمرار مكاسب من التعلم بـ few-shot (زيادة تصل إلى +66.2 نقطة مئوية)، بينما يظهر COP آثاراً مختلطة وغير متوقعة، وغالباً ما يصل CTC إلى أداء السقف (Ceiling performance).
2. لا يوجد نموذج مهيمن: لا يهيمن نموذج واحد عبر جميع اللغات أو المهام. تتغير التصنيفات بشكل كبير بناءً على المهمة والولاية القضائية المحددة. فعلى سبيل المثال، النموذج الذي يؤدي جيداً في النصوص القانونية الفرنسية قد يؤدي بشكل سيء في النصوص البولندية أو التشيكية.
3. النقل عبر اللغات ومحاذاة التسميات: لا يرتبط جودة النقل بمدى التقارب اللغوي. فقد تفوق النقل من الأوكرانية إلى الفرنسية (الرومانسية) على النقل من الأوكرانية إلى البولندية (السلافية) في تصنيف نوع المحكمة (انخفاض قدره -2.1 نقطة مئوية مقابل -13.7 نقطة مئوية). ويخلص المؤلفون إلى أن محاذاة مجموعة التسميات (Label-set alignment) هي مؤشر أفضل لجودة النقل من التشابه اللغوي.
4. خصوبة الـ Tokenizer مقابل الدقة: بينما تختلف خصوبة الـ Tokenizer (عدد الرموز لكل كلمة) بشكل كبير (انتشار بمقدار 2.3 ضعف) وترتبط بتكلفة الاستدلال، إلا أنها لا تتنبأ بشكل كبير بالدقة عبر اللغات (r=−0.27, p=0.14). وهذا يتناقض مع النتائج أحادية اللغة السابقة، مما يشير إلى أن تكوين بيانات التدريب المسبق وبنية النموذج يهيمنان على كفاءة الـ Tokenizer في السياقات متعددة اللغات.
5. فجوات التوسع: تظهر النماذج الصغيرة (3–12B) تدهوراً كبيراً في الأداء مقارنة بالنماذج الرائدة، لا سيما في تصنيف نوع المحكمة في اللغات غير الممثلة كفاية (مثل فجوة قدرها -20 نقطة مئوية لليتوانية). ومع ذلك، فإنها تتفوق أحياناً على النماذج الرائدة في مهام محددة مثل التنبؤ بفئة السبب في هولندا.

الأهمية والادعاءات
يدعي البحث أنه يقدم أول معيار قانوني يتيح مقارنة حقيقية عابرة للغات من خلال تقييم مهام متطابقة عبر أنظمة قانونية وطنية متعددة. وتتمثل مساهماته الأساسية في:

• الدقة المنهجية: من خلال استخدام مصفوفة متفرقة بناءً على توافر البيانات الوصفية في العالم الحقيقي، يعكس المعيار بصدق عدم التجانس في البيانات القضائية المفتوحة بدلاً من فرض توحيد اصطناعي.
• الرؤى التجريبية: يتحدى المعيار الافتراض بأن التقارب اللغي يقود النقل عبر اللغات، مسلطاً الضيد على أهمية توافق مجموعة التسميات، كما يفصل بين كفاءة الـ Tokenizer وأداء النموذج في السياقات متعددة اللغات، وينصح الممارسين بإعطاء الأولوية للتقييم الخاص بكل ولاية قضائية على حساب إحصائيات الـ Tokenizer.
• توافر الموارد: يطلق المؤلفون جميع البيانات، والمطالبات (Prompts)، وتوقعات النماذج، وكود التقييم لتسهيل المزيد من الأبحاث في مجال معالجة اللغات الطبيعية القانونية متعددة اللغات.

يتخذ المؤلفون موقفاً متواضعاً، مشيرين إلى القيود مثل استبعاد أنظمة القانون العام، وعدم توازن توزيع التسميات في خلايا معينة، والتركيز على النماذج التوليدية (Generative LLMs) بدلاً من نماذج الترميز (Encoder models). ويؤكدون أن نتائجهم المتعلقة باستقرار صعوبة المهام وعدم عالمية تصنيفات النماذج هي محددة بالولايات القضائية للقانون المدني التي تم تقييمها.