Validate Your Authority: Benchmarking LLMs on Multi-Label Precedent Treatment Classification

ملخص تقني: التحقق من سلطة السوابق القضائية في تصنيف معاملة السوابق القانونية

بيان المشكلة
في الولايات القضائية التي تتبع القانون العام، تتطلب عقيدة "سابقة القرار" (stare decisis) من الممارسين القانونيين تحديد ما إذا كان القرار القضائي لا يزال "قانوناً صالحاً" أم أن سلطته قد أُضعفت أو أُبطلت بموجب قضايا لاحقة. يمكن معاملة القضايا "سلبياً" بطرق دقيقة ومتنوعة، مثل كونها تم نقضها، أو انتقادها، أو تم تمييزها، أو التشكيك فيها. إن سوء تصنيف هذه المعاملات يحمل مخاطر جسيمة، مما قد يؤدي إلى أحكام غير مواتية وتبعات مهنية. وبينما تستخدم خدمات الاستشهاد التجارية (مثل Shepard's وKeyCite) محررين بشريين لتحليل هذه المعاملات، فقد أدت الأخطاء البشرية الموثقة إلى إثارة الاهتمام بحلول مؤتمتة. ومع ذلك، تشير الأبحاث السابقة إلى أن تصنيف معاملة الاستشهاد أمر صعب بطبيعته على نماذج تعلم الآلة، لا سيالما بسبب الدقة الدلالية للاستدلال القانوني وندرة البيانات عالية الجودة والموسومة من قبل خبراء. تعالج هذه الورقة السؤال المركزي: إلى أي مدى يمكن للنماذج اللغوية الكبيرة (LLMs) المعاصرة محاكاة الاستدلال القانوني المتطور المطلوب لتصنيف الطرق المختلفة التي تُعامل بها سابقة قضائية في قضية لاحقة؟

المنهجية
أجرى المؤلفون عملية قياس مرجعي ممنهجة للنماذج اللغوية الكبيرة الحديثة بناءً على مجموعة بيانات جديدة موسومة من قبل خبراء ومستمدة من دراسة Hellyer (2018)، والتي قيمت في الأصل خدمات الاستشهاد التجارية.

• تنسيق مجموعة البيانات: قام المؤلفون برقمنة وهيكلة متن يتكون من 329 علاقة استشهاد، مع استبعاد الحالات الغامضة لإنشاء مجموعة عالية الموثوقية. واسترجعوا النصوص الكاملة للآراء لـ 239 قضية مستشهد بها عبر واجهة برمجة تطبيقات CourtListener لتزويد النماذج بسياق الوثيقة الكاملة، بدلاً من مقتطفات معزولة.
• بناء الحقيقة الأرضية (Ground Truth): تم وضع الحقيقة الأرضية باستخدام منطق قائم على الأولويات. حيث أُعطيت الأولوية للتصحيحات الصريحة التي أجراها الموثق الأصلي. وبالنسب لـ المدخلات التي لا توجد بها تصحيحات صريحة، تم اعتماد الملصقات التي اعتُبرت "مقبولة". ومن الأهمية بمكان أن مجموعة البيانات هي متعددة الملصقات (multi-label)، مما يعني الاعتراف بإمكانية وجود معالجات متميزة متعددة (مثل "تم انتقادها من قبل" و"تم التشكيك فيها من قبل") صالحة في آن واحد لعلاقة واحدة.
• مخططات التصنيف: تستخدم الدراسة مخططاً ذا مستويين:
  1. دقيق التفاصيل: 16 فئة متميزة (مثل تم نقضها، تم تمييزها من قبل، تم ردها من قبل).
  2. عالي المستوى: 5 مجموعات متميزة مفاهيمياً (مثل باطل/ملغى، منتقد أو مشكوك فيه، محدود أو متميز) صُممت للتخفيف من حدة التداخل الدلالي الشديد بين الملصقات دقيقة التفاصيل.
• الإعداد التجريبي: قيمت الدراسة أربعة نماذج: Gemini 2.5 Pro من Google، و Gemini 2.5 Flash، و GPT-5-mini من OpenAI، ونموذج Qwen3 (30B) مفتوح المصدر. أُجريت التجارب باستخدام استراتيجيات التلقين صفرية المحتوى (zero-shot) و قليلة المحتوى (few-shot). تم تزويد النماذج باستشهاد القضية الأصلية والنص الكامل للقضية المستشهد بها، وتحديداً الفقرات التي تحلل القضية المستشهد بها.
• مقاييس التقييم: بالإضافة إلى الدقة القياسية القائمة على الحالة (Instance-Based Accuracy)، قدم المؤلفون مقيالي متوسط خطأ الشدة (Average Severity Error) و وسيط خطأ الشدة (Median Severity Error). تقوم هذه المقاييس بربط الملصقات بمقياس شدة (1 للمحايد إلى 5 للباطل) لتكميم الأثر العملي لسوء التصنيف، والتمييز بين الأخطاء الطفيفة (الخلط بين ملصقين سلبيين) والأخطاء الحرجة (الخلط بين معاملة سلبية ومعاملة محايدة).

النتائج الرئيسية
كشفت التجارب عن انقسام في أداء النماذج اعتماداً على تعقيد المخطط:

• المخطط عالي المستوى: حقق نموذج Gemini 2.5 Flash أعلى دقة (79.1% في zero-shot). وقد أدى أداءً استثنائياً في الملصق الأكثر تكراراً، محدود أو متميز (الدقة: 0.947)، لكنه عانى مع الفئات الأقل تمثيلاً مثل الاستشهاد المحايد (F1: 0.400).
• المخطط دقيق التفاصيل: كان GPT-5-mini هو الأفضل أداءً (67.7% في zero-shot)، رغم انخفاض الأداء بشكل كبير بالنسبة للملصقات النادرة. نتج عن سبعة من خمسة عشر ملصقاً دقيق التفاصيل صفر توقعات ناجحة (F1: 0.000)، بما في ذلك معاملات ذات أهمية قانونية مثل تم ردها من قبل و تم التشكيك فيها من قبل.
• تحليل الشدة: من حيث متوسط خطأ الشدة، تصدر Gemini 2.5 Flash مجدداً، محققاً أدنى درجات الخطأ (0.3933 للمستوى العالي، 0.3755 للمستوى دقيق التفاصيل). وكان وسيط خطأ الشدة لأفضل النماذج هو 0.0، مما يشير إلى أنه بالنسبة لأكثر من نصف التوقعات، أنتجت النماذج الملصق الصحيح تماماً.
• النتائج النوعية: كشف تحليل الأخطاء أن النماذج غالباً ما تواجه صعوبة في تحديد "هدف الإجراء القضائي" (الخلط بين ما إذا كانت المحكمة تصحح حجة طرف ما أم تصحح السابقة نفسها) وتواجه غموضاً متأصلاً حيث تتداخل الملصقات المتميزة (مثل منتقد مقابل لم يتم اتباعه) دلالياً وتعتمد على السياق.

المساهمات الرئيسية

1. مجموعة بيانات جديدة: تقدم الورقة مجموعة بيانات متاحة للجمهور، موسومة من قبل خبراء، وتتضمن 239 استشهاداً واقعياً مع سياق النص الكامل وحقيقة أرضية متعددة الملصقات، مما يعالج ندرة البيانات عالية الجودة لهذه المهمة المحددة.
2. إطار تقييم قوي: يقترح المؤلفون مقياس متوسط خطأ الشدة، بحجة أن الدقة القياسية غير كافية للمهام القانونية حيث تختلف تكلفة سوء التصنيف بشكل جذري بناءً على شدة الخطأ.
3. قياس مرجعي ممنهج: يضع هذا العمل خط أساس حاسم لأداء النماذج اللغوية الكبيرة الحديثة في تصنيف معاملة السوابق السلبية، موضحاً أنه بينما تظهر النماذج المملوكة إمكانات كبيرة، إلا أنها تظل مقيدة بعدم توازن الفئات والتعقيد الدلالي المتأصل في الاستدلال القانوني.

الأهمية والادعاءات
تدعي الورقة أنها أول دراسة أكاديمية تقوم بقياس مرجعي ممنهج للنماذج اللغوية الكبيرة الحديثة فيما يتعلق بالتصنيف متعدد الملصقات ودقيق التفاصيل لمعاملات الاستشهاد السلبية. ويؤكد المؤلفون أن عملهم يوفر خط أساس ضرورياً لمهمة معالجة اللغات الطبيعية (NLP) "الناقدة والدقيقة" حيث يحمل سوء التصنيف مخاطر عالية. ويخلصون إلى أنه بينما تمتلك النماذج الرائدة المملوكة القدرة على أتمتة هذا الجانب من البحث القانوني، فإن الأداء الحالي محدود بندرة البيانات والتعقيد الدلالي للاستدلال القانوني. وتشدد الدراسة على أن مقاييس الدقة القياسية غير كافية لهذا المجال، وأن التقييم المقترح القائم على الشدة يقدم تقييماً أكثر واقعية لمدى ملاءمة النماذج للتطبيقات القانونية عالية المخاطر. ويظل المؤلفون متواضعين بشأن الطبيعة القطعية للنتائج، مشيرين إلى أن الذاتية المتأصلة في التفسير القانوني تشير إلى وجود سقف للدقة التي يمكن تحقيقها، وأن النتال يجب النظر إليها كاستكشاف للقدرات الحالية وليس كحكم نهائي على الاستدلال القانوني.