💬 NLP

Evaluating Legal Reasoning Traces with Legal Issue Tree Rubrics

تقدم هذه المساهمة مجموعة بيانات LEGIT، وهي مجموعة بيانات واسعة النطاق تضم 24,000 مسار استدلال قانوني بمستوى الخبراء مهيكلة كأشجار مشكلات هرمية، وتعمل كإطار تقييم قوي لتقييم وتوضيح كيف يمكن لتعزيز التوليد باسترجاع المعلومات والتعلم التعزيزي أن يتكاملا لتعزيز شمولية وصحة الاستدلال القانوني في النماذج اللغوية الكبيرة.

المؤلفون الأصليون: Jinu Lee, Kyoung-Woon On, Simeng Han, Arman Cohan, Julia Hockenmaier

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jinu Lee, Kyoung-Woon On, Simeng Han, Arman Cohan, Julia Hockenmaier

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك وظفت محامياً مبتدئاً لمساعدتك في حل لغز قانوني معقد. أنت لا تريد منه مجرد تخمين النتيجة النهائية (مثل "سيدفع المدعى عليه 50,000 دولار")؛ بل يجب عليك مراجعة "دفتر ملاحظاته". هل نظر في جميع الأدلة الصحيحة؟ هل ربط النقاط ببعضها بشكل صحيح؟ أم أنه أغفل قطعة حاسمة من الأدلة ومع ذلك وصل إلى النتيجة الصحيحة عن طريق الصدفة؟

هذا العمل، الذي يحمل عنوان "تقييم مسارات الاستدلال القانوني باستخدام نماذج شجرة القضايا القانونية"، يقدم طريقة جديدة لتقييم المحامين الآليين (نماذج اللغات الكبيرة) ليس فقط من خلال حكمهم النهائي، ولكن من خلال جودة عملية استدلالهم.

إليك تفصيل لعملهم باستخدام تشبيهات بسيطة:

1. المشكلة: "الصندوق الأسود" لاستدلال الذكاء الاصطناعي

تتفوق نماذج الذكاء الاصطناعي الحالية في حل المسائل الرياضية أو كتابة الأكواد البرمجية لأن الإجابات عادة ما تكون صحيحة أو خاطئة بشكل واضح. أما في القانون، فالأمر أكثر فوضوية. قد يتوقع الذكاء الاصطناعي الحكم القضائي الصحيح (على سبيل المثال: "تُرفض الدعوى")، ولكنه يصل إلى ذلك عبر تجاهل حقائق مهمة أو تطبيق منطق معيب.

إذا سألت الذكاء الاصطناعي: "لماذا قررت المحكمة بهذا الشكل؟" وقدم تفسيراً خاطئاً، فإن ذلك يعد أمراً خطيراً في المجالات عالية المخاطر مثل القانون. الطرق الحالية لتقييم "مسارات الاستدلال" هذه (خطوات التفكير المتتالية) غامضة للغاية، تماماً مثل معلم يعطي طالباً درجة "جيد" في مقال دون شرح السبب.

2. الحل: LEGIT (شجرة القضايا القانونية)

أنشأ المؤلفون مجموعة بيانات ضخمة وجديدة تسمى LEGIT (أشجار القضايا القانونية). تخيل القضية القانونية ليس كسؤال واحد، بل كـ شجرة عائلة من الحجج.

الجذر: الادعاء الرئيسي (مثلاً: "ادفع لي أموال التأمين الخاصة بي").
الأغصان: لإثبات الجذر، يجب إثبات أشياء أصغر (مثلاً: "هل كان الحدث مفاجئاً؟"، "هل كان خارجياً؟"، "هل كانت هناك حالة مرضية سابقة؟").
الأوراق: الحقائق المحددة (مثلاً: "الضحية اختنقت بقطعة من كعكة الأرز").

في LEGIT، قاموا بتحويل الأحكام القضائية الحقيقية إلى هذه الأشجار المهيكلة. تعمل هذه الشجرة كـ نموذج تقييم (قائمة مراجعة).

3. كيف يقيمون الذكاء الاصطناعي: تشبيه "نموذج التقييم"

بدلاً من سؤال الذكاء الاصطناعي: "هل هذا الاستدلال جيد؟" (وهو سؤال غامض)، يطلبون منه التحقق من مربعات محددة مقابل "شجرة القضايا":

التغطية (Coverage): هل ذكر الذكاء الاصطناعي هذا الغصن المحدد من الشجرة؟ (هل لاحظ حجة "الحالة المرضية السابقة"؟)
الدقة (Accuracy): هل توصل الذكاء الاصطناعي إلى الاستنتاج الصحيح لهذا الغصن؟ (هل قرر بشكل صحيح أن الحالة المرضية السابقة هي التي تسببت على الأرجح في الوفاة؟)

لقد عرضوا مجموعة البيانات هذه على محامين بشريين للتقييم. وقد اتفق المحامون بشكل شبه تام، مما يثبت أن طريقة "الشجرة" هذه هي وسيلة عادلة وموضوعية لتقييم الاستدلال القانوني.

4. ماذا وجدوا: نقاط ضعف الذكاء الاصطناعي

عندما اختبروا أفضل نماذج الذكاء الاصطناعي على LEGIT، وجدوا أن حتى أذكى الأنظمة تعاني. لقد حددوا نوعين رئيسيين من "الأخطاء":

خطأ التفكيك (Decomposition Error) (الأغصان المفقودة): ينسى الذكاء الاصطناعي النظر في غصن كامل من الشجرة. إنه يتجاهل تماماً سؤالاً قانونياً حاسماً.
خطأ الاستنتاج (Deduction Error) (المنطق المعيب): ينظر الذكاء الاصطناعي إلى الغصن ولكنه يستخلص استنتاجاً خاطئاً من الحقائق.

الاكتشاف الكبير: إذا أغفل الذكاء الاصطناعي غصناً واحداً أو أخطأ في تقدير غصن صغير، فإنه في الغالب سيصل إلى النتيجة النهائية الخاطئة أيضاً. لا يمكنك بناء منزل مستقر إذا تخطيت الأساسات أو استخدمت أخشاباً مهترئة للجسور.

5. طريقتان لتحسين الذكاء الاصطناعي: RAG مقابل RL

اختبر المؤلفون طريقتين شائعتين لتحسين الذكاء الاصطناعي ووجدا أن لهما تأثيرات متضادة:

RAG (التوليد المعزز بالاسترجاع): "الاختبار المفتوح"
- كيف يعمل: قبل أن يجيب الذكاء الاصطناعي، يقوم النظام بالبحث في مكتبة من القوانين والقضايا السابقة ويقدم الصفحات ذات الصلة للذكاء الاصطناعي.
- النتيجة: يصبح الذكاء الاصطناعي "باحثاً" أفضل. فهو يجد المزيد من أغصان الشجرة (تغطية أفضل) ويحتج بشكل أفضل لأنه يمتلك القواعد أمامه. إنه يحسن كل شيء.
RL (التعلم التعزيزي): "مدرب الصاعقة"
- كيف يعمل: يتم تدريب الذكاء الاصطناعي بواسطة قاضٍ حاسوبي لا يمنح النقاط إلا إذا حصل على النتيجة النهائية الصحيحة.
- النتيجة: يصبح الذكاء الاصطناعي "مخمناً شديد التركيز". فهو يصل إلى الحكم النهائي بشكل صحيح في كثير من الأحيان (دقة أفضل) ولكنه يبدأ في تخطي الأغصان الصعبة والمعقدة لتجنب الأخطاء. إنه يضحي بـ التغطية في سبيل الدقة.

الخلاصة الجوهرية: يساعد RAG الذكاء الاصطناعي على فهم الصورة الكاملة، بينما يساعد RL الذكاء الاصطناعي على الوصول إلى الإجابة النهائية الصحيحة ولكنه يجعله كسولاً بشأن فحص كل التفاصيل. يقترح المؤلفون استخدام كليهما معاً لتحقيق أفضل النتائج.

ملخص

أنتج هذا العمل "مفتاح تصحيح" ضخماً ومنظماً يعتمد على قضايا حقيقية لتعليمنا كيفية تقييم المحامين الآليين. وجدوا أن أنظمة الذكاء الاصطناعي الحالية غالباً ما تغفل تفاصيل قانونية مهمة أو تستدل بشكل ضعيف، وأنه بينما يساعد منحهم الوصول إلى القوان Laws (RAG) على التفكير بشكل واسع، فإن تدريبهم فقط على "إعطاء الإجابة الصحيحة" (RL) يجعلهم يتخطون الخطوات. لإنشاء ذكاء اصطناعي موثوق حقاً للقانون، يجب علينا مراجعة دفاتر ملاحظاتهم، وليس مجرد درجاتهم النهائية.

إليك ملخص تقني مفصل لورقة "تقييم آثار الاستدلال القانوني باستخدام قواعد أشجار القضايا القانونية" (LEGIT).

1. بيان المشكلة

يعد تقييم النماذج اللغوية الكبيرة (LLMs) في المجالات المتخصصة مثل القانون أمراً بالغ الأهمية لضمان المصداقية والقابلية للتفسير، ومع ذلك لا يزال يمثل تحدياً كبيًرا.

محدودية المعايير الحالية: تركز مجموعات البيانات الحالية للتنبؤ بالأحكام القانونية (LJP) حصرياً على التنبؤ بالحكم النهائي للمحكمة (مثل "ربح" أو "خسارة"). وهي تتجاهل جودة "سلسلة الأفكار" (Chain-of-Thought) المتوسطة، وهو أمر بالغ الأهمية في المجالات عالية المخاطر.
فجوات التقييم: تفشل مقاييس التقييم القياسية في استيعاب بُعدين أساسيين في المحاججة القانونية:
1. تغطية القضايا: هل حدد النموذج جميع القضايا القانونية والمسائل الفرعية ذات الصلة؟
2. صحة القضايا: هل استنتج النموذج الحقائق والقوانق المتعلقة بهذه القضايا المحددة بشكل صحيح؟
موثوقية "النموذج اللغوي كحكم": تفتقر نهج "النموذج اللغوي كحكم" العامة غالباً إلى الدقة النوعية المطلوبة لتقييم الحجج القانونية المعقدة، مما يؤدي إلى تقييمات غير متسقة أو سطحية.

2. المنهجية: إطار عمل LEGIT

قدم المؤلفون إطار عمل LEGIT (أشجار القضايا القانونية)، وهو إطار عمل جديد يتكون من مجموعة بيانات واسعة النطاق ومنهجية تقييم مهيكلة.

أ. مجموعة بيانات LEGIT

النطاق والمصدر: مجموعة بيانات تضم 24,406 حكماً من أحكام المحاكم المدنية والإدارية الكورية.
معايير الاختيار: تم اختيار الأحكام الحتمية فقط (حيث يكون المخرج منصوصاً عليه بموجب القانون؛ واستُبعدت القضايا التي تتطلب تقديراً قضائياً، مثل نطاقات النطق بالعقوبة).
الهيكل:
- استخراج الحقائق: بدلاً من استخدام أقسام "الحقائق" الخام، يقوم نموذج لغوي كبير باستخراج "حقائق ذرية" (أحداث واقعية موحدة) ويولد سرداً متماسكاً للقضية.
- أشجار القضايا القانونية: الابتكار الجوهري. يتم تحويل أحكام المحاكم إلى أشجار هرمية، حيث:
  - الجذر: الغرض من الدعوى والحكم النهائي للمحكمة.
  - العقد الداخلية: قضايا قانونية مفككة إلى مسائل فرعية (مثال: "هل كان الحادث خارجياً؟" $\leftarrow$ "هل تعرض الضحية للاختناق؟").
  - الأوراق: حقائق ذرية واستنتاجات قائمة على المنطق العام.
- القواعد (Rubrics): تعمل كل عقدة في الشجرة كقاعدة محددة للتقييم وتحتوي على حجة الطرف وكذلك استنتاج المحكمة.

ب. مقياس التقييم: درجة LEGIT

يقيم إطار العمل استجابات النماذج اللغوية الكبيرة باستخدام مقياس من 10 نقاط يتكون من ثلاثة مكونات موزونة:

صحة الحكم النهائي (5 نقاط): درجة ثنائية (5 إذا تطابق الحكم النهائي مع الحقيقة الأرضية، وإلا 0).
تغطية القضايا (نقطتان): تقيس ما إذا كان النموذج قد حدد القضايا القانونية الواردة في شجرة الحقيقة الأرضية. الدرجة = $2/N$ لكل قضية مغطاة ( $N$ = إجمالي عدد القضايا غير الجذرية).
صحة القضايا (3 نقاط): تقيس ما إذا كان النموذج قد تنبأ بالاستنتاج الصحيح للقضايا المغطاة. الدرجة = $3/N$ لكل قضية تم استنتاجها بشكل صحيح.

ج. التحقق من الموثوقية

المواءمة مع الخبراء البشر: تحقق المؤلفون من صحة القواعد من خلال جعل محامين كوريين مرخصين يقومون بتوسيم البيانات. حقق المحامون معامل كريبندورف ألفا ( $\alpha$ ) قدره 0.87، مما يشير إلى توافق عالٍ بين المقيمين وموضوعية القواعد.
النموذج اللغوي كحكم: حققت النماذج اللغوية القوية (مثل GPT-4.1 وGemini-2.5) توافقاً كبيراً ( $\alpha \approx 0.62-0.74$ ) مع الخبراء البشر عند استخدام قواعد LEGIT، متفوقة على تقييمات مقياس ليكرت الفضفاضة.

3. المساهمات الرئيسية

مجموعة بيانات LEGIT: أول معيار ضخم للتنبؤ بالأحكام القانونية يحتوي على آثار استدلال هيكلية وهرمية (أشجار القضايا القانونية) بدلاً من مجرد الإجابات النهائية.
القواعد المهيكلة: طريقة لاستخراج قواعد دقيقة وخاصة بكل حالة تلقائياً من أحكام المحاكم، مما يسمح بتقييم قابل للتوسع ومتوافق مع الخبراء.
تصنيف الأخطاء: تحديد نمطين متميزين من أخطاء الاستدلال القانوني:
- أخطاء التفكيك: الفشل في تحديد المسائل الفرعية ذات الصلة (نقص التغطية).
- أخطاء الاستنتاج: الفشل في استنتاج الحقائق/القوانين بشكل صحيح للمسائل المحددة (نقص الصحة).
استراتيجيات التحسين المتكاملة: أدلة تجريبية حول كيفية تأثير التوليد المعزز بالاسترجاع (RAG) والتعلم التعزيزي (RL) بشكل مختلف على الاستدلال.

4. النتائج الرئيسية

أ. أداء النماذج اللغوية الكبيرة المتطورة

حتى أكثر النماذج تقدماً (مثل GPT-4.1 وGemini-2.5) تعاني مع LEGIT.

أعلى درجة تم تحقيقها هي 5.71/10 (GPT-4.1).
تحليل الأخطاء: ترتكب النماذج بشكل متكرر أخطاء التفكيك (فقدان المسائل الفرعية) أو أخطاء الاستنتاج (منطق خاطئ فيما يتعلق بالحقائق). تنتشر هذه الأخطاء عبر الشجرة، مما يؤدي إلى فشل التنبؤ بالحكم النهائي.

ب. تأثير RAG مقابل RL

اختبرت الدراسة طريقتين لتحسين المحاججة القانونية:

التوليد المعزز بالاسترجاع (RAG):
- الأثر: يحسن جميع المكونات (التغطية، الصحة، والحكم النهائي).
- الآلية: يساعد توفير القوانين ذات الصلة والاستشهادات القضائية النموذج على تحديد المزيد من القضايا والمحاججة بدقة أكبر.
التعلم التعزيزي (RL) باستخدام قواعد LEGIT:
- الأثر: يحسن بشكل كبير الحكم النهائي وصحة القضايا، ولكنه يقلل من تغطية القضايا.
- الآلية: يتعلم النموذج "اللعب بأمان" من خلال التركيز فقط على القضايا التي لديه ثقة عالية فيها لتعظيم المكافأة، وبالتالي يستبعد المسائل الفرعية غير المؤكدة (ولكنها قد تكون ذات صلة).
الاستنتاج: تقدم تقنيتا RAG وRL فوائد متكاملة. يعمل RAG على توسيع قاعدة معرفة النموذج وتحديد القضايا، بينما يعمل RL على صقل دقة استدلاله في القضايا المحددة.

ج. اتساق التقييم

قواعد LEGIT مقابل مقياس ليكرت: أظهرت قواعد LEGIT النمطية توافقاً أعلى بكثير بين المقيمين من النماذج اللغوية مقارنة بطلبات مقياس ليكرت الفضفاضة، مما يثبت أن التقييم الهيكلي والمفصل أكثر قوة.

5. الأهمية والعمل المستقبلي

تطوير الذكاء الاصطناوي الخبير: يتجاوز LEGIT مجرد التنبؤ بالإجابة لتقييم عملية التفكير، وهو أمر ضروري لبناء الثقة في المجالات عالية المخاطر مثل القانون والطب.
التقييم الخبير القابل للتوسع: من خلال أتمتة استخراج القواعد من الأحكام، توضح الورقة مساراً لإنشاء مجموعات بيانات تقييم عالية الجودة دون تكاليف باهظة للوسم البشري.
تحول في نموذج التدريب: تشير النتائج إلى أن تحسين جودة أثر الاستدلال (عبر RL على القواعد) يؤدي إلى نتائج نهائية أفضل من التحسين الموجه فقط نحو الإجابة النهائية. وهذا يتحدى نموذج مكافأة "الإجابة فقط" الشائع في الرياضيات والبرمجة.
القيود: تقتصر مجموعة البيانات الحالية على النظام القانوني الكوري واللغة الكورية. يقترح المؤلفون توسيع هذا الإطار ليشمل أنظمة قانونية ولغات أخرى كعمل مستقبلي.

باختصار، يقدم LEGIT إطار عمل صارماً، مهيكلاً، وقابلاً للتوسع لتقييم وتحسين قدرات الاستدلال القانوني للنماذج اللغوية الكبيرة، مؤكداً أن الذكاء القانوني الحقيقي يتطلب كلاً من التغطية الشاملة للقضايا والاستنتاج المنطقي الدقيق.