💬 NLP

LP-Eval: Rubric and Dataset for Measuring the Quality of Legal Proposition Generation

تقدم هذه الورقة LP-Eval، وهو معيار تقييم ومجموعة بيانات صُمما معاً بالتعاون مع خبراء قانونيين لتقييم جودة المقترحات القانونية التي تولدها النماذج اللغوية الكبيرة من قرارات محكمة الاتحاد الأوروبي، مما يكشف أنه بينما تنتج النماذج مخرجات عالية الجودة بشكل عام، إلا أن أداءها يتفاوت باختلاف عمر القضية، وأن المقيمين من النماذج اللغوية الكبيرة الموجهين بمعايير التقييم، رغم كونهم أفضل من التقييم المباشر، لا يزالون يفتقرون إلى الحساسية الدقيقة التي يتمتع بها الخبراء البشريون.

المؤلفون الأصليون: Shanshan Xu, Johan Lindholm, Amogh Raina, Henrik Palmer Olsen, Daniel Hershcovich

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shanshan Xu, Johan Lindholm, Amogh Raina, Henrik Palmer Olsen, Daniel Hershcovich

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محامٍ يحاول شرح حكم قضائي معقد لموكلك. أنت لا تريد قراءة الوثية المكونة من 50 صفحة بأكملها له؛ بل تريد تلخيصها في جملة واحدة واضحة وقوية تلخص "قاعدة اللعبة". في العالم القانوني، تسمى هذه الجملة الملخصة "المقترح القانوني" (Legal Proposition).

هذه الورقة البحثية تدور حول تعليم الحواسيب (وتحديداً النماذج اللغوية الكبيرة "LLMs") كيفية كتابة هذه الجمل الملخصة تلقائياً، ثم معرفة كيفية تقييمها بشكل عادل.

إليك تفصيل البحث، مشروحاً ببساًطة:

1. المشكلة: العثور على "المعيار الذهبي" أمر صعب

في العديد من المهام الحاسوبية، يمكنك بسهولة التحقق مما إذا كانت الإجابة صحيحة أم خاطئة (مثل مسألة رياضية). لكن في القانون، نادراً ما توجد طريقة واحدة "صحيحة" لتلخيص قاعدة ما. يمكنك القول: "القانون ينص على X"، أو "بموجب الشرط Y، ينطبق X". كلاهما قد يكون صحيحاً، لكنهما يبدوان مختلفين.

بسبب هذا، لا تعمل أدوات التقييم الحاسوبية القديمة (التي تعتمد فقط على عد الكلمات المتطابقة). فهي لا تستطيع تمييز ما إذا كانت الجملة "تبدو" كقانون ولكنها في الواقع تعني شيئاً مختلفاً تماماً. كما أن الحواسيب أحياناً "تهلوس" (Hallucinate)—أي أنها تخترع قواعد غير موجودة.

2. الحل: "تقرير درجات قانوني" (نموذج التقييم/الروبريك)

لحل هذه المشكلة، عمل الباحثون مع أساتذة قانون حقيقيين لإنشاء "نموذج تقييم" (Rubric) يسمى LP-Eval. فكر في الأمر كأنه تقرير درجات لمقال طالب، ولكنه مخصص للقواعد القانونية.

بدلاً من إعطاء درجة واحدة مثل "+B"، يفحص النموذج شيئين رئيسيين:

الهيكل (الصلاحية الشكلية): هل تحتوي الجملة على العظام الثلاثة الضرورية؟
- الموقف (Stance): هل تتخذ موقفاً؟
- الموضوع (Object): هل تتحدث عن قاعدة قانونية (وليس مجرد حقيقة)؟
- التحديد (Specification): هل هي محددة بما يكفي؟
- إذا كان هناك عظمة مفقودة، تُعتبر الجملة "غير صالحة".
اللحم (أبعاد الجودة): إذا كان الهيكل جيداً، فما مدى جودة الكتابة؟
- الإيجاز (Conciseness): هل هي قصيرة وموجزة، أم مطولة ومسهبة؟
- الأمانة (Fidelity): هل تلتزم بالنص الأصلي، أم اخترعت أشياء من عندها؟
- العمومية (Generality): هل هي قاعدة عامة، أم أنها تنطبق فقط على تفصيل صغير جداً؟

3. التجربة: تعليم الكمبيوتر

أخذ الباحثون 100 فقرة من قرارات حقيقية لمحكمة الاتحاد الأوروبي وطلبوا من ثلاثة نماذج ذكاء اصطناعي مختلفة كتابة مقترحات قانونية لها. ثم جعلوا خبيرين قانونيين بشريين يقيمان مخرجات الذكاء الاصطناعي باستخدام "نموذج التقييم" الجديد.

ما وجدوه:

الذكاء الاصطناعي جيد في الأساسيات: معظم الجمل التي أنتجها الذكاء الاصطناعي كانت "صالحة" (أي أنها تمتلك العظام الصحيحة).
القضايا القديمة مقابل القضايا الجديدة: أدى الذكاء الاصطناعي عملاً أفضل بكثير في تلخيص القضايا القديمة والمشهورة (التي يعرفها الجميع وتحدث عنها الناس لسنوات) مقارنة بـ القضايا الجديدة والحديثة. الأمر يشبه كيف يمكن للطالب أن يتفوق في اختبار عن قصة كلاسيكية قرأها مئات المرات، بينما يعاني في قصة نُشرت بالأمس.
الذكاء الاصطناعي كمقيم: طلب الباحثون أيضاً من الذكاء الاصطناعي تقييم عمل الذكاء الاصطناعي الآخر.
- أخبار جيدة: عندما استخدم الذكاء الاصطناعي "نموذج التقييم" التفصيلي، فقد اتفق مع الخبراء البشريين في كثير من الأحيان أكثر مما لو حاول إعطاء درجة إجمالية واحدة فقط.
- أخبار سيئة: حتى مع وجود نموذج التقييم، كان الذكاء الاصطناعي "فاقداً للإحساس بالواقع" (Tone-deaf). لم يستطع رصد الفروق الدقيقة بين ملخص "جيد" لقضية قديمة وملخص "جيد" لقضية جديدة. الخبراء البشريون استطاعوا الشعور بالفرق، أما الذكاء الاصطناعي فكان يراهما متشابهين تقريباً.

4. مجموعة البيانات

لم يكتفِ الفريق بإجراء التجربة فحسب، بل أتاحوا "الواجب المنزلي" للجمهور. لقد صنعوا مجموعة بيانات تحتوي على:

الفقرات الأصلية للمحكمة.
محاولات الذكاء الاصطناعي للتلخيص.
الدرجات والملاحظات التفصيلية للخبراء البشريين.

الخلاصة

تظهر هذه الورقة أن الحواسيب بدأت تصبح جيدة في كتابة الملخصات القانونية، خاصة بالنسبة للقوانين المعروفة جيداً. ومع ذلك، لا تزال تواجه صعوبة في التعامل مع القضايا الجديدة والمعقدة. علاوة على ذلك، إذا أردت من الكمبيوتر أن يقيم العمل القانوني، فلا يمكنك مجرد سؤاله "هل هذا جيد؟"، بل يجب أن تعطيه قائمة مراجعة (نموذج تقييم) مفصلة ليتبعها، وإلا فإنه سيفقد التفاصيل المهمة التي يلاحظها الخبراء البشريون.

باختصار: يمكن للحواسيب كتابة القواعد القانونية، ويمكنها تقييمها إذا أُعطيت قائمة مراجعة صارمة، لكنها لا تزال تفتقر إلى "الحدس القانوني" للتمييز بين قضية كلاسيكية وأخرى حديثة.

ملخص تقني: LP-Eval: معيار ومجموعة بيانات لقياس جودة توليد المقترحات القانونية

بيان المشكلة

يعد توليد المقترحات القانونية — وهي مهمة استخراج العبارات المعيارية (القواعد، والمبادئ، والشروط، والنتائج) من النصوص القانونية — عنصرًا أساسيًا في الاستدلال القانوني والبحث الفقهي. وعلى الرغم من مركزية هذه المهمة في الممارسة القانونية وتنظيم المعرفة القانونية، إلا أنها لا تزال غير مدروسة بشكل كافٍ في مجال معالجة اللغات الطبيعية القانونية (Legal NLP). لقد ركزت الأبحاث الحالية إلى حد كبير على استرجاع السوابق، والتنبؤ بالأحكام، أو تلخيص القضايا، وغالبًا ما تعاملت مع المعايير القانونية بشكل ضمني بدلاً من صريح.

ويتمثل أحد العوائق الرئيسية أمام التقدم في هذا المجال في غياب منهجيات تقييم قوية. فتوليد المقترحات القانونية هو مهمة مفتوحة النتائج حيث يمكن أن توجد مخرجات متعددة صحيحة، كما أن الاختلافات الطفيفة في الصياغة يمكن أن تغير المعنى القانوني. وبناءً على ذلك، فإن مقاييس n-gram القياسية مثل BLEU وROUGE لا تصلح لهذا الغرض لأنها تقيس التداخل السطحي بدلاً من الدقة القانونية. علاوة على ذلك، ورغم أن النماذج اللغوية الكبيرة (LLMs) تظهر وعودًا كـ "مقَيِّم عبر نموذج لغوي كبير" (LLM-as-a-judge)، إلا أنها عرضة للهلوسة وغالبًا ما تفتقر إلى الدقة المطلوبة للتمييز بين المخرجات عالية الجودة ومنخفضة الجودة دون توجيه مهيكل.

المنهجية

معيار LP-Eval

لمعالجة فجوة التقييم، قدم المؤلفون LP-Eval، وهو معيار تقييم مكون من ثلاث خطوات تم تصميمه بالتعاون مع خبراء قانونيين. يقوم المعيار بتفكيك جودة المقترح القانوني (LP) المولد إلى فئتين رئيسيتين:

الصلاحية الشكلية (المكونات المطلوبة): يُعتبر المقترح القانوني صالحًا فقط إذا احتوى على ثلاثة عناصر هيكلية محددة:
- الموقف (Stance): الموقف المعياري (مثل: "يفرض واجبًا"، "يحظر").
- الموضوع (Object): الكيان أو الحق الذي يتم تنظيمه.
- التخصيص (Specification): الشروط أو النطاق أو النتائج الخاصة بالقاعدة.
- ملاحظة: إذا فُقد أي مكون، يُصنف المقترح على أنه غير صالح (INVALID).
أبعاد الجودة (التسجيل): يتم تسجيل المقترحات الصالحة على مقياس ليكرت (Likert) من 1 إلى 3 عبر خمسة أبعاد:
- الاستقلالية عن المصدر (Source Independence): درجة تجرد المقترح عن وقائع قضية محددة.
- الاستقلالية عن الوقائع (Fact Independence): مشابهة للاستقلالية عن المصدر، وتركز على إزالة التفاصيل الواقعية.
- الإيجاز (Conciseness): الاختصار وعدم التكرار.
- العمومية (Generality): قابلية تطبيق القاعدة بما يتجاوز الحالة الراهنة.
- الأمانة (Fidelity): مدى الالتزام بالنص المصدر الموثوق.

بناء مجموعة البيانات

أصدر المؤلفون مجموعة بيانات تضم 100 مقترح قانوني مولد بواسطة نماذج لغوية كبيرة مستمدة من 50 فقرة تم أخذ عينات منها من 10 قرارات لمحكمة العدل للاتحاد الأوروبي (CJEU).

استراتيجية أخذ العينات: لاختبار حفظ بيانات التدريب، تتضمن مجموعة البيانات مزيجًا من القضايا الراسخة (عالية الاقتباس، قديمة) والقضايا الحديثة.
التوليد: تم استخدام ثلاثة نماذج لتوليد المقترحات: GPT-OSS (بمعلمات قدرها 120 مليار)، وOLMo-3-7B-Instruct، وSaul-7B-Instruct (متخصص قانونيًا).
التعليق التوضيحي: قام خبيران قانونيان (باحث دكتوراه وطالب قانون في السنة النهائية) بالتعليق على مخرجات GPT-OSS وOLMo باستخدام معيار LP-Eval. وكان الاتفاق بين المعلقين مرتفعًا (Gwet's AC1 = 0.96)، مما يؤكد وضوح المعيار.

التصميم التجريبي

تتقصى الدراسة مهمتين:

النموذج اللغوي الكبير كمولد: تقييم جودة المقترحات التي تولدها النماذج اللغية الكبيرة مقابل التعليقات التوضيحية للخبراء.
النموذج اللغوي الكبير كمقيم: تقييم ما إذا كانت النماذج اللغية الكبيرة يمكنها محاكاة أحكام الخبراء. وقد تم اختبار ذلك في وضعين:
- الموجه بالمعيار (Rubric-Guided): يتبع النموذج اللغي الكبير بروتوكول LP-Eval خطوة بخطوة (التحقق من المكونات، ثم تسجيل الأبعاد).
- التسجيل المباشر (Direct Scoring): يقدم النموذج اللغي الكبير درجة إجمالية فقط دون الخطوات الوسيطة.

النتائج الرئيسية

1. جودة التوليد

الصلاحية الشكلية: أظهرت النماذج اللغية الكبيرة قدرة قوية على توليد مقترحات صالحة هيكليًا. فقد تم تقييم 95 من أصل 100 مقترح بأنها صحيحة (VALID). وكان نمط الفشل الرئيسي هو إغفال مكون "الموضوع" (العبارة المعيارية)، والذي ثبت أيضًا أنه المكون الأكثر صعوبة في تحقيق اتفاق بين المعلقين البشر.
درجات الجودة: منح الخبراء درجات متوسطة عالية لـ الأمانة (2.95/3) والاستقلالية عن الوقائع (2.96/3)، مما يشير إلى أن النماذج نجحت في التجريد من وقائع محددة مع البقاء أمينة للنص. بينما حصلت الاستقلالية عن المصدر (2.31/3) والإيجاز (2.48/3) على درجات أقل قليلاً، مما يشير إلى وجود تكرار أو إشارات صريحة للمصدر أحيانًا.
تأثير بروز القضية: وُجد فرق ذو دلالة إحصائية بين المقترحات المستمدة من القضايا الراسخة مقابل القضايا الحديثة. فقد تم تقييم المقترحات المستمدة من القضايا الراسخة بدرجات أعلى بشكل ملحوظ في الإيجاز ( $p=0.02$ )، والاستقلالية عن المصدر ( $p<10^{-5}$ )، والجودة الإجمالية ( $p<0.001$ ). وهذا يشيع أن النماذج اللغية الكبيرة تؤدي بشكل أفضل في القضايا الأكثر رسوخًا، وربما الأكثر حفظًا في بيانات التدريب.

2. أداء التقييم

المواءمة مع المعيار: عند استخدام معيار LP-Eval، حقق GPT-OSS توافقًا عاليًا مع الخبراء البشر (AC1 = 0.91–0.93)، وهو ما يقارب اتفاق الخبراء فيما بينهم (0.94).
أهمية الهيكل: أدى إزالة خطوات المعيار وطلب درجة إجمالية مباشرة إلى انخفاض الاتفاق إلى 0.85، مما يثبت أن التوجيه المهيكل أمر بالغ الأهمية للمقيمين من النماذج اللغية الكبيرة.
حدود الحساسية: بينما تماشى النماذج اللغية الكبيرة الموجهة بالمعيار جيدًا مع الخبراء في الدرجات الإجمالية، إلا أنها فشلت في اكتشاف الاختلافات النوعية ذات الدلالة الإحصائية بين القضايا الراسخة والحديثة التي حددها الخبراء البشر. وهذا يشير إلى أنه بينما يمكن للنماذج اللغية الكبيرة محاكة تسجيل الخبراء، إلا أنها تفتقر إلى الحساسية اللازمة لالتقاط التمييزات النوعية الدقيقة المتعلقة ببروز القضية.

الأهمية والمساهمات

يقدم البحث ثلاث مساهمات رئيسية في مجال معالجة اللغات الطبيعية القانونية:

معيار LP-Eval: يقدم أول إطار تقييم مهيكل ومصمم من قبل خبراء مخصص لتوليد المقترحات القانونية، متجاوزًا المقاييس السطحية لتقييم الصلاحية الشكلية وأبعاد الجودة الجوهرية.
مجموعة بيانات LP-Eval: يوفر مجموعة بيانات منسقة تضم 100 مقترح قانوني تم التعليق عليها من قبل خبراء من قرارات محكمة العدل للاتحاد الأوروبي، مما يوفر معيارًا للأبحاث المستقبلية في الاستدلال والتوليد القانوني.
الرؤى التجريبية: تقدم الدراسة أول دليل منهجي على أن:
- النماذج اللغية الكبيرة يمكنها توليد مقترحات قانونية عالية الجودة وصالحة شكليًا.
- جودة التوليد ترتبط ببروز وعمر القضية المصدر، ويرجع ذلك على الأرجاح إلى تأثيرات بيانات التدريب.
- التقييم الموجه بالمعيار للنماذج اللغية الكبيرة يعد بديلًا قابلًا للتطبيق للتقييم البشري من حيث المواءمة العامة، ولكنه يفتقر حاليًا إلى الحساسية اللازمة لاكتشاف التباينات الدقيقة في التجريد القانوني التي يدركها الخبراء البشر.

يخلص المؤلفون إلى أنه بينما تعد النماذج اللغية الكبيرة واعدة في أتمتة توليد المقترحات القانونية وتقييمها، إلا أن النماذج الحالية تظل غير كافية الحساسية تجاه التمييزات الدقيقة وعالية المخاطر المتأصلة في الاستدلال القانوني، مما يستوجب الاستمرار في الاعتماد على الخبرة البشرية للتقييم الدقيق.