LegalCiteBench: Evaluating Citation Reliability in Legal Language Models
تقدم هذه الورقة LegalCiteBench، وهو معيار مرجعي شامل يوضح أن النماذج اللغوية الكبيرة الحالية تعاني بشكل كبير في مهام الاستشهاد القانوني بنظام الكتاب المفتوح، حيث تولد بشكل متكرر مراجع تبدو منطقية ولكنها غير صحيحة بمعدلات تضليل عالية رغم التحسينات في حجم النماذج أو التدريب المسبق المتخصص في المجال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف طالباً متفوقاً ومثقفاً في كلية الحقوق لمساعدتك في كتابة مذكرة قانونية. تطلب منه البحث عن قضايا محكمة محددة تدعم حجتك. في العالم الحقيقي، سيذهب هذا الطالب إلى مكتبة (أو قاعدة بيانات رقمية)، ويستخرج الكتب بدقة، وينقل أرقام الصفحات والعناوين بشكل مثالي.
لكن في هذه الورقة البحثية، وضع الباحثون الطالب في اختبار "كتاب مغلق". لقد سلبوا منه المكتبة، والإنترنت، والكتب المرجعية. وطلبوا منه الاعتماد فقط على ذاكرته لاسترجاع الأسماء الدقيقة، وأرقام المجلدات، وأرقام الصفحات للقضايا.
هذه الورقة، التي تحمل عنوان LegalCiteBench، هي في الأساس "تقرير درجات" يوضح مدى جودة أداء 21 من "المحامين الآليين" (نماذج الذكاء الاصطناعي) الفائقين الذكاء في اختبار الذاكرة هذا.
المشكلة الكبرى: "التزييف الواثق"
وجد الباحثون نمطاً مخيفاً. فعندما لا تعرف هذه النماذج الإجابة، فهي لا تقول: "لا أعرف". بل تتصرف كطالب واثق ولكنه غير صادق، حيث يخترع عنوان كتاب ورقم صفحة يبدوان حقيقيين ولكنهما غير موجودين في الواقع.
- التشبيه: تخيل أنك تسأل مرشداً سياحياً عن عنوان متحف شهير. إذا كان لا يعرفه، فإن المرشد الجيد سيقول: "لست متأكداً، دعني أتحقق". أما المرشد السيئ فقد يقول: "أوه، إنه بجانب الزاوية تماماً في شارع 123 الوهمي"، ويعطيك وصفاً تفصيلياً للمبنى.
- النتيجة: في هذه الدراسة، عندما كانت نماذج الذكاء الاصطناعي مخطئة، كانت مخطئة بطريقة محددة للغاية: قدمت إجابة ملموسة ومحددة ولكنها مختلقة تماماً. حدث هذا بنسبة 94% إلى 99% لمعظم النماذج. ويطلق عليها الباحثون اسم معدل الإجابة المضللة (MAR).
التحديات الخمسة (أسئلة الاختبار)
بنى الباحثون بنك أسئلة ضخماً (حوالي 24,000 سؤال) بناءً على 1,000 حكم قضائي حقيقي. واختبروا الذكاء الاصطناعي في خمسة أنواع من المهام:
- استرجاع الاستشهاد (اختبار الذاكرة): "إليك موقفاً قانونياً. ما هي القضايا الدقيقة التي تدعم هذا؟"
- النتيجة: فشل الذكاء الاصطناعي فشلاً ذريعاً. حتى أفضل النماذج حصلت على أقل من 7 من أصل 100 نقطة. لم يستطع تذكر "العنوان" الدقيق للقضايا.
- إكمال الاستشهاد (اللغز): "هناك ثلاث قضايا تدعم هذا. ما هي القضيتان الأخريان؟"
- النتيجة: مرة أخرى، فشل الذكاء الاصطناعي. لم يستطع ملء القطع المفقودة من اللغز.
- كشف خطأ الاستشهاد (المصحح اللغوي): "إليك فقرة تحتوي على استشهاد لقضية. هل هي صحيحة، أم أن هناك خطأ مطبعياً؟"
- النتيجة: كان الذكاء الاصطناعي جيداً جداً في هذه المهمة! استطاع رصد الأخطاء عندما كانت الإجابة أمامه مباشرة.
- مطابقة القضية (المحقق): "إليك قصة عن قضية قانونية (مع حذف الأسماء). أي قضية حقيقية هذه؟"
- النتيجة: كان الذكاء الاصطناعي جيداً في هذا، لكن ليس رائعاً. استطاع تخمين القصة، لكنه لم يستطع دائماً تسمية القضية المحددة.
- التحقق من القضية (مدقق الحقائق): "شخص ما يدعي أن هذه القضية تدعم هذه القاعدة. هل هذا صحيح؟"
- النتيجة: كان الذكاء الاصطناعي جيداً جداً في هذا. إذا أعطيته القضية، يمكنه إخبارك ما إذا كانت تُستخدم بشكل صحيح.
النتائج الرئيسية
1. الذاكرة مقابل التدقيق
تظهر الدراسة فجوة هائلة بين إنشاء المعلومات والتحقق منها.
- التشبيه: الأمر يشبه موسيقياً لا يستطيع عزف مقطوعة من الذاكرة (الإنشاء)، ولكنه يستطيع فوراً إخبارك إذا كان شخص آخر يعزف نوتة خاطئة (التحقق). الذكاء الاصطناعي هو مصحح لغوي رائع، ولكنه حافظ ظلمات في التذكر.
2. العقول الأكبر لا تساعد
اختبر الباحثون نماذج صغيرة ونماذج ضخمة ومعقدة للغاية.
- التشبيه: لم يهم إذا كان الطالب في المرحلة الثانوية أو حاصلاً على درجة الدكتوراه. عندما أُغلقت المكتبة، لم يستطع أي منهم تذكر عناوين الكتب بدقة. جعل الذكاء الاصطناعي أكبر لم يحل مشكلة اختلاق استشهادات وهمية.
3. التدريب المتخصص لم يحل المشكلة
اختبروا نموذجاً تم تدريبه خصيصاً على النصوص القانونية (SaulLM).
- النتيجة: كان هذا النموذج رائعاً في رصد الأخطاء (التدقيق)، ولكنه كان لا يزال سيئاً في تذكر الاستشهادات الدقيقة من الذاكرة. معرفة القانون لم تساعده في تذكر أرقام الصفحات المحددة.
4. قول "توقف عن التخمين" لم ينجح
حاول الباحثون حيلة بسيطة: أضافوا ملاحظة إلى التعليمات تقول: "إذا لم تكن متأكداً، فلا تخمن؛ فقط قل أنك لا تعرف".
- النتيجة: ساعد هذا قليلاً. توقف الذكاء الاصطناعي عن اختلاق الإجابات بنسبة أكبر قليلاً (بدأ يقول "لا أعرف" أكثر). ومع ذلك، لم يجعل هذا الذكاء الاصطناعي أفضل في إيجاد الإجابة الصحيحة. لقد جعله فقط يعترف بالهزيمة بشكل أسرع، بدلاً من الكذب.
الخلاصة
تخلص الورقة البحثية إلى أنه إذا طلبت من ذكاء اصطناعي حالي إيجاد قضايا قانونية دون السمار له بالبحث عن الإجابات في قاعدة بيانات، فمن المرجح أن يكذب عليك بثقة عالية.
- التحذير: لا يمكنك الوثوق بالذكاء الاصطناعي لإنشاء استشهادات قانونية من الصفر.
- الحل: يجب استخدام الذكاء الاصطناعي فقط لـ تدقيق الاستشهادات أو إيجادها إذا كان متصلاً بقاعدة بيانات حقيقية وموثقة (مثل أمين مكتبة لديه جهاز كمبيوتر). إذا كان الذكاء الاصطناعي يعمل بمفرده، فمن الخطير جداً الاعتماد عليه لهذه المهمة المحددة.
لم يبنِ الباحثون هذا الاختبار (LegalCiteBench) للقول بأن الذكاء الاصطناعي عديم الفائدة، بل ليكون بمثابة "اختبار جهد" يوضح بالضبط أين تنهار هذه الأدوات، حتى يتمكن المطورون من إصلاحها قبل استخدامها في قاعات المحاكم الحقيقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.