Legal-DC: Benchmarking Retrieval-Augmented Generation for Legal Documents
تقدم هذه الورقة Legal-DC، وهي مجموعة بيانات معيارية متخصصة وإطار عمل LegRAG الذي يتميز بالفهرسة التكيفية القانونية والتفكير الذاتي ثنائي المسار، لمعالجة أوجه القصور في نماذج التوليد المعزز بالاسترجاع (RAG) للقانون الصيني وإثبات الأداء المتفوق على الأساليب الحالية الرائدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز قانوني معقد، مثل معرفة ما إذا كان مالك طائرة بدون طيار (درون) بحاجة لتسجيل جهازه. تسأل مساعد ذكاء اصطناعي فائق الذكاء عن الإجابة.
في الماضي، ربما كان هذا الذكاء الاصطناعي "يهلوس" — أي يبتدع إجابة تبدو واثقة ولكنها خاطئة تماماً لأنه كان يعتمد على ذاكرته، التي قد تكون قديمة أو مشوشة.
ولإصلاح ذلك، بنى الباحثون نظاماً يسمى RAG (التوليد المعزز بالاسترجاع). فكر في RAG ليس كطالب يؤدي اختباراً من ذاكرته، بل كطالب مسموح له باستخدام كتابه المدرسي أثناء الإجابة. يقوم الذكاء الاصطناعي أولاً بالبحث عن الصفحات ذات الصلة في كتب القانون (الاسترجاع/Retrieval) ثم يكتب الإجابة بناءً فقط على ما وجده (التوليد/Generation).
ومع ذلك، وجد الباحثون في هذه الورقة مشكلتين كبيرتين في كيفية تنفيذ ذلك حالياً في الصين:
- الاختبار كان معيباً: لم تكن هناك طريقة جيدة لتقييم الذكاء الاصطناعي. هل وجد الصفحة الصحيحة في الكتاب المدرسي؟ هل قرأها بشكل صحيح؟ الاختبارات الحالية كانت تتحقق فقط من الإجابة النهائية، وليس من عملية البحث.
- الكتب المدرسية كانت فوضوية: الوثائق القانونية مهيكلة مثل مبنى يتكون من طوابق، وغرف، وممرات. أدوات الذكاء الاصطناعي القياسية غالباً ما تقطع هذه الوثائق إلى قطع عشوائية وفوضوية، مما يكسر التدفق المنطقي للقانون.
إليك كيف أصلح المؤلفون هذه المشكلات، مشروحة ببساطة:
1. "قاعة الامتحان" الجديدة: Legal-DC
أنشأ المؤلفون اختباراً جديداً ومتخصصاً يسمى Legal-DC.
- المكتبة: جمعوا 480 وثيقة قانونية صينية حقيقية (تغطي أموراً مثل قواعد الأعمال، العقود، وسلامة الغذاء).
- الأسئلة: أنشأوا 2,475 سؤالاً وإجابة محددة.
- السر المذهل: كل إجابة موسومة بـ الفقرة الدقيقة في كتاب القانون التي تدعمها.
- لماذا هذا مهم: هذا يشبه إعطاء معلم مفتاح إجابات يقول: "لقد أجاب الطالب بشكل صحيح لأنه استشهد بالصفحة 42، الفقرة 3". الآن، يمكننا تقييم ليس فقط ما قاله الذكاء الاصطناعي، بل وأيضاً مدى جودة بحثه عن المعلومات.
2. "الأمين" الجديد: إطار عمل LegRAG
بنى المؤلفون نظاماً جديداً يسمى LegRAG ليعمل بمثابة أمين مكتبة للذكاء الاصطناعي. لقد أدركوا أنه إذا سألت أمين مكتبة عن قاعدة تتعلق بـ "تسجيل الطائرات بدون طيار"، فلا ينبغي له أن يقدم لك فقرة عشوائية فحسب؛ بل يجب أن يفهم هيكل القانون.
يستخدم LegRRAG استراتيجية المسار المزدوج (طريق سريع بمسارين للمعلومات):
- المسار (أ) (القطعة - The Chunk): يقوم بتقسيم النص إلى فقرات دلالية صغيرة (مثل قراءة مشهد واحد من فيلم). هذا يساعد في العثور على التفاصيل المحددة.
- المسار (ب) (المادة - The Article): يحافظ على المواد القانونية كاملة معاً (مثل إبقاء فصل كامل متصلاً). هذا يضمن عدم تفويت الذكاء الاصطناعي للسياق أو "الصورة الكبيرة" للقاعدة.
- النتيجة: باستخدام كلا المسارين في آن واحد، يجد النظام المعلومات الصحيحة بشكل أسرع وأكثر دقة من الأنظمة التي تستخدم طريقة واحدة فقط.
3. آلية "التحقق الذاتي"
حتى مع وجود أمين مكتبة رائع، قد يرتبك الذكاء الاصطناعي. لذا، يتضمن LegRAG خطوة "التفكير الذاتي" (Self-Reflection).
- الاستعارة: تخيل أن الذكاء الاصطناعي يكتب مسودة إجابة. قبل أن يسلمها إليك، يتوقف ويسأل نفسه: "مهلاً، هل وجدت حقاً القاعدة التي تقول هذا؟ أم أنني مج مجرد تخمين؟"
- إذا أدرك الذكاء الاصطناعي أنه يفتقر إلى دليل رئيسي، فإنه يعود إلى المكتبة، ويجد الصفحة المفقودة، ويعيد كتابة الإجابة. يعمل هذا كعين ثانية تراجع العمل قبل تقديمه.
4. النتائج
عندما اختبروا هذا النظام الجديد مقابل الأنظمة القديمة:
- بحث أفضل: وجد الصفحات القانونية الصحيحة بنسبة تزيد بمقدار 2-5% عن أفضل الأنظمة الموجودة.
- أخطاء أقل: كانت الإجابات أكثر دقة لأن الذكاء الاصطناعي أُجبر على الالتزام بالأدلة.
- الحكم النهائي: أثبت النظام أنه بالنسبة للأسئلة القانونية، لا يمكنك الاعتماد فقط على عقل ذكي (الذكاء الاصطناعي)؛ بل تحتاج إلى طريقة ذكية لتنظيم المكتبة (الفهرسة) ومحرر صارم (التفكير الذاتي).
الملخص
فكر في هذه الورقة كأنها المهندسون الذين بنوا مكتبة قانونية متخصصة (Legal-DC) وأمين مكتبة فائق الكفاءة (LegRAG) يعرف كيف يقرأ مخططات المبنى. لقد أثبتوا أنه إذا كنت تريد من الذكاء الاصطناعي أن يعطيك نصيحة قانونية، فلا يمكنك مجرد أن تطلب منه "التخمين"؛ بل يجب أن تعطيه الأدوات المناسبة للعثور على القاعدة الدقيقة وعملية صارمة للتحقق من عمله.
لق Chalk حتى جعلوا أدواتهم ومكتبتهم متاحة للجميع، حتى يتمكن المطورون الآخرون من بناء أنظمة ذكاء اصطناعي قانونية أفضل في المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.