Enhancing Legal LLMs through Metadata-Enriched RAG Pipelines and Direct Preference Optimization
تقترح هذه الورقة إطار عمل يجمع بين استرجاع المعزز بالبيانات الوصفية الهجين (Metadata-Enriched Hybrid RAG) للتغلب على الحشو اللفظي في استرجاع الوثائق القانونية، والتحسين المباشر للتفضيلات (Direct Preference Optimization) لفرض الرفض الآمن عند عدم كفاية السياق، مما يعزز التأسيد والموثوقية والسلامة للنماذج اللغوية الكبيرة القانونية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً قانونياً ذكياً جداً، ولكنه يفتقر قليلاً إلى الخبرة، لمساعدتك في العثور على إجابات في مكتبة ضخمة تضم ملايين الوثائق القانونية.
ما هي المشكلة؟ لدى هذا المساعد عيبان كبيران:
- يضيع في المكتبة: عندما تسأله سؤالاً، غالباً ما يمسك بالكتاب الخطأ أو الصفحة الخطأ لأن العديد من الوثائق القانونية تبدو وتتشابه في صياغتها بشكل كبير.
- إما خجول جداً أو جريء جداً: أحياناً، عندما لا يجد الكتاب الصحيح، يكتفي بالقول: "لا أستطيع الإجابة"، حتى لو كانت الإجابة موجودة أمامه تماماً. وفي أحيان أخرى، عندما لا يملك الكتاب، يقوم بتأليف إجابة وهمية فقط ليكون مفيداً.
هذه الورقة البحثية تتحدث عن تعليم هذا المساعد كيف يصبح باحثاً قانونياً مثالياً. لقد قام المؤلفون، سوياش، وديبالي، وروهيث، بإصلاح هذه المشكلات باستخدام حيلتين رئيسيتين: تنظيم أفضل للمكتبة وتدريب ذكي.
إليك كيف فعلوا ذلك، مشروحاً ببساطة:
1. مشكلة المكتبة: "الإبرة في كومة القش"
الوثائق القانونية ضخمة، ومكررة، ومليئة بالإشارات المرجعية المتداخلة. إذا قمت فقط بتقطيع عقد مكون من 50,000 كلمة إلى قطع صغيرة للبحث فيها، فستفقد هذه القطع معناها. الأمر يشبه تقطيع خريطة إلى مربعات صغيرة؛ قد يقول مربع واحد فقط "نهر"، ولكن بدون بقية الخريطة، لن تعرف أي نهر هذا أو أين يتدفق.
الحل: حيلة "الملصق السياقي" (RAG المعزز بالبيانات الوصفية)
بدلاً من مجرد تسليم المساعد صفحة عشوائية، وضع المؤلفون ملصقاً تفصيلياً على كل صفحة يعطونها له.
- قبل: يحصل المساعد على صفحة تقول: "السعر هو 22 دولاراً".
- بعد: يحصل المساعد على صفحة تقول: "من عقد 'استحواذ أبولو'، القسم 4، المتعلق ببند 'سعر السهم'. السعر هو 22 دولاراً".
كما أضافوا ملخصاً مصغراً للصفحات المحيطة إلى الملصق. هذا يشبه إعطاء المساعد "ورقة غش" تقول له: "مهلاً، هذه الصفحة هي جزء من قصة أكبر تتعلق بعملية اندماج".
النتيجة:
- ارتباك أقل: توقف المساعد عن الإمساك بالوثائق الخاطئة. في اختباراتهم، أدى ذلك إلى تقليل "عدم تطابق استرجاع الوثائق" (الإمساك بالكتاب الخطأ) بشكل كبير.
- إجابات أفضل: لأن المساعد يعرف من أين جاءت المعلومة، يمكنه العثور على "الإبرة" المحددة في "كومة القش" بشكل أسرع بكثير.
2. مشكلة الشخصية: "الخجول المفرط مقابل الكاذب الواثق"
حتى مع وجود الكتب الصحيحة، عانى المساعد (وهو نموذج ذكاء اصطناعي صغير) من مشكلة في الشخصية.
- مشكلة الخجل: إذا قلت للمساعد "أجب فقط إذا كنت متأكداً بنسبة 100%"، فسيصبح خائفاً للغاية. سيقول "لا أعرف" حتى لو كانت الإجابة أمامه مباشرة.
- مشكلة الكذب: إذا لم تطلب منه توخي الحذر، فسيقوم بتأليف حقائق عندما لا يملك الكتاب الصحيح.
الحل: "التدريب عبر الأمثلة" (تحسين التفضيل المباشر - DPO)
بدلاً من مجرد إعطاء المساعد كتاب قواعد (والذي لم ينجح جيداً)، عرض المؤلفون عليه أمثلة لـ السلوك الجيد مقابل السلوك السيئ.
- السيناريو (أ) (الكتاب الصحيح): عرضوا على المساعد سؤالاً والكتاب الصحيح، وقالوا له: "عندما يكون الكتاب معك، أجب عن السؤال!"
- السيناريو (ب) (الكتاب الخطأ): عرضوا على المساعد سؤالاً والكتاب الخطأ، وقالوا له: "عندما يكون الكتاب خطأ، قل 'لا أعرف'!"
قاموا بذلك آلاف المرات. تعلم المساعد:
- "أوه، أفهم الآن! إذا كان السياق صحيحاً، يجب أن أتحدث."
- "وإذا كان السياق خاطئاً، يجب أن أصمت بدلاً من التخمين."
النتيجة:
- توقف المساعد عن كونه خجولاً مفرطاً. عندما كانت المعلومة الصحيحة موجودة، أجاب بشكل صحيح بنسبة 98.5% من المرات (ارتفاعاً من 46% فقط في السابق).
- توقف عن تأليف المعلومات. عندما كانت المعلونة مفقودة، رفض الإجابة بنسبة 99.3% من المرات (ارتفاعاً من 87%).
الخاتمة الكبرى: وضع كل شيء معاً
اختبر المؤلفون هذا النظام الجديد على أسئلة قانونية حقيقية.
- الطريقة القديمة: كان المساعد غالباً ما يمسك بالوثيقة الخطأ، ويصاب بالارتباك، ثم إما يعطي إجابة مزيفة أو يستسلم تماماً.
- الطريقة الجديدة:
- تضمن البيانات الوصفية (Metadata) أن يمسك المساعد بالصفحات الصحيحة مع السياق المناسب.
- يضمن تدريب DPO أن يعرف المساعد متى يتحدث ومتى يظل صامتاً.
الخلاصة:
من خلال تنظيم المكتبة بشكل أفضل وتدريب "شخصية" المساعد ليكون واثقاً ولكن صادقاً، أنشأ المؤلفون ذكاءً اصطناعياً قانونياً أكثر موثوقية. إنه أقل عرضة لـ "الهلوسة" (تأليف الأشياء) وأفضل بكثير في العثور على الحقيقة في بحر من النصوص القانونية المعقدة.
باختختصار: لقد أعطوا الذكاء الاصطناعي خريطة أفضل وعلموه الشجاعة ليتحدث عندما يعرف الإجابة، والحكمة ليبقى صامتاً عندما لا يعرفها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.