Augmented Question-guided Retrieval (AQgR) of Indian Case Law with LLM, RAG, and Structured Summaries
تقترح هذه الورقة إطار عمل "الاسترجاع المعزز بتوجيه الأسئلة" (AQgR)، الذي يعزز استرجاع السوابق القضائية الهندية من خلال توليد مسائل قانونية للاستعلامات، واستخدام ملخصات "توليد الاسترجاع المعزز" (RAG) المهيكلة للسياق، وتوظيف النماذج اللغوية الكبيرة لإعادة التصنيف وشرح الصلة، محققاً بذلك متوسط دقة أعلى بكثير من المعايير المرجعية الحالية.
المؤلفون الأصليون:Vishnuprabha V, Daleesha M Viswanathan, Rajesh R, Aneesh V Pillai
في عالم القانون، غالبًا ما يكون العثور على القرار السابق المناسب لدعم قضية حالية هو الجزء الأكثر استهلاكًا للوقت في عمل المحامي. وهذا ينطبق بشكل خاص على الهند، حيث تكون الأحكام القضائية وثائق ضخمة وغير منظمة تمزج بين الوقائع، والحجج، والأحكام في كتل نصية طويلة ومتصلة. تقليديًا، حاولت الحواسيب المساعدة من خلال البحث عن حالات تشبه الوضع الحالي بناءً على الكلمات المحددة المستخدمة. فإذا وصف محامٍ نزاعًا حول فصل عامل في مصنع، يبحث الكمبيوتر عن حالات أخرى تذكر المصانع والعمال. ومع ذلك، غالبًا ما يفشل هذا النهج لأن القانون يهتم بالمبدأ القانوني الأساسي أكثر من التفاصيل المحددة للقصة. إذ يمكن أن تنطوي قضيتان على أشخاص وأماكن مختلفين تمامًا، لكنهما تتمحوران حول نفس السؤال القانوني بالضبط، مثل ما إذا كان إجراء حكومي ما عادلًا. ولحل هذه المشكلة، توجه الباحثون إلى جيل جديد من الذكاء الاصطناعي يُعرف بنماذج اللغات الكبيرة. هذه الأنظمة يمكنها قراءة وفهم اللغة البشرية، لكنها تواجه عقبة كبيرة: وهي أنها لا تستطيع قراءة آلاف الصفحات من النصوص دفعة واحدة. لكي تعمل بفعالية، تحتاج إلى معلومات مضغوطة في حجم يمكن إدارته، وتحتاج إلى أن تُوجَّه بالأسئلة الصحيحة بدلاً من مجرد الحقائق الخام.
قام فريق من الباحثين من جامعة كوشين للعلوم والتكنولوجيا والمختبر البحري والفيزيائي والمحيطي ببناء نظام يمكنه تجاوز هذه التحديات لاسترجاع قانون القضايا الهندية. وقد طوروا إطار عمل يسمى "الاسترجاع المعزز الموجه بالأسئلة"، والذي يعمل في مرحلتين رئيسيتين. أولاً، يأخذ النظام حكمًا قضائيًا طويلًا وغير منظم، ويستخدم نموذج ذكاء اصطناعي لاستخراج الأجزاء الأكثر أهمية، مثل الوقائع، والقضايا القانونية المثارة، والحكم النهائي، وتنظيمها في ملخص نظيف ومنظم. هذه الخطوة حاسمة لأنها تتقلص بوثيقة قد تصل إلى عشرين ألف كلمة إلى مجالات رئيسية قليلة تتناسب مع ذاكرة الكمبيوتر. ثانيًا، بدلًا من البحث عن الحالات باستخدام القصة الخام للنزاع الحالي، يطلب النظام من الذكاء الاصطناعي توليد الأسئلة القانونية المحددة التي تثيرها القصة. ثم يستخدم هذه الأسئلة القانونية المجردة للبحث عن السوابق الماضية، وأخيرًا، يقوم نموذج ذكاء اصطناعي ثانٍ بإعادة ترتيب النتائج ليشرح سبب صلة كل حالة سابقة بالموضوع.
اختبر الباحثون هذا النظام على مجموعة كبيرة من أحكام المحكمة العليا الهندية. ووجدوا أن الطريقة التي نظموا بها المعلومات كانت أكثر أهمية من مصطلحات البحث المحددة المستخدمة. فعندما بحث النظام عن الحالات باستخدام الأسئلة القانونية المولدة بدلاً من الوقائع الخام، وجد سوابق أكثر صلة، ولكن فقط عندما تم تحويل الأحكام الماضية إلى تلك الملخصات القصيرة والمنظمة. فإذا حاول النظام البحث عبر النص الكامل غير المحرر للأحكام، كانت الأسئلة القانونية القصيرة شحيحة للغاية بحيث لا تجد تطابقًا. كما كشفت الدراسة عن تفصيل مفاجئ حول كيفية تعامل النظام مع الاستشهادات؛ إذ أدى تضمين أسماء القضايا الماضية في الملخص إلى الإضرار بالأداء لأنه أضاف الكثير من الضجيج. ومع ذلك، عندما قام النظام بتلخيص المبدأ القانوني وراء كل استشهاد بدلاً من مجرد سرد الاسم، تحسنت النتائج بشكل كبير. وهذا يشير إلى أن الكمبيوتر يتعلم بشكل أفضل عندما يفهم القاعدة وراء المرجع بدلاً من مجرد رؤية المرجع نفسه.
لضمان قوة النظام، أجرى الباحثون عشرات التجارب، مغيرين كيفية تكوين الاستعلامات وكيفية تنظيم البيانات. واكتشفوا أن الجمع بين أنواع مختلفة من عمليات البحث —باستخدام كل من وقائع القضية والأسئلة القانونية المولدة— ساعد النظام في العثم على حالات أكثر صلة بشكل عام، رغم أنه جعل الترتيب النهائي أقل دقة في بعض الأحيان. كما وجدوا أنه بينما يمكن للنظام التعامل مع معظم الوثائق بشكل جيد، فإن الأحكام الأطول جدًا كانت تفشل أحيانًا في التلخيص بشكل صحيح، مما حد من قدرة النظام على إيجاد التطابق المثالي لبعض الاستعلامات. ورغم هذه القيود، حقق النظام مستوى من الدقة أفضل بكثير من الطرق السابقة، حيث وصل إلى درجة تقارب 0.312 في اختبار قياسي، مقارنة بنحو 0.157 لأفضل الأنظمة الموجودة. وقد تحقق هذا التحسن دون الحاجة إلى إعادة تدريب الذكاء الاصطناعي على البيانات القانونية، مما يثبت أن الطريقة الذكية لتنظيم المعلومات يمكن أن تكون بقوة تعليم الكمبيوتر حقائق جديدة.
تخلص الدراسة إلى أن المفتاح لجعل الذكاء الاصطناعي مفيدًا للبحث القانوني لا يكمن في جعل الكمبيوتر أكثر ذكاءً، بل في تقديم المعلومات بطريقة يمكن للكمبيوتر استخدامها بالفعل. فمن خلال ضغط الأحكام الطويلة في ملخصات منظمة وتوجيه البحث باستخدام أسئلة قانونية مولدة، أنشأ الباحثون مسار عمل يساعد المحامين في العثور على السوابذ المناسبة بشكل أسرع. لا يوفر النظام مجرد قائمة بالقضايا، بل يقدم شرحًا من جملة واحدة لسبب اختيار كل قضية، مما يسمح للمحامي بتقرير ما إذا كان المستند الكامل يستحق القراءة بسرعة. وبينما لا يعد النظام مثاليًا ولا يزال يعاني مع الوثائق الأطول جدًا، إلا أنه يمثل مسارًا عمليًا للمستقبل. فهو يظهر أنه مع الهيكل الصحيح، يمكن للذكاء الاصطناعي المساعدة في التنقل عبر المشهد المعقد والواسع للقانون الهندي، محولًا ساعات من البحث إلى دقائق من القراءة.
بيان المشكلة يواجه المتخصصون القانونيون في الهند تحديات كبيرة في استرجاع السوابق القضائية ذات الصلة بسبب الطبيعة غير المهيكلة للأحكام، والتي غالبًا ما تفتقر إلى عناوين متسقة تفصل بين الوقائع، والمسائل، والتعليل. تعتمد أنظمة الاسترجاع التقليدية بشكل كبير على مطابقة التشابه القائم على الوقائع (مثل BM25، والتضمينات الكثيفة)، والتي غالبًا ما تفشل في تحديد السوابق التي تشترك في نفس المبدأ القانوني ولكن تختلف في التفاصيل الواقعية. علاوة على ذلك، نادرًا ما تقدم الأنظمة الآلية الموجودة تفسيرًا لسبب صلة السابقة بالقضية، مما يجبر المحامين على قراءة الأحكام الكاملة للتحقق من قابليتها للتطبيق. التحدي الجوهري هو استرجاع القضايا بناءً على العقيدة القانونية المشتركة بدلاً من التشابه الواقعي السطحي، مع إدارة قيود نافذة السياق (context window) للنماذج اللغوية الكبيرة (LLMs) وتجنب الهلوسة دون الحاجة إلى الضبط الدقيق (fine-tuning).
المنهجية: إطار عمل AQgR يعمل إطار عمل الاسترجاع المعزز الموجه بالأسئلة (AQgR) المقترح عبر مرحلتين أساسيتين: توليد ملخص مهيكل ومسار استرجاع بنظام المجموعة (ensemble) مع إعادة ترتيب (reranking) تعتمد على النماذج اللغية الكبيرة.
توليد الملخص المهيكل (RAG):
لمعالجة قيود نافذة السياق والطبيعة غير المهيكلة للأحكام الهندية، يستخدم النظام التوليد المعزز بالاسترجاع (RAG) لاستخراج حقول محددة من الأحكام الخام وتحويلها إلى تنسيق JSON مهيكل.
استخدمت المرحلة الأولى نموذج Gemini Pro على مجموعة فرعية مكونة من 50 حكمًا، مع تطبيق أسلوب "سلسلة الأفك_ال" (Chain-of-Thought) للتعامل مع المستندات الطويلة عبر معالجتها في أجزاء (chunks).
قامت المرحلة الثانية بتوسيع النطاق ليشمل 496 حكمًا باستخدام Llama 3 70B. وقد قدمت مسار عمل قويًا يعتمد على فك الترميز الجشع (greedy decoding) بـ (درجة حرارة = 0) وآلية تحقق وإصلاح لضمان الالتزام بالهيكل (schema) الموحد (21 حقلًا، بما في ذلك الوقائع، المسائل، التعليل، والمبدأ القانوني الجديد).
ومن الأهمية بمكان أن النظام يستخرج "المبادئ القانونية الجديدة" و"مبادئ الاستشهاد" (القاعدة الكامنة وراء الاستشهاد) بدلاً من مجرد أسماء الاستشهادات فقط، وذلك لتقليل الضجيج.
مسار الاسترجاع:
صياغة الاستعلام: يقوم النظام بتوليد ثلاث عبارات مجردة للمسائل القانونية من الوقائع المدخلة باستخدام نموذج لغوي كبير. يتم دمج هذه العبارات في سلسلة مفصولة بعلامة (pipe) وهي (qI).
الاسترجاع في المرحلة الأولى: يجمع مسترجع هجين "B5" بين BM25 (بوزن 0 else 0.7) والاسترجاع الكثيف FAISS (بوزن 0.3). يختبر النظام ثلاثة أنواع من الاستعلامات: الوقائع فقط (qF)، المسائل فقط (qI)، والوقائع + المسائل (qFI).
إعادة الترتيب في المرحلة الثانية: يقوم نموذج لغوي كبير بإعادة ترتيب أفضل 100 مرشح من المرحلة الأولى. يستخدم أمر إعادة الترتيب استعلام (الوقائع + المسائل) (qFI) للتحليل والاستدلال على مجموعة المرشحين، والتي يتم تمثيلها عبر حقول JSON المهيكلة. يخرج النموذج قائمة مرتبة لأفضل 20 قضية مع شرح من سطر واحد لسبب الصلة لكل منها.
المساهمات الرئيسية تحدد الورقة عدة مساهمات محددة في مجال معالجة اللغات الطبيعية القانونية والذكاء الاصطناعي:
توافق كثافة الاستعلام مع المستند: توضح الدراسة أن أداء الاسترجاع يعتمد على مطابقة الكثافة المعجمية للاستعلام مع تمثيل المستند. الاستعلامات القصيرة القائمة على المسائل تؤدي أداءً ضعيفًا أمام الأحكام النصية الطويلة غير المهيكلة، لكنها تتفوق أمام الملخصات المهيكلة المضغوطة. وعلى العكس من ذلك، فإن الاستعلامات الوصفية الطويلة ضرورية للاسترجاع من النصوص العادية.
إيجاد محتوى الاستشهاد: تثبت الورقة أن تضمين أسماء الاستشهادات الكاملة في الملخصات المهيكلة يضيف ضجيجًا ويستهلك مساحة السياق. ومع ذلك، فإن تضمين المبدأ القانوني وراء الاستشهاد يحسن أداء إعادة الترتيب بشكل كبير.
مسار النماذج اللغية الكبيرة بدون ضبط دقيق (Zero-Shot): يقدم المؤلفون مسار استرجاع وإعادة ترتيب يحقق نتائج تنافسية دون الحاجة إلى ضبط دقيق للمهام، اعتمادًا بدلاً من ذلك على الملخصات المهيكلة وهندسة الأوامر (prompt engineering).
إدارة نافذة السياق: توضح الورقة أن تقليص الأحكام إلى مجموعة محددة من ستة حقول رئيسية (الوقائع، المسائل، التعليل، المبدأ القانوني الجديد، الموضوعات الهامة، ومبادئ الاستشهاد) يسمح لـ 227 من أصل 496 حكمًا بالتواجد داخل نافذة سياق واحدة للنموذج اللغوي الكبير في آن واحد، مقارنة بـ 98 حكمًا فقط عند الاحتفاظ بجميع الحقول الـ 21، مما يجعل إعادة الترتيب واسعة النطاق عملية دون الحاجة إلى نافذة سياق أكبر.
التحليل التجريبي المنهجي (Ablation Study): من خلال ثماني تجارب منضبطة، عزلت الورقة تأثير صياغة الاستعلام، وتنسيق المستند، واستراتيجيات التجميع، وأوامر إعادة الترتيب، كاشفة أن تمثيل المستند هو رافعة أقوى للأداء من نوع الاستعلام وحده.
النتائج
المرحلة الأولى (Gemini Pro): على مجموعة من 50 حكمًا (14 استعلامًا)، حقق النظام متوسط دقة (MAP) قدره 0.365 واستدعاء (Recall) قدره 0.672. وقد تبين أن تضمين استشهادات السوابق الكاملة في الملخصات أدى إلى تراجع الأداء، مما يؤكد الحاجة إلى الاستخراج الانتقائي.
المرحلة الثانية (Llama 3 70B): على مجموعة من 496 حكمًا (50 استعلامًا)، حققت أفضل تهيئة (المسترجع الهجين B5 مع استعلامات المسائل القصيرة، وتنسيق V4 المهيكل، وإعادة ترتيب الوقائع + المسائل) متوسط دقة (MAP) بلغ حوالي 0.312.
المقارنة بالنماذج المرجعية: هذه النتيجة أعلى بكثير من متوسط دقة (MAP) البالغ 0.1573 في لوحة صدارة FIRE 2020، رغم أن المؤلفين يشيرون إلى أن مجموعات البيانات والبروتوكولات ليست قابلة للمقارنة المباشرة.
أداء الاستعلام: في الملخصات المهيكلة، تفوق الاسترجاع القائم على المسائل على الاسترجاع القائم على الوقائع. ومع ذلك، فإن مجمع الاتحاد (الذي يجمع بين الوقائع والمسائل والاستعلامات المشتركة) زاد من سقف الاستدعاء ولكنه أضعف جودة الترتيب؛ حيث حقق مجمع المسائل فقط أفضل متوسط دقة (MAP).
تنسيق المستند: تفوق التنسيق V4 (الذي يتضمن "مبادئ الاستشهاد" بدلاً من الأسماء) على جميع التنسيقات الأخرى، بما في ذلك تلك التي تحتوي على التعليل الكامل أو أسماء الاستشهادات.
الاستقرار: وجدت الدراسة أن الاسترجاع قابل للتكرار بدرجة عالية (تطابق بنسبة 95.5%)، ولكن إعادة الترتيب بواسطة النموذج اللغوي الكبير تسبب تباينًا في التشغيل (run-to-run variance) بنحو ±0.03–0.04 في متوسط الدقة، ويرجع ذلك أساسًا إلى عدم اتساق اختيار النموذج اللغوي لعدد المستندات.
ملاحظة حول المقاييس: بينما حققت أفضل تهيئة لمتوسط الدقة (V4، استعلام المسائل القصير، أمر الوقائع + المسائل) قيمة MAP قدرها 0.3124، فقد لوحظت قيم أعلى لمتوسط ترتيب الاسترداد (MRR) (مثل 0.4121) في التهيزات ذات درجات MAP الأقل (مثل مجمع الاتحاد مع أمر الوقائع + المسائل)، مما يشير إلى وجود مقايضة بين جودة الترتيب والتغطية في الإعدادات المختلفة.
الأهمية والادعاءات تدعي الورقة أن نظام AQgR يوفر مسارًا عمليًا "بدون ضبط دقيق" (zero-shot) لاسترجاع السوابق القضائية القابل للتفسير للقانون الهندي. وتكمن أهميته في إثبات أن:
الملخصات المهيكلة أمر بالغ الأهمية: فهي تمكن النماذج اللغية الكبيرة من الاستدلال على العقيدة القانونية بدلاً من مجرد مسح النصوص غير المهيكلة، مما يجعل الاسترجاع ممكنًا دون الحاجة إلى ضبط دقيق.
الاسترجاء القائم على المسائل قابل للتطبيق: إن توليد مسائل قانونية من الوقائع يسمح للنظام بالعثور على السوابق بناءً على المبادئ القانونية بدلاً من مجرد التشابه الواقعي، وهو ما يتماشى مع كيفية بحث المحامين فعليًا.
القابلية للتفسير: يوفر النظام سببًا للصلة لكل قضية مسترجعة، مما يسمح للمحامين بتقييم سريع لما إذا كان يجب قراءة الحكم كاملاً.
المنفعة العملية: لا يتطلب هذا النهج أي ضبط دقيق ويمكن تشغيله على أجهزة متواضعة، مما يجعله متاحًا للممارسين الأفراد والشركات الصغيرة.
يظل المؤلفون متواضعين في طرحهم، حيث أقروا بوجود قيود مثل التباين بين عمليات التشغيل، وعدم القدرة على تلخيص الأحكام الطويلة جدًا، وغياب التحقق البشري الشامل للملخصات الـ 496 التي تم توليدها. وخلصوا إلى أنه بينما يعد هذا النظام خطوة مهمة للأمام، إلا أن العمل المستقبلي مطلوب لسد فجوة الاستدعاء للحالات التي لا يوجد فيها تداخل في المفردات السطحية، ولتحسين استقرار الاستعلامات المولدة بواسطة النماذج اللغية الكبيرة.