GreekBarRetrieval: A Benchmark for Greek Statutory Retrieval
تقدم هذه الورقة البحثية GreekBarRetrieval، وهو معيار مرجعي جديد لاسترجاع النصوص القانونية اليونانية مستمد من أسئلة امتحانات المحاماة، وتُظهر أن حلقة إعادة صياغة الاستعلام المكونة من عشر جولات والقائمة على النماذج اللغوية الكبيرة تعزز أداء خوارزمية BM25 بشكل كبير، مما يمكنها من التفوق على كل من المسترجعات الكثيفة التقليدية واستراتيجيات الاسترجاء المتقدمة الأخرى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم القانون، يعد العثور على القاعدة الصحيحة لتطبيقها على موقف معين هو حجر الزاوية لتحقيق العدالة. فعندما يحتاج محامٍ أو قاضٍ إلى الإجابة عن سؤال معقد حول جريمة أو عقد، لا يمكنه الاعتماد على الذاكرة وحدها؛ بل يجب عليه تحديد النص الدقيق للقانون الذي يحكم الموقف. هذه العملية، المعروفة باسم الاسترجاع التشريعي، تتضمن البحث عبر آلاف المواد القانونية للعثور على المواد القليلة ذات الصلة حقاً. وتكمن الصعوبة في أن الناس يصفون الأحداث الواقعية بلغة عادية ويومية، بينما تُكتب القواني التي تحكمها بلغة متخصصة ومجردة. فقد يقول شخص ما: "لقد رفض إعطاء الدواء"، بينما قد يصيغ القانون المفهوم نفسه بعبارة "امتناع عن أداء واجب". إن سد هذه الفجوة بين كيفية تحدث البشر وكيفية كتابة القوانين أمر صعب، خاصة بالنسبة للغات مثل اليونانية، التي تمتلك هياكل لغوية معقدة تجعل مطابقة الكلمات البسيطة غير موثوقة. وبدون القدرة على استرجاع هذه النصوص القانونية بدقة، لن تتمكن أنظمة الذكاء الاصطناعي من تقديم إجابات جديرة بالثقة أو شرح منطقها، وهو مطلب بالغ الأهمية في السياقات القانونية.
لقد تصدى باحثون في اليونان لهذه المشكلة من خلال إنشاء أرض اختبار جديدة تسمى GreekBarRetrieval. وقد بنوا هذا المعيار باستخدام أسئلة من امتحانات النقابة الفعلية في اليونان، وهي الاختبارات الصارمة التي يجب أن يجتازها المحامون لممارسة المهنة. في هذه الامتحانات، يُعرض على المرشحين قصة مفصلة لقضية قانونية ويُطلب منهم تحديد أي مواد محددة من قانون العقوبات أو غيره من القوانين تنطبق عليها. أخذ الباحثون 283 سؤالاً من هذه الامتحانات، مع القصص الكاملة وراءها، وربطوها بمكتبة ضخمة تضم 6,308 مادة قانونية مرشحة. وكان الهدف هو معرفة ما إذا كانت الأنظمة الحاسوبية تستطيع النظر في سؤال وقصته، ثم العثات بنجاح على المواد القانونية الصحيحة المختبئة داخل تلك المكتبة الضخمة. هذا الإعداد فريد من نوعه لأنه يختبر قدرة النظام على إيجاد المصادر قبل أن يحاول حتى كتابة إجابة، مما يفصل مهارة البحث عن مهارة الاستنتاج.
عندما اختبر الباحثون في البداية طرق البحث الحاسوبية القياسية، أظهرت النتائج انقساماً واضحاً بين نهجين مختلفين. يعتمد أحد النهجين، والمعروف باسم الاسترجاع المتفرق (sparse retrieval)، على البحث عن تطابقات الكلمات الدقيقة بين السؤال والنص القانوني. أما النهج الآخر، المسمى بالاسترجاع الكثيف (dense retrieval)، فيستخدم ذكاءً اصطناعياً متقدماً لفهم المعنى وراء الكلمات، حتى لو كانت المفردات المستخدمة مختلفة. في اختباراتهم الأولية، كان أداء الأنظمة القائمة على المعنى أفضل بكثير، حيث نجحت في العثور على المواد ذات الصلة ضمن أول مائة نتيجة بنسبة 77 في المائة تقريباً. وفي المقابل، نجحت أنظمة مطابقة الكلمات بنسبة 36 في المائة فقط. وقد أكد ذلك أن مجرد مطابقة الكلمات غالباً ما يكون غير كافٍ عندما تكون لغة السؤال ولغة القانون مختلفتين إلى هذا الحد.
ومع ذلك، اكتشف الباحثون أنه يمكن تحسين أداء أنظمة مطابقة الكلمات بشكل كبير من خلال استخدام نموذج لغوي كبير لإعادة كتابة أسئلة البحث قبل أن يبحث الكمبيوتر عن الإجابات. فبدلاً من البحث باستخدام القصة الأصلية الفوضوية المليئة بالتفاصيل غير ذات الصلة، طُلب من الذكاء الاصطناعي ترجمة السؤال إلى اللغة الرسمية الدقيقة للقانون، مع تجريده من الحشو السردي. هذه الخطوة البسيطة المتمثلة في إعادة صياغة الاستعلام رفعت نسبة نجاح نظام مطابقة الكلمات من 36 في المائة إلى 60 في المائة، مما سد فجوة كبيرة مع الأنظمة الأكثر تعقيداً القائمة على المعنى. ووجدت الدراسة أن طريقة إعادة كتابة السؤال كانت أكثر فعالية بكثير من الحيل الشائعة الأخرى، مثل محاولة ترجمة النص اليوناني إلى الإنجليزية أولاً أو تعديل الإعدادات الداخلية لمحرك البحث.
ولدفع الأداء إلى مستويات أبعد، قدم الفريق طريقة يقوم فيها الكمبيوتر بالبحث، ثم مراجعة ما وجده، ثم البحث مرة أخرى بناءً على تلك النتائج. هذه العملية التكرارية، التي تحاكي كيفية قيام محامٍ بشري بتنقيح استراتيجية البحث الخاصة به بعد قراءة بعض الوثائق الأولية، سمحت لنظام مطابقة الكلمات بالوصول إلى معدل نجاح قدره 67 في المائة. ورغم أن هذا لم يتجاوز النظام الأفضل القائم على المعنى، والذي وصل إلى 73 في المائة، إلا أنه أنتج قائمة نتائج أكثر تنظيماً، واضعاً المواد الأكثر أهمية في مقدمة القائمة تماماً. وهذا أمر قيم للغاية لأن الأنظمة القانونية غالباً ما تحتاج للعمل مع عدد محدود من الوثائق. ومع ذلك، لاحظ الباحثون أن هذا النهج التكراري يأتي بثمن باهظ: فهو يتطلب من الكمبيوتر إجراء المزيد من العمليات الحسابية واستغراق وقت أطول بكثير لإتمام عملية البحث مقارنة بالبحث المباشر والوحيد.
تخلص الدراسة إلى أنه بينما تعد أنظمة الذكاء الاصطناعي المتقدمة التي تفهم المعنى قوية، إلا أنها ليست المسار الوحيد. فمن خلال استخدام نموذج لغوي كبير لترجمة الأسئلة اليومية إلى اللغة الرسمية للقانون، يمكن حتى لأدوات البحث الأبسط والأسرع أن تصبح فعالة للغاية. وهذا يشير إلى أن المفتاح لتحسين الذكاء الاصطناعي القانوني ليس فقط في بناء نماذج أكبر، بل في ضمان أن تكون الأسئلة المطروحة واضحة وتستخدم المصطلحات الصحيحة. لقد جعل الباحثون بياناتهم وأكوادهم متاحة للجمهور، موفرين معياراً جديداً لاختبار مدى قدرة الحواسيب على التنقل في المشهد المعقد للقانون اليوناني، ومقدمين مخططاً لتحسين أدوات البحث القانوني في لغات أخرى أيضاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.