CALRK-Bench: Evaluating Context-Aware Legal Reasoning in Korean Law
تقدم هذه الورقة CALRK-Bench، وهو معيار مرجعي قانوني كوري مصمم لتقييم قدرات الاستنتاج القائمة على السياق — وتحديدًا فيما يتعلق بالصلاحية الزمنية، وكفاية المعلومات، وتحولات الأحكام — مما يكشف أن النماذج اللغوية الكبيرة الحالية تعاني في هذه المهام بما يتجاوز مجرد حفظ المعرفة البسيطة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً ذكياً ومطلعاً لمساعدتك في حل المشكلات القانونية. أنت تعطيه كتاباً للقانون وحالة معينة، ومن المفترض أن يخبرك بالنتيجة.
معظم الاختبارات الحالية لهؤلاء المساعدين من الذكاء الاصطال هي بمثابة اختبار اختيار من متعدد حيث لا تتغير القواعد أبداً. يسألون: "إذا كان الحد الأقصى للسرعة 50 ميلاً في الساعة، وكنت تقود بسرعة 60، فهل أنت مذنب؟" يحتاج الذكاء الاصطناعي هنا فقط إلى حفظ القاعدة وتطبيقها. الأمر يشبه لعب لعبة فيديو حيث لا يتغير محرك الفيزياء الخاص بها أبداً.
لكن في العالم الحقيقي، القوانين تشبه كائنات حية تتنفس. فهي تتغير بمرور الوقت، وتعتمد على متى حدث الشيء، وأحياناً لا تملك معلومات كافية لاتخاذ قرار على الإطلاق.
يقدم هذا البحث اختباراً جديداً، أكثر صعوبة، يسمى CALRK-Bench. لقد صُمم ليرى ما إذا كان بإمكان الذكاء الاصطناعي التعامل مع الواقع المتغير والفوضوي للنظام القانوني الكوري، بدلاً من مجرد استرجاع القواعد من كتاب مدرسي.
إليك كيف يعمل الاختبار، مقسماً إلى ثلاثة تحديات بسيطة:
1. اختبار "السفر عبر الزمن" (السياق الزمني)
التشبيه: تخيل قاعدة تقول: "لا يمكنك ارتداء قبعة داخل المنزل".
- السيناريو أ: ارتديت قبعة في عام 2020.
- السيناريو ب: في عام 2021، تغير القانون ليقول: "ارتداء القبعة أصبح الآن جريمة".
- السيناريو ج: في عام 2022، تغير القانون مرة أخرى ليقول: "في الواقع، القبعات مسموحة، ولكن فقط إذا كنت فوق سن 18".
إذا سألت الذكاء الاصطناعي: "هل الشخص في السيناريو (أ) مذنب؟" فإن الذكاء الاصطناعي البسيط قد ينظر فقط إلى القانون الحالي (السيناريو ج) ويقول: "لا، القبعات مسموحة!" لكن العقل القانوني الذكي يعرف أنه في عام 2020، كان القانون مختلفاً.
التحدي: يطلب CALRK-Bench من الذكاء الاصطناعي تحديد أي نسخة من القانون تنطبق بناءً على متى وقعت الجريمة بالضبط ومتى تجري المحاكمة.
- النتيجة: عانت نماذج الذكاء الاصطناعي. فقد نسيت غالباً أن للقوانين "تاريخ انتهاء" أو "تاريخ بدء" وحاولت تطبيق القانون الحالي على أحداث ماضية، مثل مسافر عبر الزمن لا يدرك أنه في الماضي.
2. اختبار "قطعة اللغز المفقودة" (كفاية المعلومات)
التشبيه: تخيل أنك محقق تحاول حل قضية سرقة.
- الحالة 1: لديك بصمات أصابع المشتبه به، لقطات كاميرا المراقبة، وإفادة الشاهد. (لديك معلومات كافية).
- الحالة 2: لديك لقطات المراقبة، ولكن لا يوجد مشتبه به ولا توضيع بصمات. (لديك قطع ناقصة).
معظم نماذج الذكاء الاصطناعي تشبه المحققين المفرطين في الثقة. حتى عندما تعطيهم لغزاً ناقصاً، سيحاولون دمج القطع مع بعضها وتخمين الإجابة، وغالباً ما يخطئون. إنهم يكرهون الاعتراف بـ "لا أعرف، أحتاج إلى مزيد من المعلومات".
التحدي: يعطي الاختبار للذكاء الاصطناعي سؤالاً قانونياً ومجموعة من القوانين. في بعض الأحيان تكون القوانين المقدمة كافية. وفي أحيان أخرى تكون ناقصة أو مضللة عن قصد (مثل إعطاء محقق خريطة لمدينة خاطئة). يجب على الذكاء الاصطناٍ أن يقول: "توقف، لا يمكنني حل هذا بما قدمته لي".
- النتيجة: كانت نماذج الذكاء الاصطناعي سيئة جداً في هذا. عندما لم تكن لديهم معلومات كافية، لم يقولوا "أحتاج إلى المزيد"، بل خمنوا الإجابة الخاطئة بثقة، معتمدين على ما "تذكروه" من بيانات تدريبهم بدلاً من الحقائق الموجودة أمامهم.
3. اختبار "لماذا تغير الحكم؟" (تحول الحكم)
التشبيه: تخيل قاضياً مشهوراً كان يحكم دائماً بأن "الكلاب يجب أن تكون مقيدة بالرسن". ثم في أحد الأيام، حكم بأن "الكلاب يمكن أن تكون بدون رسن".
- لماذا؟ هل تغير القانون؟ هل غير القاضي رأيه؟ هل تغير نوع الكلب؟ أم أن المجتمع قرر ببساطة أن الكلاب أصبحت رائعة الآن؟
التحدي: يعطي الاختبار للذكاء الاصطناعي حكمين قضائيين مختلفين حول نفس القضية ويسأله: "ما الذي تسبب في الاختلاف؟"
- النتيجة: كان لدى نماذج الذكاء الاصطناعي انحياز. فقد مالوا إلى تخمين نفس السبب في كل مرة (مثل إلقاء اللوم على "التغيرات الاجتماعية" أو "القوانين الجديدة") دون النظر فعلياً في التفاصيل المحددة للقضية. الأمر يشبه خبير الأرصاد الجوية الذي يتوقع دائماً "هطول الأمطار" لأنها تهطل كثيراً، حتى عندما تكون السماء صافية.
الخلاصة الكبرى
وجد مؤلفو هذا البحث أن حتى أكثر نماذج الذكاء الاصطناعي ذكاءً وتطوراً اليوم سيئة في "الاستدلال القانوني المدرك للسياق".
إنهم بارعون في حفظ كتاب القواعد (مثل طالب يذاكر ليلة الامتحان)، لكنهم سيئون جداً في فهم القصة وراء القاعدة (مثل محامٍ يفهم لماذا توجد قاعدة وكيف تتغير).
إنهم يعاملون القوانين كحقائق ثابتة في قاعدة بيانات، وليس كأدوات ديناميكية تتغير بناءً على الوقت، والسياق، والمعلومات المتاحة. وإلى أن يتعلم الذكاء الاصطناعي قول "أحتاج إلى مزيد من الوقت" أو "أحتاج إلى مزيد من المعلومات" بدلاً من مجرد التخمين، فلن يكون جاهزاً بعد للوثوق به في القرارات القانونية الحقيقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.