Knowing the Form, Not the Function: Automatically Auditing Answer--Authority Decoupling in Legal Benchmarks
تقترح هذه الورقة إطار تقييم مشترك للمعايير المرجعية القانونية يقيم في آن واحد صحة الإجابة والاستناد إلى السلطة التشريعية، مما يكشف أن النماذج تفصل بشكل متكرر بين هذين البعدين وأن الاعتماد فقط على دقة الإجابة يؤدي إلى مقاييس أداء مضللة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك في مكتبة ضخمة وعالية التقنية، حيث تتعلم الروبوتات كيف تصبح محامين. في هذا العالم، هناك لعبة خاصة تسمى "المعيار المرجعي" (benchmark). إنها تشبه الامتحان النهائي حيث يقرأ الروبوت سؤالاً قانونياً مخادعاً ويختار الإجابة الصحيحة. لفترة طويلة، كان المعلمون (العلماء) يهتمون فقط بما إذا كان الروبوت قد أصاب الإجابة النهائية. إذا قال الروبوت "الخيار الصحيح هو ب"، فإنه يحصل على نجمة ذهبية. لكن هنا تكمن المشكلة، فأحياناً قد يقول الروبوت "ب" ولكنه يقدم سبباً مختلقاً أو خاطئاً لكونها "ب"، مثل الاستشهاد بقانون لا وجود له أو الإشارة إلى كتاب قواعد خاطئ.
تتعمق هذه الورقة البحثية في ركن محدد من تلك المكتبة: عالم "المعايير المرجعية القانونية". فكر في هذه المعايير المرجعية كاختبارات معيارية للمحامين الآليين. الفكرة الرئيسية التي تستكشفها الورقة هي "التأصيل المرجعي للسلطة" (Authority Grounding). وباللغة البسيطة، يعني هذا التحقق مما إذا كانت إجابة الروبوت مدعومة بالفعل بالقوانين الحقيقية والرسمية التي يدعي استخدامها. إنه الفرق بين طالب يخمن الإجابة الصحيحة في اختبار رياضيات وبين طالب يظهر الصيغة الرياضية الصحيحة فعلياً. يهتم المؤلف بهذا الأمر لأنه إذا اكتفينا بتقييم الإجابة النهائية فقط، فقد نظن أن الروبوت محامٍ بارع بينما هو في الواقع مجرد شخص يجيد التخمين المحظوظ الذي يبدو واثقاً من نفسه فحسب.
قرر الباحثون خوض لعبة مع أربعة نماذج مختلفة من الذكاء الاصطناي (فكر فيهم كأربعة طلاب روبوتات) باستخدام أسئلة حقيقية من امتحان نقابة المحامين في تايوان. طلبوا من الروبوتات حل ألغاز قانونية وشرح منطقها، لكنهم لم يخبروها صراحةً: "مهلاً، يجب عليك اقتباس مادة قانونية محددة". ومن المثير للدهشة أن الروبوتات بدأت في اقتباس القوانين من تلقاء نفسها، تماماً كما يفعل المحامي الحقيقي.
إليك المفاجأة الكبرى التي وجدتها الورقة: غالباً ما كانت الروبوتات تصيب الإجابة وتخطئ في القانون، وأحياناً تخطئ في الإجابة وتصيب القانون. إنه يشبه طالباً يحصل على الإجابة الصحيحة في اختبار تاريخ ولكنه يستشهد بالقرن الخطأ كمصدر له. تسمي الورقة هذا "الانفصال المزدوج" (double dissociation)، وهو تعبير معقد يعني أن المهارات — أي الحصول على الإجابة الصحيحة وإيجاد القانون الصحيح — يمكن أن تنفصل تماماً عن بعضها البعض.
في قسم القانون الجنائي من الامتحان، قامت الورقة بقياس عدد المرات التي حدث فيها ذلك بالضبط. ووجدت أنه في ما بين 24.0% و42.4% من الحالات، قدم الروبوت إجابة صحيحة ولكنه أغفل القانون الصحيح تماماً. والأغرب من ذلك، أنه في ما بين 15.2% و21.7% من الحالات، قدم الروبوت إجابة خاطئة ولكنه استشهد بالقانون الصحيح بشكل صحيح. هذا يثبت أنه لمجرد حصول الروبوت على الإجابة النهائية الصحيحة، لا يعني أنه يفهم حقاً القواعد القانونية الكامنة وراءها.
حاول المؤلف أيضاً إجراء تجربة صغيرة. أخبر الروبوتات: "إذا لم تكن متأكداً من رقم القانون بالضبط، فلا داعي لقوله". وعندما فعلوا ذلك، توقفت الروبوتات عن اقتباس القوان_ون بقدر أقل، لكن قدرتها على الحصول على الإجابة النهائية الصحيحة لم تتغير إلا قلي بالقدر الضئيل. وهذا يشير إلى أن الروبوتات لم تكن تستخدم القوانين حقاً لاستنتاج الإجابة، بل كانت تضيف القوانين كنوع من الزينة بعد أن انتهت بالفعل من تخمين الإجابة.
إذاً، ما هي الخلاصة؟ تجادل الورقة بأننا بحاجة إلى تغيير طريقة تقييم هؤلاء المحامين الآليين. لا يمكننا الاكتفاء بالنظر إلى الإجابة النهائية فقط بعد الآن. يجب علينا التحقق من "الإيصالات" — أي القوانين المحددة التي يستشهدون بها. إذا لم نفعل ذلك، فقد نحتفل بروبوت يقوم في الواقع بهلوسة حقائق قانونية بينما يحالفه الحظ في الحصول على الإجابة الصحيحة. تقترح الورقة أن الاختبارات المستقبلية يجب أن تقيم كلاً من الإجابة والاستشهاد بالقانون معاً، لأن النظام الحالي، في الوقت الراهن، يفتقد جزءاً كبيراً من الحقيقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.