Can LLMs Judge Legal Accuracy? Reliability of LLM Evaluators for High-Stakes Insurance QA in a Low-Resource Language
تُظهر هذه الورقة أنه بينما يمكن استخدام النماذج اللغوية الكبيرة لتقييم الدقة القانونية في اللغات ذات الموارد المحدودة مثل الفرنسية الكيبكية، إلا أن موثوقيتها غير كافية للنشر في المهام عالية المخاطر دون إشراف بشري، حيث تُظهر حتى أقوى النماذج توافقاً متوسطاً، وتفشل باستمرار في رصد الأخطاء الخطيرة، وتستفيد بشكل كبير من التفكير خطوة بخطوة وأساليب التجميع.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، ظهرت أداة جديدة لحل مشكلة قديمة: كيف نعرف ما إذا كان الكمبيوتر يقول الحقيقة؟ لسنوات، اعتمد المطورون على خبراء بشريين لقراءة وتقييم الإجابات التي تولدها هذه الآلات الذكية، لكن هذه العملية كانت بطيئة ومكلفة ويصعب تكرارها. ولتسريع الأمور، بدأ الباحثون في استخدام أكثر نماذج الذكاء الاصطناعي ذكاءً للقيام بدور القضاة، لتقييم عمل النماذج الأخرى. هذا النهج، الذي يُطلق عليه غالبًا اسم "التحكيم بالذكاء الاصطناعي"، أصبح شائعًا لأنه سريع ومتسق. ومع ذلك، فإن معظم ما نعرفه عن هؤلاء القضاة الرقميين يأتي من اختبارات أجريت باللغة الإنجليزية حول مواضيع عامة مثل كتابة القصص أو الإجابة على أسئلة المعلومات العامة. نحن لا نعرف بعد ما إذا كان يمكن الوثوق بهؤلاء القضاة عندما تكون الرهانات عالية، والموضوع قانونيًا معقدًا، واللغة لهجة إقليمية محددة.
قرر فريق من الباحثين في جامعة لافال في كندا اختبار هؤلاء القضاة الرقميين في أكثر البيئات تطلبًا يمكنهم تخيلها. فقد ركزوا على التأمين على السيارات في مقاطعة كيبيك، وهي مكان تُكتب فيه القواعد بشكل فريد من نوعه باللغة الفرنسية وتخضع لنظام قانوني محدد يختلف عن بقية كندا وأوروبا. في هذا النظام، يتم التعامل مع الإصابات الجسدية الناجمة عن حوادث السيارات من خلال خطة عامة قائمة على مبدأ "عدم الخطأ"، بينما يتم التعامل مع الأضرار التي تلحق بالممتلكات من قبل شركات تأمين خاصة. إن خطأً واحدًا في شرح هذه القواعد قد يضلل المواطن بشأن حقوقه أو يترك شركة معرضة للمساءلة القانونية. جمع الباحثون 807 سؤالًا حقيقيًا من الأسئلة المستخدمة في امتحانات اعتماد مهنيي التأمين، إلى جانب الإجابات الصحيحة والشروحات الخبيرة. ثم طلبوا من 52 نموذجًا مختلفًا من نماذج الذكاء الاصطناعي القيام بدور القضاة، للتحقق مما إذا كانت الإجابات المختلفة على هذه الأسئلة صحيحة أم خاطئة.
كانت النتائج مثيرة للقلق. فحتى أكثر نماذج الذكاء الاصطناعي قوة وتطورًا، تلك التي تُعت-بر الأفضل في العالم، لم يكن من الممكن الوثوق بها للحكم على هذه الإجابات القانونية بمفردها. كان النموذج الأفضل أداءً موثوقًا به بشكل متوسط فقط، مما يعني أنه لا يزال يرتكب أخطاءً بما يكفي تجعل البشر لا يرغبون في الاعتماد عليه بشكل أعمى. والأهم من ذلك، وجد الباحثون أن ذكاء النموذج العام لا يتنبأ بمدى أمان استخدامه. فبعض النماذج الذكية جدًا كانت مهملة بشكل مفاجئ، حيث وافقت كثيرًا على إجابات خاطئة وكأنها صحيحة. وبعضها الآخر كان حذرًا للغاية، حيث رفض إجابات صحيحة لمجرد الأمان. لم تكن هناك طريقة بسيطة لاختيار قاضٍ "جيد" بناءً على سمعته العامة؛ فالنموذج الذي سجل درجات عالية في الجودة الإجمالية يمكن أن يظل خطيرًا لأنه فشل في رصد أخطاء محددة ومكلفة.
كما كشفت الدراسة أن هؤلاء القضاया الرقميين يتصرفون بشكل مختلف اعتمادًا على من كتب الإجابة. في العديد من الدراسات الأخرى، تميل نماذج الذكاء الاصطناناعي إلى أن تكون أكثر لطفًا مع الإجابات التي تكتبها الآلات الأخرى، وغالبًا ما تعطيها درجات أعلى من النصوص التي يكتبها البشر. ولكن في هذا السياق القانوني الصارم، حدث العكس. لقد كان القضاة في الواقع أكثر صرامة تجاه الإجابات التي كتبها الذكاء الاصطناعي مقارنة بتلك التي كتبها البشر. فقد كانوا أقل عرضة لقبول إجابة مولدة آليًا كإجابة صحيحة، حتى عندما كانت المشتتات المكتوبة بواسطة البشر خاطئة بوضوح. يشير هذا إلى أن تحيز هذه النماذج ليس ثابتًا؛ بل يتغير بناءً على المهمة والتعليمات المعطاة. فعندما طُلب منهم أن يكونوا دقيقين بشأن القانون، أصبح النماذج أكثر صرامة، وليس أكثر تساهلاً.
ولإيجاد طريق للمضي قدمًا، اختبر الباحثون استراتيجيات مختلفة لجعل عملية التحكيم أكثر أمانًا. واكتشفوا أن إعطاء القضاة نصًا مرجعيًا للمقارنة به ساعد، ولكن فقط للنماذج الأضعف. أما الحل الأكثر فعالية فكان استخدام لجنة من القضاة بدلاً من قاضٍ واحد. فمن خلال جعل مجموعة صغيرة من أفضل النماذج تصوت على الإجابة، واشتراط اتفاقهم جميعًا قبل قبولها كإجابة صحيحة، نجح الباحثون في تقليل عدد الأخطاء الخطيرة بشكل كبير. هذا النهج "المحافظ" يعني أنه إذا اكتشف حتى قاضٍ واحد في المجموعة خطأً، يتم رفض الإجابة. وقد خفضت هذه الطريقة معدل الموافقات الخاطئة بأكثر من النصف مقارنة باستخدام أفضل نموذج منفرد وحده.
خلص الباحثون إلى أنه بالنسبة للأسئلة القانونية عالية المخاطر، فإن قاضيًا واحدًا من الذكاء الاصطناعي ليس جديرًا بالثقة بما يكفي للعمل بمفرده. إن خطر موافقة الآلة على إجابة قانونية خاطئة هو أمر كبير جدًا بحيث لا يمكن تجاهله. وبدلاً من ذلك، فإن النهج الأفضل هو استخدام فريق صغير من النماذج الذكية للقيام بالفحص الأولي، ولكن مع ضرورة وجود خبير بشري مستعد لاتخاذ القرار النهائي في الحالات الصعبة أو المحفوفة بالمخاطر. وهذا يخلق نظامًا يجمع بين سرعة الذكاء الاصطناعي وسلامة الإشراف البشري. وتعد هذه الدراسة بمثابة تحذير من أنه بينما هذه الأدوات قوية، إلا أنها ليست بدائل مثالية للحكم البشري، خاصة عندما تكون القواعد معقدة وتكون عواقب الخطأ وخيمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.