When Do LLMs Apply the Wrong Law? Diagnosing LLM Failures in Temporal Legal Reasoning
تقدم هذه الورقة معياراً لتقييم تحديد القانون واجب التطبيق زمنياً، وتكشف أن النماذج اللغوية الكبيرة تظهر انحيازاً قوياً نحو تطبيق القانون الأحدث بسبب تقارب الاستدلال الناجم عن التعلم المعزز، مما يؤدي إلى علاقة عكسية غير بديهية حيث تؤدي النماذج ذات قدرات الاستدلال العام الأقوى أداءً أسوأ في المهام القانونية المرتبطة زمنياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إن القانون ليس صرحاً ثابتاً، بل هو مشهد طبيعي حي يتغير بمرور الوقت. تُكتب قواعد جديدة، وتُعاد كتابة قواعد قديمة، ويعتمد الإصدار المحدد للقانون الذي ينطبق على موقف ما كلياً على متى حدث ذلك الموقف. فالعقد الذي يُوقع اليوم قد يخضع لمجموعة من القواعد، بينما عقد مماثل وُقِّع قبل خمس سنوات يخضع لمجموعة مختلفة. هذا المبدأ، المعروف بعدم الرجعية، هو حجر الزاوية في العدالة القانونية: يجب أن يُحاكم الناس بموجب القوانين التي كانت قائمة عندما تصرفوا، لا بموجب قوانين وُضعت لاحقاً. ولكي يكون الذكاء الاصطناعي مفيداً في العالم القانوني، يجب أن يفهم هذا التسلسل الزمني؛ فلا يكفي أن يعرف ما يقوله القانون، بل يجب أن يعرف أي نسخة من القانون كانت سارية المفعول في اللحظة الدقيقة التي وقع فيها الحدث القانوني. فإذا أخطأ النظام الحاسوبي في ضبط التوقيت، فإنه يطبق القواعد الخاطئة، مما يؤدي إلى استنتاجات خاطئة جوهرياً، بغض النظر عن مدى ذكاء تحليله للوقائع.
لقد أمل الباحثون منذ فترة طويلة أن تتمكن النماذج اللغوية الكبيرة، وهي أنظمة الذكاء الاصطناعي القوية القادرة على الإجابة عن الأسئلة المعقدة وكتابة النصوص، من أتمتة أجزاء من هذا الاستدلال القانوني. وقد أظهرت هذه النماذج وعوداً في التنبؤ بأحكام المحاكم وتحليل العقود. ومع ذلك، ظل هناك سؤال جوهري دون إجابة: هل يمكن لهذه النماذج أن تحدد بشكل موثوق أي نسخة من القانون تنطبق على حالة معينة؟ يبحث دراسة جديدة أجراها فريق من الباحثين من مؤسسات في اليابان والصين في هذه المشكلة تحديداً. فقد بنوا اختباراً متخصصاً لمعرفة ما إذا كانت هذه الأنظمة المتقدمة من الذكاء الاصطيلاً قادرة على تحديد النسخة الصحيحة من القانون بناءً على تواريخ الأحداث في القضية. وكشفت النتائج عن خلل منهجي ومفاجئ؛ إذ فشلت النماذج الأكثر تقدماً، رغم قدرتها على التفكير في المشكلات المعقدة، باستمرار عندما كانت الإجابة الصحيحة هي نسخة أقدم من القانون. وبدلاً من ذلك، اختارت بشكل ساحق النسخة الأحدث والأكثر حداثة، حتى عندما كانت وقائع القضية تشير بوضوح إلى الماضي.
ولفهم عمق هذه القضية، أنشأ الباحثون معياراً مرجعياً باستخدام آلاف الأحكام المدنية الحقيقية من الصين. واختاروا قضايا حدثت فيها الوقائع ذات الصلة قبل تحديث قانوني رئيسي، وتحديداً قبل تنفيذ القانون المدني في عام 2021. وفي هذه القضايا، تطلب الإجابة القانونية الصحيحة الاستشهاد بالقوانين المستقلة القديمة التي كانت سارية المفعول في ذلك الوقت، مثل قانون الملكية القديم أو قانون العقود. ثم طلب الفريق من مختلف نماذج الذكاء الاصطناعي المتطورة تحديد النسخة الصحيحة من القانون لكل قضية. وكانت النتائج متفاوتة بشكل صارخ؛ فعندما كانت القضية تتعلق بالقانون الحالي، كان أداء النماذج جيداً للغاية، حيث كانت تصيب الإجابة الصحيحة في أكثر من 70 بالمائة من المرات. ولكن عندما كانت القضية تتطلب تطبيق قانون قديم، انهار أداؤها. ففي هذه القضايا القديمة، سجلت معظم النماذج أقل من 15 بالمائة، بل وصل بعضها إلى الصفر تقريباً. لم تكن النماذج تخمن عشوائياً، بل كانت ترتكب الخطأ نفسه وبشكل مستمر؛ فقد حددت النوع الصحيح من القانون لكنها طبقت النسخة الخاطئة، حيث كانت تتجه دائماً نحو النسخة الأحدث.
ثم شرع الباحثون في تشخيص سبب حدوث ذلك. فكروا أولاً فيما إذا كانت النماذج تفتقر ببساطة إلى المعرفة الضرورية؛ فربما لم "تقرأ" الذكاء الاصطناعي القوانين القديمة أو لم تفهم القواعد المتعلقة بكيفية تغير القوانين بمرور الوقت. ولاختبار ذلك، طلبوا من النماذج سرد نص القوانين القديمة والإجابة عن أسئلة متعددة الخيارات حول قواعد التوقيت القانوني. وأدت النماذج هذه الاختبارات بشكل استثنائي، مما أثبت امتلاكها للحقائق والقواعد؛ فقد عرفت أن القوانين القديمة موجودة وفهمت مبادئ عدم الرجعية. لم يكن الفشل ناتجاً عن نقص في الذاكرة أو فجوة في المعرفة، بل كانت المشكلة تكمن في كيفية استخدام تلك النماذج لتلك المعرفة عند مواجهة قضية حقيقية.
وكشف مزيد من التحقيق أن المشكلة مرتبطة بالطريقة التي تُدرب بها هذه النماذج على الاستدلال. فغالباً ما يتم ضبط النماذج الحديثة باستخدام عملية تشجعها على التفكير في المشكلات خطوة بخطوة، وإنتاج سلسلة من الاستدلال قبل إعطاء الإجابة. صُمم هذا التدريب لجعل النماذج أفضل في حل الألغاز المنطقية والرياضية الصعبة. ومع ذلك، وجد الباحثون أن هذه القوة ذاتها أصبحت نقطة ضعف في السياق القانوني. فالنماذج ذات قدرات الاستدلال العامة الأقوى كانت هي الأسوأ أداءً في مهمة التوقيت. بدا أن عملية التدريب قد ضيقت تفكير النماذج، مما جعلها تتقارب نحو مسار واحد مهيمن: تطبيق القانون الحالي. كان الأمر كما لو أن النماذج تعلمت أن المعلومات الأحدث هي الأكثر أهمية، وأصبحت مركزة جداً على هذا النمط لدرجة أنها توقفت عن استكشاف الاحتمالات الأخرى، حتى عندما تطلبت وقائع القضية ذلك.
تشير الدراسة إلى أن النماذج لم تكن تفشل لأنها "غبية" لدرجة عدم فهم التسلسل الزمني، بل لأنها كانت "فعالة جداً" في اتباع عادة متعلمة محددة. وعندما زود الباحثون النماذج بتلميح بسيط يذكرها بضرورة مراعاة تاريخ الحدث والقواعد المحددة للتوقيت القانوني، تحسن الأداء بشكل كبير. وهذا يشير إلى أن النماذج كانت لديها القدرة على إصابة الهدف، لكن وضع التشغيل الافتراضي لديها لم يكن متوافقاً مع المتطلبات المحددة للاستدلال القانوني. فبدون دفعة للنظر في التسلسل الزمني، كانت محركات الاستدلال القوية لديها ستعمل ببساطة على تعزيز الانحياز نحو القانون الأحدث.
يسلط هذا الاكتشاف الضوء على قصور دقيق ولكنه خطير في الذكاء الاصطناعي الحالي. فهو يظهر أن جعل النموذج أكثر ذكاءً في الاستدلال العام لا يجعله بالضرورة أفضل في كل مهمة. وفي الواقع، بالنسبة للمهام التي تتطلب اهتماماً دقيقاً بقيود محددة، مثل توقيت القانون، فإن الآليات ذاتها التي تجعل هذه النماذج قوية يمكن أن تتسبب في تجاهلها لتفاصيل حاسمة. وجد الباحثون أنه عندما أُجبرت النماذج على استكشاف مسارات استدلال مختلفة بدلاً من التمسك بعادتها الافتراضية، تمكنت من تحديد النسخة القديمة الصحيحة من القانون بنجاح. وتخلص الدراسة إلى أنه لكي يكون الذكاء الاصطناعي موثوقاً حقاً في المجال القانوني، يجب ألا يُدرب فقط على الاستدلال جيداً، بل أيضاً على احترام القواعد المحددة، والتي غالباً ما تكون غير بديهية، في هذا المجال، مثل حقيقة أن القانون الأحدث ليس هو دائماً القانون الصحيح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.