LexKairos: Benchmarking Legal Temporal Capabilities in LLMs
تقدم هذه الورقة LexKairos، وهو معيار شامل مصمم لتقييم القدرات الزمنية للنماذج اللغوية الكبيرة في السياق القانوني الصيني عبر المعرفة التشريعية، ونمذجة القضايا، والاستنتاج، مما يكشف أن حتى النماذج الأعلى أداءً لا تزال تعاني في المهام القانونية الدقيقة والحساسة للوقت.
تخيل عالماً لا يكون فيه القانون مجرد مكتبة ضخمة من القواعد، بل آلة حية تتنفس ولا تعمل إلا إذا أدرت المقابض الصحيحة في اللحظة المناسبة تماماً. في هذا العالم، قد يكون القانون أداة قوية اليوم، لكنه كان بالأمس لعبة مكسورة، وغداً قد يصبح آلة مختلفة تماماً. هذا هو مجال القدرات الزمنية القانونية. وبينما أصبحت الحواسيب بارعة جداً في قراءة القوانين وفهم ما تقوله (الـ "ماذا")، إلا أنها لا تزال تكافح لفهم متى تُطبق (الـ "متى"). فكر في الأمر كجهاز تحديد مواقع (GPS) يعرف أسماء كل الشوارع، لكنه يرتبك بشأن إشارات المرور ومناطق الأشغال التي تتغير كل ساعة. إذا لم يستطع الحاسوب التمييز بين قاعدة نشطة الآن وأخرى انتهت صلاحيتها العام الماضي، فلن يتمكن من تقديم مشورة قانونية دون التسبب في فوضى عارمة. لهذا السبب يتسابق الباحثون لتعليم الذكاء الاصطناعي كيفية ضبط وقته بدقة مع القانون.
إليك LexKairos، وهو "اختبار السفر عبر الزمن" الجديد الذي صممه باحثون من جامعة أكسفورد، وجامعة سون يات سين، وجامعة تسينغ هوا، لمعرفة مدى قدرة عقول الذكاء الاصطناعي الحديثة على التعامل مع عقارب الساعة في النظام القانوني الصيني. لم يكتفوا بسؤال الذكاء الاصطناعي للتخمين فحسب؛ بل بنوا مسار عقبات صارماً يتكون من تسعة تحديات مختلفة، تتراوح من اختبارات ذاكرة بسيطة حول تاريخ بدء القوانين، إلى ألغاز معقدة يجب على الذكاء الاصطناعي فيها دمج حقائق من قضية محكمة مع مواعيد نهائية صارمة من كتاب القواعد. لقد وضعوا ثمانية نماذج مختلفة من الذكاء الاصطناعي في هذا الاختبار، تاركين بعضها يفكر بصمت قبل الإجابة، بينما قامت نماذج أخرى بإعطاء تخمين فوري.
والنتائج؟ إنها مزيج مختلط، مثل سباق حيث العداؤون سريعي الخطى لكنهم يتعثرون باستمرار في أربطة أحذيتهم. النماذج الأعلى أداءً، مثل Gemini-3-Flash و GPT-5.4، تمكنت من تسجيل حوالي 84.57% و 82.75% على التوالي عندما سُمح لها باستخدام "أنماط التفكير" الخاصة بها. يبدو هذا مثيراً للإعجاب، لكن الباحثين وجدوا أنه حتى أكثر النماذج ذكاءً تتعثر بشكل سيء عندما يُطلب منها تذكر تفاصيل محددة حول أي نسخة من القانون كانت سارية في يوم معين. اتضح أنه بينما يجيد الذكاء الاصطناعي فهم ترتيب الأحداث في قصة (مثل من فعل ماذا أولاً في قضية محكمة)، فإنه سيء بشكل مفاجئ في تذكر "تواريخ الميلاد" و"تواريخ انتهاء الصلاحية" للقوانين نفسها.
أحد الاكتشافات الأكثر إثارة للاهتمام كان كيفية فشل هذه النماذج. فعندما طُلب منها تحديد النسخة الصحيحة من قانون ما، لم تخطئ النماذج بشكل عشوائي؛ بل كان لديها "شخصيات" متميزة في أخطائها. أحد النماذج، GPT-5.4، كان مثل طالب خجول يخشى التخمين، فغالباً ما يترك الإجابة فارغة أو يفتقد وسم النسخة تماماً (خطأ "الوسم المفقود"). نموذج آخر، LegalOne-8B، كان مثل طالب واثق بنفسه أكثر من اللازم، حيث يخترع حقائق، ويبتكر أرقام نسخ غير موجودة (خطأ "الوسم المهلوس"). وعندما قام الباحثون بتفعيل "وضع التفكير" — أي السماح للنماذج بالتوقف والتفكير في المشكلة — بدأ النموذج الخجول في التخمين أكثر (مما قلل من الوسوم المفقودة) ولكنه بدأ في ابتكار المزيد من النسخ الوهمية، بينما أصبح النموذج الواثق أكثر حذراً ولكنه بدأ في فقدان الوسوم بشكل متكرر. يبدو الأمر كما لو أن منحهم وقتاً أطول للتفكير لم يصلح ذاكرتهم، بل استبدل نوعاً واحداً من الأخطاء بنوع آخر.
علاوة على ذلك، تشير الدراسة إلى أن مجرد جعل الذكاء الاصطناعي "يفكر" بصوت عالٍ ليس دائماً الحل السحري. فبالنسبة لبعض النماذج، كانت عملية التفكير طويلة ومتعرجة لدرجة أنها نفدت من المساحة لإنهاء إجابتها، مما أدى إلى انقطاعها قبل الوصول إلى الحل مباشرة. وجد الباحثون أنه من خلال إعطاء الذكاء الاصطناعي قائمة مرجعية محددة ومنظمة للخطوات القانونية التي يجب اتباعها (مطالبة خاصة بالمهمة)، استطاعوا الحصول على نتائج جيدة جداً ولكن بإجابات أقصر بما يصل إلى 3.4 مرة. وهذا يشرح أن الجولة الإرشادية قد تكون أفضل من ترك الذكاء الاصطناعي يتجول بلا هدف في رحلة السفر عبر الزمن القانوني.
في النهاية، يشير LexKairos إلى أنه بينما يتحسن الذكاء الاصطناعي في الاستدلال القانوني، فإن جزء الـ "متى" في القانون يظل تحدياً مستعصياً. فحتى أفضل النماذج لا تزال عرضة للأخطاء عندما تتعلق المسألة بتواريخ دقيقة ومواعيد إجرائية نهائية. لا تدعي الورقة البحثية أن هذه المشكلة قد حُلت؛ بل تسلط الضل على أننا بحاجة لبناء ذكاء اصطناعي ليس ذكياً فحسب، بل دقيقاً للغاية مع الوقت، لأن التأخر يوماً واحداً في العالم القانوني قد يعني الفرق بين تحقيق العدالة وضياع القضية.
ملخص تقني: LexKairos
بيان المشكلة
بينما أظهرت النماذج اللغوية الكبيرة (LLMs) كفاءة في مهام قانونية متنوعة مثل التنبؤ بالأحكام واسترجاع القضايا، إلا أن المعايير المرجعية للذكاء الاصطناعي القانوني الحالية تتجاهل إلى حد كبير البعد الزمني. فالممارسة القانونية بطبيعتها مشروطة زمنياً: حيث تمتلك التشريعات فترات سريان محددة وقواعد تتعلق بالأثر الرجعي، كما تعتمد المطالبات القانونية على التسلسل الزمني للأحداث الواقعية والمواعيد الإجرائية. تركز التقييمات الحالية على الجوانب الدلالية والمنطقية ("ماذا" و"كيف") لكنها تفشل في تقييم "متى" التي تحكم صحة ونفاذ الحقوق القانونية. علاوة على ذلك، كان العمل السابق بشأن القدرات الزمنية القانونية مقتصرًا على كفاءات معزولة مثل ترتيب الأحداث أو استخراج الخطوط الزمنية، مما يفتقر إلى إطار عمل موحد يدمج المعرفة الزمنية التشريعية مع التسلسلات الزمنية للوقائع في القضايا.
المنهجية
لمعالجة هذه الفجوة، يقترح المؤلفون LexKairos، وهو معيار مرجعي شامل مصمم لتقييم القدرات الزمنية للنماذج اللغوية الكبيرة ضمن السياق القانوني الصيني. تم هيكلة هذا المعيار حول ثلاثة أبعاد متكاملة لـ "الزمن القانوني":
المعرفة الزمنية التشريعية (المتمحورة حول التشريع): تقييم قدرة النموذج على استدعاء البيانات الوصفية الزمنية والقواعد المرتبطة بالقواني.
المهام الفرعية: الاستعلام عن تاريخ السريان، وتحديد النسخة السارية، والتحقق من حالة السريان.
البيانات: تم توليدها تلقائياً من البيانات الوصفية التشريعية باستخدام مسار قائم على القواعد.
النمذجة الزمنية للقضية (المتمحورة حول الوقائع): تقييم القدرة على معالجة وهيكلة الخطوط الزمنية ضمن وقائع القضية.
المهام الفرعية: تمييز علاقات الأحداث (بناءً على علاقات الفترات لآلين)، وحساب المسافة الزمنية، والترتيب العالمي للأحداث، واسترجاع الأحداث المحدودة.
البيانات: تم بناؤها من قضايا مدنية موثقة باستخدام استخراج الأحداث بمساعدة النماذج اللغوية الكبيرة وتوليد الأسئلة القائم على لغة SQL.
الاستدلال الزمني بين التشريع والقضية (التكامل الهجين): تقيما القدرة على تطبيق القواعد الزمنية التشريعية على سيناريوهات قضايا ملموسة.
البيانات: تم تنسيقها عبر مسار هجين متعدد المراحل يتضمن استخراج النماذج اللغوية الكبيرة، والفلترة القائمة على القواعد، والمراجعة القانونية من قبل الخبراء.
يتكون المعيار المرجعي من تسع مهام فرعية مستمدة من قضايا قضائية وتشريعات صينية حقيقية. أجرى المؤلفون تقييمات منهجية على ثمانية نماذج لغوية كبيرة (بما في ذلك GPT-5.4، وGemini-3-Flash، وDeepSeek-R1، وQwen3.5، ونماذج متخصصة قانونياً مثل LegalOne-8B) تحت ثلاثة إعدادات للاستدلال:
النمط العادي (Vanilla): التلقين المباشر دون خطوات استدلال صريحة.
سلسلة الأفكار (CoT): استخدام تلقين "دعنا نفكر خطوة بخطوة" الصريح للنماذج التي لا تمتلك أوضاع استدلال أصلية.
وضع التفكير (Thinking Mode): تفعيل قدرات الاستدلال المدمجة للنماذج التي تدعم ذلك.
المساهمات الرئيسية
معيار LexKairos المرجعي: أول معيار مخصص لتقييم القدرات الزمنية القانونية بشكل منهجي في المجال القانوني الصيني، يغطي ثلاثة أبعاد عبر تسع مهام فرعية.
التقييم المنهجي: تقييم شامل لثمانية من أحدث النماذج اللغوية الكبيرة، مما يكشف عن تفاوت الأداء عبر مختلف القدرات الزمنية وإعدادات الاستدلال.
تحليل الأخطاء: تحليل دقيق لأنماط الفشل، لا سيما في المهمة الفرعية (1-2) "تحديد النسخة السارية"، حيث تم تحديد أخطاء "الوسم فقط" (معرفات النسخ غير الصحيحة) كنمط الفشل المهيمن. تسلط الدراسة الضوء على ملفات تعريف الخطأ المتميزة بين النماذج (مثل الحذف مقابل الهلوسة) وكيفية تغيير أوضاع التفكير لهذه التوزيعات.
رؤى الكفاءة: استقصاء المقايضات بين أوضاع التفكير غير المقيدة والتلقين القانوني المخصص للمهام، مما يثبت أن التلقينات المهيكلة يمكن أن تحقق أداءً تنافسياً مع تقليل استخدام الرموز (Tokens) بشكل كبير (أقصر بمقدار يصل إلى 3.4 ضعفاً) وتقليل حالات الانقطاع.
النتائج
الأداء العام: تتفوق النماذج مغلقة المصدر عموماً على النماذج مفتوحة المصدر. حقق نموذج Gemini-3-Flash (مع وضع التفكير) أعلى درجة إجمالية (84.57)، يليه GPT-5.4 (82.75).
تفاوت القدرات: أدت النماذج أداءً أفضل باستمرار في تحليل التسلسل الزمني للقضية (المهمة 2) مقارنة بتتبع دورة حياة التشريع (المهمة 1) أو الاستدلال بالمدد الإجرائية (المهمة 3). يشير هذا إلى أن النماذج اللغوية الكبيرة أكثر براعة في نمذجة المعلومات الزمنية المضمنة في وقائع القضايا منها في استدعاء البيانات الوصفية التشريعية أو تطبيق القواعد الإجرائية المعقدة.
تأثير أوضاع الاستدلال: أدى تفعيل وضع التفكير إلى مكاسب أداء ثابتة، خاصة للنماذج ذات الأداء العادي الضعيف (على سبيل المثال، شهد LegalOne-8B زيادة نسبية قدرها +106.61%). ومع ذلك، حتى أفضل النماض أداءً أظهرت قيوداً ملحوظة في المهام التي تتطلب استدعاءً دقيقاً للبيانات الوصفية التشريعية أو استدلالاً إجرائياً معقداً.
أنماط الخطأ: في المهمة الفرعية (1-2) "تحديد النسخة السارية"، شكلت أخطاء "الوسم فقط" ما متوسطه 85.20% من حالات الفشل. في الاستدلال العادي، هيمن على GPT-5.4 أخطاء "الوسم المفقود" (الحذف)، بينما هيمن على LegalOne-8B أخطاء "الوسم المهلوس" (التلفيق). أدى تفعيل وضع التفكير إلى تغيير هذه التوزيعات ولكنه لم يحل مشكلة نقص الدقة الأساسية.
مشكلات الانقطاع: بالنسبة لنماذج مثل Qwen3.5-9B، أدت أوضاع التفكير غير المقيدة إلى انقطاع كبير في المخرجات (يصل إلى 22.78% من الاستجابات في المهمة 3)، مما قلل الدقة بشكل حاد. وقد خفف التلقين القانوني المخصص للمهام من ذلك عبر إنتاج مخرجات أكثر إيجازاً.
الأهمية والادعاءات
يدعي البحث أن المعرفة والاستدلال الزمني القانوني لا يزالان يمثلان تحديات مفتوحة للنماذج اللغية الكبيرة الحالية. فعلى الرغم من توفر أوضاع الاستدلال المتقدمة، تعاني النماذج في الاستدعاء الدقيق لمعرفات النسخ التشريعية والدمج المعقد للقواعد التشريعية مع التسلسلات الزمنية للوقائع. ويؤكد المؤلفون أنه بينما تعمل أوضاع التفكير على تحسين الأداء، فإنها لا تعالج عجز الدقة الجوهري في استدعاء معرفات النسخ التشريعية.
تكمن أهمية LexKairos في قدرته على كشف نقاط الضعف الزمنية المحددة هذه، متجاوزاً الاستدلال القانوني العام لاستقصاء "متى" في التحليل القانوني. ويشير العمل إلى أن أنظمة الذكاء الاصطناعي القانونية المستقبلية تتطلب قدرات استدلال أكثر وعياً بالزمن، ربما من خلال التلقين المهيكل أو التدريب المتخصص، بدلاً من الاعتماد فقط على سلاسل الاستدلال غير المقيدة التي قد تعاني من قيود ميزانية الرموز والهلوسة. ويشير المؤلفون إلى قيود في عملهم، بما في ذلك الحجم المتواضع نسبياً لمجموعة بيانات الاستدلال بالمدد الإجرائية بسبب الطبيعة كثيفة العمل للتدقيق من قبل الخبراء، والتقييد الحالي لترتيب الأحداث العالمي في حدود دقة مستوى اليوم.