Asking For An Old Friend: Diagnosing and Mitigating Temporal Failure Modes in LLM-based Statutory Question Answering

ملخص تقني: تشخيص وتخفيف أنماط الفشل الزمني في أنظمة الإجابة على الأسئلة القانونية القائمة على النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة
تتزايد وتيرة اعتماد النماذج اللغوية الكبيرة (LLMs) في الأبحاث القانونية، ومع ذلك، فإن بيانات تدريبها الثابتة والحدود المعرفية الزمنية المحددة تخلق عدم توافق جوهري مع الطبيعة المتطورة للقوانين التشريعية. تحدد هذه الورقة نمطين محددين من أنماط الفشل الزمني في الإجابة على الأسطلة القانونية (QA):

1. التقادم ما بعد تاريخ انقطاع المعرفة (Post-Cutoff Staleness): تطبق النماذج قواعد قانونية ملغاة على وقائع حدثت بعد التعديلات التشريعية، اعتماداً على معرفتها البارامترية القديمة.
2. التحيز للحداثة (Recency Bias): تعطي النماذج الأولوية بشكل خاطئ للنصوص القانونية الأحدث حتى عندما تتطلب واقعة الحال صراحةً تطبيق نسخة تاريخية ملغاة من القانون.

يشير المؤلفون إلى أنه بينما يعتمد المتخصصون في القانون بشكل متزايد على الذكاء الاصطناعي في الأبحاث (مع ارتفاع الاستخدام من 14% إلى 26% في 2024–2025)، فإن هذه الأدوات غالباً ما تفتقر إلى الوعي بمتانة قدراتها الزمنية المحدودة. فخلافاً للمعرفة العامة، تعتمد الصحة القانونية بدقة على النسخة المحددة من النص وتطبيقها الزمني.

المنهجية
لتشخيص هذه المشكلات والتخفيف من حدتها، أنشأ المؤلفون معياراً مرجعياً (Benchmark) جديداً وقيموا خمسة نماذج لغوية كبيرة عبر أربعة إعدادات للاستدلال.

• بناء مجموعة البيانات: أنشأ المؤلفون مجموعة بيانات مكونة من 312 زوجاً من الأسئلة والأجوبة القانونية الألمانية الحساسة زمنياً والموثقة من قبل خبراء. تم إنشاء البيانات اصطناعياً باستخدام نسخ تاريخية مجمعة لستة قوانين ألمانية (BGB, StPO, AO, EStG, BauGB, HGB) مستمدة من موقع buzer.de. تنقسم مجموعة البيانات إلى ثلاث فئات:
  • أسئلة التعديل ما بعد تاريخ الانقطاع (115 بنداً): مصممة لاختبار التقادم من خلال تقديم تواريخ وقائع تلي تاريخ انقطاع معرفة النموذج، مما يتطلب معرفة بالتغييرات التشريعية التي حدثت بعد تاريخ الانقطاع.
  • أسئلة ما قبل التعديل (113 بنداً): تقع تواريخ الوقائع قبل تعديل ما، مما يتطلب من النموذج تطبيق نسخة قديمة من القانون رغم توفر نسخ أحدث في سياقه أو في تدريبه.
  • أسئلة ما قبل التعديل متعددة النصوص (84 بنداً): سيناريوهات معقدة تتطلب تركيب عدة نصوص قانونية، حيث يجب تطبيق واحد منها على الأقل في نسخته التاريخية.
• النماذج التي تم تقييمها:
  • مهام ما بعد تاريخ الانقطاع: ChatGPT-5.1 و Claude Sonnet 3.7 (تاريخ انقطاع المعرفة يسبق تاريخ التقييم).
  • مهام ما قبل التعديل: ChatGPT-5.2، و Claude Opus 4.5، و DeepSeek v3.2 (نماذج متطورة في وقت التجربة).
• إعدادات الاستدلال:
  • النموذج الخام (Vanilla): الاعتماد فقط على المعرفة البارامترية الداخلية.
  • البحث عبر الويب (Web Search): تستخدم النماذج أدوات بحث ويب أصلية أو خارجية لاسترجاع المعلومات الحالية.
  • RAG-kNN: التوليد المعزز بالاسترجاع (RAG) باستخدام البحث عن أقرب $k$ جيران بناءً على تضمينات النصوص، مع التصفية بواسطة تاريخ "حتى تاريخه" (as-of date) لضمان استرجاع نسخ الفقرات الصالحة فقط.
  • RAG-ToC: استراتيجية استرجاع تستخدم جدول محتويات القانون لاختيار الفقرات ذات الصلة، متبوعة بنفس عملية التصفية الزمنية والاسترجاع المستخدمة في RAG-kNN.
• التقييم: استخدم المؤلفون نموذج لغة كبيرة كـ "حكم" (Gemini 3 Flash Preview)، تم التحقق منه مقابل تقييمات الخبراء البشر، حيث تم تسجيل الدرجات بناءً على أربعة معايير: صحة النتيجة، وصحة الاستدلال القانوني، وصحة الأساس القانوني، وصحة تطبيق النسخة.

النتائج الرئيسية

• تقادم شديد في النماذج الخام: في مهام ما بعد تاريخ الانقطاع، أظهرت النماذج الخام تدهوراً شديداً. على سبيل المثال، حقق نموذج Claude Sonnet 3.1 درجات في صحة النتيجة بلغت 24.35% فقط، وانخفضت صحة الاستدلال القانوني إلى 0%. طبقت النماذج بنصوص ملغاة بثقة بدلاً من الإشارة إلى عدم اليقين.
• فعالية الـ RAG الزمني: أدى كل من RAG-kNN و RAG-ToC إلى تحسين الأداء بشكل كبير عبر جميع أنواع الأسئلة. في سيناريوهات ما بعد تاريخ الانقطاع، حققت طرق RAG درجات في صحة النتيجة تتراوح بين 78% و 94%، متفوقة بشكل كبير على النماذج الخام ونتائج البحث عبر الويب. لم تظهر النسختان من RAG فرقاً ذا دلالة إحصائية في الأداء، مما يشير إلى أن التصفية الزمنية هي العامل الحاسم وليس آلية الاسترجاع (التضمينات مقابل جدول المحتويات).
• عدم استقرار البحث عبر الويب: بينما أدى البحث عبر الويب إلى تحسين الأداء مقارنة بالنموذج الخام في بعض الحالات، إلا أنه قدم مكاسب غير مستقرة وأظهر تحيزاً واضحاً للحداثة. في المهام المرتبطة تاريخياً، كان أداء النماذج المفعلة بالبحث عبر الويب أفضل بكثير في الأسئلة الحديثة منها في الأسئلة القديمة، حيث استرجعت غالباً القوانين الحالية حتى عندما كانت النسخ التاريخية مطلوبة.
• تعقيد تعدد النصوص: انخفض الأداء عموماً قليلاً في أسئلة تعدد النصوص مقارنة بأسئلة النص الواحد، لا سيما في إعدادات Vanilla و Web. ومع ذلك، ظلت طرق RAG قوية، مما يشير إلى أنه بمجرد توفير السياق الزمني الصحيح، يمكن للنماذج اللغوية الكبيرة الحالية إجراء التركيب بين عدة نصوص بفعالية.
• التحيز للحداثة: لوحظت فروق كبيرة في الأداء بناءً على عمر السؤال حصرياً في حالة البحث عبر الويب، مما يشير إلى أن التحيز للحداثة في هذا السياق مدفوع بمسارات الاسترجاع التي تفضل المحتوى "الجديد" بدلاً من التحيزات البارامترية المتأصلة في النماذج.

الأهمية والادعاءات
تدعي الورقة أن الإجابة القانونية الموثوقة تتطلب معاملة الصلاحية الزمنية كقيد صارم. يرى المؤلفون أن:

1. التدريب الثابت غير كافٍ: إن عدم التطابق بين معلمات النموذج الثابتة والقانون التشريعي الديناميكي يخلق نقطة فشل حرجة للذكاء الاصطنا القانوني، مما يشكل مخاطر مسؤولية جسيمة عندما تطبق النماذج قوانين قديمة بثقة.
2. RAG مع التصفية الزمنية هو الحل: مجرد استرجاع النتائج "ذات الصلة" دلالياً ليس كافياً. يجب على الأنظمة تصفية مساحات الاسترجاع صراحةً بناءً على تاريخ "حتى تاريخه" لوقائع الحالة القانونية لضمان استدلال النموذج ضمن النظام القانوني الصحيح.
3. البحث عبر الويب ليس حلاً شاملاً: أدوات البحث عبر الويب العامة عرضة للتحيز للحداثة ولا يمكنها استبدال قواعد البيانات التشريعية المنظمة والمصنفة حسب النسخ بشكل موثوق للمهام القانونية الحساسة زمنياً.

يسد هذا العمل فجوة في المراجع الحالية (التي غالباً ما تفتقر إلى التركيز على القانون المدني أو تفشل في اختبار تقادم ما بعد تاريخ الانقطاع) ويقدم دليلاً تجريبياً على أنه بينما يمكن للاسترجاع التخفيف من تقادم البيانات، فإن قدرات الاستدلال للنماذج اللغوية الكبيرة فيما يتعلق بالتركيب التاريخي المعقد متعدد النصوص لا تزال تواجه سقفاً متواضعاً. ويخلص المؤلفون إلى أن الأبحاء المستقبلية يجب أن تستكشف كيفية تعميم هذه النتائج على الولايات القضائية ذات القانون العام (Common Law) وتحقق بشكل أكبر في آليات التحيز للحداثة.