Temporal Decay of Co-Citation Predictability: A 20-Year Statute Retrieval Benchmark from 396M Ukrainian Court Citations

ملخص تقني: التحلل الزمني لقابلية التنبؤ بالاستشهاد المشترك في استرجاع المعلومات القانونية

بيان المشكلة
تعتمد أنظمة استرجاع المعلومات القانونية بشكل متكرر على هياكل الاستشهاد المشترك (co-citation)—وهي الأنماط التي تُستشهد فيها المواد القانونية معاً في القرارات القضائية—كإشارة استرجاع مستقرة. والافتراض الضمني هو أنه إذا تم الاستشهاد بالمادتين (أ) و(ب) معاً بشكل متكرر في القرارات التاريخية، فسيظلان ذوي صلة بالقضايا المستقبلية المماثلة. تتحدى هذه الورقة البحثية ثبات هذا الافتراض؛ حيث تبحث فيما إذا كانت قابلية التنبؤ بالاستشهاد المشترك تظل مستقرة بمرور الوقت أم أنها تتحلل، مما قد يجعل طرق الاسترجاع القائمة على الرسوم البيانية (graph-based) عديمة الفائدة دون تحديث مستمر. تركز الدراسة على النظام القانوني الأوكراني، باستخدام مجموعة ضخمة من القرارات القضائية لقياس الاستقرار الزمني لإشارات استرجاع المواد القانونية على مدار 20 عاماً (2007–2026).

المنهجية
قام المؤلفون ببناء UA-StatuteRetrieval، وهو معيار مرجعي مشتق من السجل الموحد الموحد لقرارات المحاكم في أوكرانيا (ЄДРСР). تتكون مجموعة البيانات من 101 مليون قرار قضائي و396 مليون استشهاد موثق لمواد القوانين المستخرجة من 13 مدونة قانونية.

• بروتوكول التقييم: تستخدم الدراسة بروتوكول التنبؤ بالاستشهاد بنظام "ترك عنصر واحد" (leave-one-out) على رسم بياني ثنائي الأجزاء كامل (القضايا مقابل المواد). لكل قرار، يتم حجب مواد معينة مستشهد بها، ويحاول النظام استعادتها باستخدام الاستشهادات المتبقية. يعمل هذا كبديل لعملية استرجاع المواد القانونية، حيث يقيس استقرار إشارة الاستشهاد المشترك بدلاً من مهمة المستخدم النهائي المتمثلة في استرجاع المواد من وقائع القضية.
• دوال التقييم: المعايير الأساسية هي متوسط الرتبة المقلوبة (MRR) وHit@K، والتي تم تقييمها باستخدام:
  • أداميك-أدار (AA) والجيران المشتركين (CN): طرق التنبؤ بالروابط في الرسوم البيانية والمقتبسة من تحليل الشبكات الاجتماعية.
  • خط الأساس للدرجة (Degree Baseline): طريقة استرجاع تعتمد على الشعبية.
  • BM25: خط أساس يعتمد على النص باستخدام نص القضية المحجوب (المجرد من الاستشهادات) كاستعلام مقابل النصوص القانونية الكاملة.
• ضوابط الاستبعاد (Ablation Controls): للتمييز بين التحلل الزمني الحقيقي والتحولات في التكوين (مثل دخول مواد جديدة إلى المجموعة)، نفذ المؤلفون ما يلي:
  1. استبعاد المواد الثابتة: تقييم الأداء على مفردات مشتركة من المواد الموجودة في كل من عامي 2012 و2024.
  2. تقسيم التدريب/الاختبار الزمني: بناء مصفوفة الاستشهاد المشترك من أول 50% من القضايا (حسب معرف المستند) والتقييم على الـ 50% المتبقية لمنع تسرب البيانات.
• تحليل الآلية: تستخدم الدراسة تضمينات (embeddings) من نوع E5-large متعددة اللغات لقياس "انزياح التضمين". ومن خلال مقارنة المراكز الدلالية لمقتطفات القضايا التي تستشهد بمواد معينة في عام 2012 مقابل عام 2024، يحدد المؤلفون كمياً التحول الدلالي في كيفية تطبيق المواد.

النتائج الرئيسية
النتيجة المركزية هي أن قابلية التنبؤ بالاستشهاد المشترك تتحلل بشكل كبير بمرور الوقت، مما يؤكد أن هياكل الاستشهاد القانوني غير مستقرة.

1. حجم التحلل:

   • بالنسبة لمجموعة ثابتة من المواد، انخفض متوسط الرتبة المقلوبة (MRR) لطريقة "أداميك-أدار" بنسبة 33% (من 0.43 إلى 0.29) خلال فترة الدراسة.
   • في ظل تقسيم تدريب/اختبار زمني صارم (لمنع تسرب البيانات)، كان الانخفاض أكثر حدة بنسبة 47% (من 0.51 إلى 0.27).
   • الانخفاض رتيب (monotonic) بعد عام 2012، مع عدم وجود فترات تعافٍ.

2. التحلل غير المتكافئ:

   • التكرار: المواد "المحورية" (التي تتجاوز 100 ألف استشهاد) تقاوم التحلل، حيث تحافظ على MRR أعلى من 0.5. ومع ذلك، فإن المواد متوسطة التكرار (1 ألف إلى 10 آلاف استشهاد)، والتي تشكل الحدود العملية للاسترجاع، تفقد حوالي 50% من قابليتها للتنبؤ (انخفاض MRR من ~0.15 إلى ~0.07).
   • المجال: يحافظ قانون الإجراءات الجنائية على أنماط استشهاد مشترك مستقرة (MRR ~0.40). وفي المقابل، يتدهور القانون المدني بسرعة (انخفاض MRR من 0.35 إلى 0.15)، بالتزامن مع الإصلاح القضائي لعام 2017. كما أظهر القانون الإداري تدهوراً ملحوظاً، لا سيما بعد عام 2022.

3. أداء خط الأساس القائم على النص:

   • يؤدي استرجاع النص عبر BM25 أداءً أسوأ بكثير من طرق الاستشهاد المشترك من حيث القيم المطلقة (MRR 0.047 مقابل 0.324 في عام 2024) ولكنه يتحلل بشكل أسرع (انخفاض بنسبة 31% مقابل 21% للاستشهاد المشترك). وهذا يتحدى الافتراض بأن الطرق القائمة على النصوص هي بطبيعتها أكثر صموداً أمام التغير الزمني.

4. التفسير الآلي:

   • يكشف تحليل انزياح التضمين عن تحول دلالي بنسبة 4.3% في كيفية الاستشهاد بالمواد على مدار 12 عاماً.
   • أظهرت الإجراءات المدنية أعلى انزياح دلالي (0.046)، وهو ما يعكس مباشرة تدهور الاسترجاع الأكثر حدة فيها. يشير هذا إلى أنه مع تطور السياق القانوني والممارسة التفسيرية للمادة، تضعف الإشارات الهيكلية (الاستشهاد المشترك) واللفظية (BM25) معاً.

الأهمية والادعاءات
تدعي الورقة أنها تقدم أول معيار مرجعي طولي يثبت أن إشارات الاسترجاع القانوني ليست ثابتة. وتكمن أهميتها في ثلاثة مجالات:

• الآثار على تصميم الأنظمة: لا يمكن التعامل مع أنظمة الاسترجاء القائمة على الرسوم البيانية كفهارس ثابتة. إن معدل التحلل الملحوظ (~4% MRR/سنة خلال 2012–2018) يعني أن هذه الأنظمة تفقد الأداء الملموس في غضض 3 إلى 4 سنوات دون إعادة تدريب. يقترح المؤلفون ضرورة استخدام أنظمة هجينة تجمع بين الوسائط الرسومية والنصية، أو تلك التي تستخدم إعادة التدريب المستمر، لمعالجة تحدي استرجاع "التردد المتوسط" حيث تكون الإشارات في أضعف حالاتها.
• معايير القياس المرجعي: تكشف الدراسة أن بروتوكولات التقييم القياسية "ترك عنصر واحد" تقلل من تقدير التدهور في العالم الحقيقي بنحو 5 نقاط مئوية بسبب تسرب البيانات. ويدعو المؤلفون إلى استخدام تقسيمات التدريب/الاختبار الزمنية كبروتوكول افتراضي لجميع معايير الاسترجاع القانوني المستقبلية.
• المساهمة النظرية: من خلال ربط انزياح التضمين الدلالي بتدهور أداء الاسترجاع، تقدم الورقة تفسيراً آلياً لسبب تدهور شبكات الاستشهاد القانوني: السياق الدلالي المتطور للمواد القانونية يجعل أنماط الاستشهاد المشترك التاريخية أقل قدرة على التنبؤ بالصلة المستقبلية.

يطلق المؤلفون المعيار المرجعي UA-StatuteRetrieval، بما في ذلك درجات الصعوبة لكل مادة، و20 لقطة سنوية، وقياسات انزياح التضمين، لتمكين المجتمع من قياس المتانة الزمنية لمناهج الاسترجاع المستقبلية بشكل مباشر. وتشير الورقة صراحة إلى القيود، بما في ذلك أن المهمة هي التنبؤ بالاستشهاد (كبديل) وليست استرجاع المواد بالكامل، وأن النتائج خاصة بالنظام القانوني المدني الأوكراني.