Temporal Decay of Co-Citation Predictability: A 20-Year Statute Retrieval Benchmark from 396M Ukrainian Court Citations

Resumen Técnico: Decaimiento Temporal de la Predictibilidad de la Cocitación en la Recuperación Jurídica

Enunciado del Problema
Los sistemas de recuperación de información jurídica dependen con frecuencia de las estructuras de cocitación —los patrones según los cuales los artículos legales son citados conjuntamente en las decisiones judiciales— como una señal de recuperación estable. La premisa implícita es que, si los artículos A y B son frecuentemente cocitados en decisiones históricas, seguirán siendo relevantes para casos futuros similares. Este trabajo desafía la estacionariedad de dicha premisa. Investiga si la predictibilidad de la cocitación se mantiene estable a lo largo del tiempo o decae, volviendo potencialmente obsoletos los métodos de recuperación basados en grafos sin una actualización continua. El estudio se centra en el sistema jurídico ucraniano, utilizando un corpus masivo de decisiones judiciales para medir la estabilidad temporal de las señales de recuperación legal durante un período de 20 años (2007–2026).

Metodología
Los autores construyeron UA-StatuteRetrieval, un punto de referencia derivado del Registro Estatal Unificado de Decisiones Judiciales de Ucrania (ЄДРСР). El conjunto de datos comprende 101 millones de decisiones judiciales y 396 millones de citas validadas a artículos de códigos extraídas de 13 códigos legales.

• Protocolo de Evaluación: El estudio emplea un protocolo de predicción de citas leave-one-out sobre un grafo bipartito completo de citas (casos frente a artículos). Para cada decisión, se enmascaran ciertos artículos citados y el sistema intenta recuperarlos utilizando las citas restantes. Esto sirve como un proxy para la recuperación de leyes, midiendo la estabilidad de la señal de cocitación en lugar de la tarea del usuario final de recuperar leyes a partir de los hechos del caso.
• Funciones de Puntuación: Las métricas principales son el Recíproco Medio de Rango (MRR) y Hit@K, evaluadas mediante:
  • Adamic-Adar (AA) y Vecinos Comunes (CN): Métodos de predicción de enlaces basados en grafos adaptados del análisis de redes sociales.
  • Línea Base de Grado: Un método de recuperación basado en popularidad.
  • BM25: Una línea base basada en texto que utiliza el texto del caso enmascarado (despojado de citas) como consulta contra los textos legales completos.
• Controles de Ablación: Para distinguir el decaimiento temporal genuino de los cambios composicionales (por ejemplo, la entrada de nuevos artículos en el corpus), los autores implementaron:
  1. Ablación de Artículos Fijos: Evaluación del rendimiento sobre un vocabulario compartido de artículos presentes tanto en 2012 como en 2024.
  2. División Temporal de Entrenamiento/Prueba: Construcción de la matriz de cocitación a partir del primer 50% de los casos (por ID de documento) y evaluación sobre el 50% restante para evitar la filtración de datos.
• Análisis de Mecanismos: El estudio utiliza incrustaciones multilingües E5-large para medir la "deriva de incrustaciones". Al comparar los centroides semánticos de fragmentos de casos que citan artículos específicos en 2012 versus 2024, los autores cuantifican el cambio semántico en la aplicación de los artículos.

Resultados Clave
El hallazgo central es que la predictibilidad de la cocitación decae significativamente con el tiempo, confirmando que las estructuras de citas legales no son estacionarias.

1. Magnitud del Decaimiento:

   • En un conjunto fijo de artículos, el MRR de Adamic-Adar disminuyó un 33% (de 0.43 a 0.29) durante el período del estudio.
   • Bajo una división temporal estricta de entrenamiento/prueba (sin filtración de datos), el declive fue aún más severo, alcanzando un 47% (de 0.51 a 0.27).
   • El declive es monótono después de 2012, sin períodos de recuperación.

2. Degradación No Uniforme:

   • Frecuencia: Los artículos "centro" (>100K citas) resisten el decaimiento, manteniendo un MRR > 0.5. Sin embargo, los artículos de frecuencia media (1K–10K citas), que constituyen la frontera práctica de recuperación, pierden aproximadamente el 50% de su predictibilidad (el MRR cae de ~0.15 a ~0.07).
   • Dominio: El Proceso Penal mantiene patrones de cocitación estables (MRR ~0.40). En contraste, el Derecho Civil se degrada rápidamente (el MRR cae de 0.35 a 0.15), coincidiendo con la reforma judicial de 2017. El derecho administrativo también muestra una degradación significativa, particularmente después de 2022.

3. Rendimiento de la Línea Base Basada en Texto:

   • La recuperación de texto con BM25 funciona significativamente peor que los métodos de cocitación en términos absolutos (MRR 0.047 frente a 0.324 en 2024), pero decae incluso más rápido (declive del 31% frente al 21% para la cocitación). Esto desafía la premisa de que los métodos basados en texto son inherentemente más robustos temporalmente.

4. Explicación Mecanística:

   • El análisis de la deriva de incrustaciones revela un cambio semántico del 4.3% en la forma en que se citan los artículos a lo largo de 12 años.
   • El Proceso Civil exhibe la mayor deriva semántica (0.046), reflejando directamente su degradación más pronunciada en la recuperación. Esto sugiere que, a medida que evolucionan el contexto legal y la práctica interpretativa de un artículo, tanto las señales estructurales (cocitación) como léxicas (BM25) se debilitan.

Significado y Afirmaciones
El trabajo afirma proporcionar el primer punto de referencia longitudinal que demuestra que las señales de recuperación jurídica no son estáticas. Su importancia radica en tres áreas:

• Implicaciones para el Diseño de Sistemas: Los sistemas de recuperación basados en grafos no pueden tratarse como índices estáticos. La tasa de decaimiento observada (~4% de MRR/año durante 2012–2018) implica que tales sistemas pierden un rendimiento significativo dentro de 3–4 años sin reentrenamiento. Los autores sugieren que son necesarios sistemas híbridos que combinen modalidades de grafos y texto, o aquellos que utilicen reentrenamiento continuo, para abordar el desafío de la recuperación de "frecuencia media", donde las señales son más débiles.
• Estándares de Evaluación: El estudio revela que los protocolos estándar de evaluación leave-one-out subestiman la degradación del mundo real en aproximadamente 5 puntos porcentuales debido a la filtración de datos. Los autores abogan por las divisiones temporales de entrenamiento/prueba como el protocolo predeterminado para futuros puntos de referencia de recuperación jurídica.
• Contribución Teórica: Al vincular la deriva de incrustaciones semánticas con el decaimiento del rendimiento de recuperación, el trabajo ofrece una explicación mecanística de por qué las redes de citas legales se degradan: el contexto semántico evolutivo de los artículos legales hace que los patrones históricos de cocitación sean menos predictivos de la relevancia futura.

Los autores ponen a disposición el punto de referencia UA-StatuteRetrieval, que incluye puntuaciones de dificultad por artículo, 20 instantáneas anuales y mediciones de deriva de incrustaciones, para permitir que la comunidad mida directamente la robustez temporal de futuros enfoques de recuperación. El trabajo señala explícitamente limitaciones, incluyendo que la tarea es la predicción de citas (un proxy) y no la recuperación completa de leyes, y que los resultados son específicos del sistema de derecho civil ucraniano.