Temporal Decay of Co-Citation Predictability: A 20-Year Statute Retrieval Benchmark from 396M Ukrainian Court Citations

Riepilogo Tecnico: Decadimento Temporale della Prevedibilità della Co-Citazione nel Recupero Giuridico

Enunciato del Problema
I sistemi di recupero dell'informazione giuridica fanno frequentemente affidamento sulle strutture di co-citazione – i modelli secondo cui gli articoli normativi sono citati insieme nelle decisioni giudiziarie – come segnale di recupero stabile. L'assunzione implicita è che, se gli articoli A e B sono frequentemente co-citati nelle decisioni storiche, rimarranno pertinenti per casi futuri simili. Questo lavoro mette in discussione la stazionarietà di tale assunzione. Esamina se la prevedibilità della co-citazione rimanga stabile nel tempo o decada, rendendo potenzialmente obsoleti i metodi di recupero basati su grafi senza aggiornamenti continui. Lo studio si concentra sul sistema giuridico ucraino, utilizzando un corpus massiccio di decisioni giudiziarie per misurare la stabilità temporale dei segnali di recupero normativo in un periodo di 20 anni (2007–2026).

Metodologia
Gli autori hanno costruito UA-StatuteRetrieval, un benchmark derivato dal Registro Statale Unificato delle Decisioni Giudiziarie dell'Ucraina (ЄДРСР). Il dataset comprende 101 milioni di decisioni giudiziarie e 396 milioni di citazioni validate di articoli del codice estratte da 13 codici giuridici.

• Protocollo di Valutazione: Lo studio impiega un protocollo di previsione di citazione leave-one-out su un grafo di citazione bipartito completo (casi vs. articoli). Per ogni decisione, specifiche articoli citati vengono mascherati e il sistema tenta di recuperarli utilizzando le rimanenti citazioni. Ciò funge da proxy per il recupero normativo, misurando la stabilità del segnale di co-citazione piuttosto che il compito dell'utente finale di recuperare norme dai fatti del caso.
• Funzioni di Punteggio: Le metriche principali sono Mean Reciprocal Rank (MRR) e Hit@K, valutate utilizzando:
  • Adamic-Adar (AA) e Common Neighbors (CN): Metodi di previsione dei link basati su grafi adattati dall'analisi delle reti sociali.
  • Baseline per Grado: Un metodo di recupero basato sulla popolarità.
  • BM25: Una baseline basata sul testo che utilizza il testo del caso mascherato (privato delle citazioni) come query contro i testi normativi completi.
• Controlli di Ablazione: Per distinguere il decadimento temporale genuino dai cambiamenti compositivi (ad esempio, nuovi articoli che entrano nel corpus), gli autori hanno implementato:
  1. Ablazione su Articoli Fissi: Valutazione delle prestazioni su un vocabolario condiviso di articoli presenti sia nel 2012 che nel 2024.
  2. Divisione Temporale Train/Test: Costruzione della matrice di co-citazione dal primo 50% dei casi (per ID documento) e valutazione sul restante 50% per prevenire la fuoriuscita di dati.
• Analisi del Meccanismo: Lo studio utilizza embedding multilingue E5-large per misurare la "deriva degli embedding" (embedding drift). Confrontando i centroidi semantici di frammenti di caso che citano articoli specifici nel 2012 rispetto al 2024, gli autori quantificano lo spostamento semantico nel modo in cui gli articoli vengono applicati.

Risultati Chiave
La scoperta centrale è che la prevedibilità della co-citazione decade significativamente nel tempo, confermando che le strutture di citazione giuridica sono non stazionarie.

1. Entità del Decadimento:

   • Su un insieme fisso di articoli, l'MRR di Adamic-Adar è diminuito del 33% (da 0,43 a 0,29) durante il periodo dello studio.
   • Sotto una rigorosa divisione temporale train/test (senza fuoriuscita di dati), il declino è stato ancora più severo, pari al 47% (da 0,51 a 0,27).
   • Il declino è monotono dopo il 2012, senza periodi di recupero.

2. Degradazione Non Uniforme:

   • Frequenza: Gli articoli "hub" (>100.000 citazioni) resistono al decadimento, mantenendo un MRR > 0,5. Tuttavia, gli articoli a frequenza media (1.000–10.000 citazioni), che costituiscono la frontiera pratica del recupero, perdono circa il 50% della loro prevedibilità (MRR che scende da ~0,15 a ~0,07).
   • Dominio: Il Procedimento Penale mantiene modelli di co-citazione stabili (MRR ~0,40). Al contrario, il Diritto Civile degrada rapidamente (MRR che scende da 0,35 a 0,15), coincidendo con la riforma giudiziaria del 2017. Anche il diritto amministrativo mostra una significativa degradazione, in particolare dopo il 2022.

3. Prestazioni della Baseline Basata sul Testo:

   • Il recupero testuale BM25 performa significativamente peggio dei metodi di co-citazione in termini assoluti (MRR 0,047 contro 0,324 nel 2024) ma decade ancora più velocemente (declino del 31% contro il 21% per la co-citazione). Ciò mette in discussione l'assunzione che i metodi basati sul testo siano intrinsecamente più robusti temporalmente.

4. Spiegazione Meccanicistica:

   • L'analisi della deriva degli embedding rivela uno spostamento semantico del 4,3% nel modo in cui gli articoli vengono citati nel corso di 12 anni.
   • Il Procedimento Civile esibisce la deriva semantica più alta (0,046), riflettendo direttamente la sua più ripida degradazione nel recupero. Ciò suggerisce che, man mano che il contesto giuridico e la pratica interpretativa di un articolo evolvono, sia i segnali strutturali (co-citazione) che quelli lessicali (BM25) si indeboliscono.

Significato e Affermazioni
Il lavoro afferma di fornire il primo benchmark longitudinale che dimostra che i segnali di recupero giuridico non sono statici. Il suo significato risiede in tre aree:

• Implicazioni per la Progettazione dei Sistemi: I sistemi di recupero basati su grafi non possono essere trattati come indici statici. Il tasso di decadimento osservato (~4% di MRR/anno durante il 2012–2018) implica che tali sistemi perdono prestazioni significative entro 3–4 anni senza riaddestramento. Gli autori suggeriscono che sono necessari sistemi ibridi che combinino modalità grafiche e testuali, o quelli che utilizzino riaddestramento continuo, per affrontare la sfida del recupero "a frequenza media" dove i segnali sono più deboli.
• Standard di Benchmarking: Lo studio rivela che i protocolli di valutazione standard leave-one-out sottostimano la degradazione reale di circa 5 punti percentuali a causa della fuoriuscita di dati. Gli autori sostengono l'adozione di divisioni temporali train/test come protocollo predefinito per i futuri benchmark di recupero giuridico.
• Contributo Teorico: Collegando la deriva semantica degli embedding al decadimento delle prestazioni di recupero, il lavoro offre una spiegazione meccanicistica del motivo per cui le reti di citazione giuridica degradano: il contesto semantico in evoluzione degli articoli giuridici rende i modelli storici di co-citazione meno predittivi della pertinenza futura.

Gli autori rilasciano il benchmark UA-StatuteRetrieval, inclusi punteggi di difficoltà per articolo, 20 snapshot annuali e misurazioni della deriva degli embedding, per permettere alla comunità di misurare direttamente la robustezza temporale dei futuri approcci di recupero. Il lavoro nota esplicitamente le limitazioni, tra cui il fatto che il compito è la previsione di citazioni (un proxy) piuttosto che il recupero completo delle norme, e che i risultati sono specifici per il sistema di diritto civile ucraino.