Temporal Decay of Co-Citation Predictability: A 20-Year Statute Retrieval Benchmark from 396M Ukrainian Court Citations

Resumo Técnico: Decaimento Temporal da Previsibilidade de Co-citação na Recuperação Jurídica

Declaração do Problema
Sistemas de recuperação de informação jurídica frequentemente dependem de estruturas de co-citação — os padrões de quais artigos estatutários são citados juntos em decisões judiciais — como um sinal de recuperação estável. A premissa implícita é que, se os artigos A e B são frequentemente co-citados em decisões históricas, eles permanecerão relevantes para casos futuros semelhantes. Este artigo desafia a estacionariedade dessa premissa. Investiga-se se a previsibilidade da co-citação permanece estável ao longo do tempo ou decai, potencialmente tornando métodos de recuperação baseados em grafos obsoletos sem atualização contínua. O estudo foca no sistema jurídico ucraniano, utilizando um corpus massivo de decisões judiciais para medir a estabilidade temporal de sinais de recuperação estatutária ao longo de um período de 20 anos (2007–2026).

Metodologia
Os autores construíram o UA-StatuteRetrieval, um benchmark derivado do Registro Estatal Unificado de Decisões Judiciais da Ucrânia (ЄДРСР). O conjunto de dados compreende 101 milhões de decisões judiciais e 396 milhões de citações validadas de artigos de códigos extraídas de 13 códigos legais.

• Protocolo de Avaliação: O estudo emprega um protocolo de previsão de citação leave-one-out sobre um grafo de citação bipartido completo (casos vs. artigos). Para cada decisão, artigos citados específicos são mascarados, e o sistema tenta recuperá-los usando as citações restantes. Isso serve como um proxy para recuperação estatutária, medindo a estabilidade do sinal de co-citação em vez da tarefa do usuário final de recuperar estatutos a partir de fatos do caso.
• Funções de Pontuação: As métricas principais são Reciprocal Rank Médio (MRR) e Hit@K, avaliadas usando:
  • Adamic-Adar (AA) e Common Neighbors (CN): Métodos de previsão de links baseados em grafos adaptados da análise de redes sociais.
  • Linha de Base de Grau: Um método de recuperação baseado em popularidade.
  • BM25: Uma linha de base baseada em texto usando texto de caso mascarado (desprovido de citações) como consulta contra textos estatutários completos.
• Controles de Ablação: Para distinguir o decaimento temporal genuíno de mudanças composicionais (por exemplo, novos artigos entrando no corpus), os autores implementaram:
  1. Ablação de Artigo Fixo: Avaliando o desempenho em um vocabulário compartilhado de artigos presentes tanto em 2012 quanto em 2024.
  2. Divisão Temporal Treino/Teste: Construindo a matriz de co-citação a partir dos primeiros 50% dos casos (por ID de documento) e avaliando nos 50% restantes para evitar vazamento de dados.
• Análise de Mecanismo: O estudo utiliza embeddings multilíngues E5-large para medir "deriva de embedding". Ao comparar os centróides semânticos de trechos de casos citando artigos específicos em 2012 versus 2024, os autores quantificam a mudança semântica na forma como os artigos são aplicados.

Principais Resultados
A descoberta central é que a previsibilidade da co-citação decai significativamente ao longo do tempo, confirmando que as estruturas de citação jurídica são não estacionárias.

1. Magnitude do Decaimento:

   • Em um conjunto fixo de artigos, o MRR Adamic-Adar declinou 33% (de 0,43 para 0,29) durante o período do estudo.
   • Sob uma divisão temporal estrita de treino/teste (sem vazamento de dados), o declínio foi ainda mais severo, de 47% (de 0,51 para 0,27).
   • O declínio é monótono após 2012, sem períodos de recuperação.

2. Degradação Não Uniforme:

   • Frequência: Artigos "hub" (>100K citações) resistem ao decaimento, mantendo MRR > 0,5. No entanto, artigos de frequência média (1K–10K citações), que constituem a fronteira prática de recuperação, perdem aproximadamente 50% de sua previsibilidade (MRR caindo de ~0,15 para ~0,07).
   • Domínio: O Processo Penal mantém padrões de co-citação estáveis (MRR ~0,40). Em contraste, o Direito Civil degrada-se rapidamente (MRR caindo de 0,35 para 0,15), coincidindo com a reforma judicial de 2017. O direito administrativo também mostra degradação significativa, particularmente pós-2022.

3. Desempenho da Linha de Base Baseada em Texto:

   • A recuperação de texto BM25 performa significativamente pior que os métodos de co-citação em termos absolutos (MRR 0,047 vs. 0,324 em 2024), mas decai ainda mais rápido (declínio de 31% vs. 21% para co-citação). Isso desafia a premissa de que métodos baseados em texto são inerentemente mais robustos temporalmente.

4. Explicação Mecanística:

   • A análise de deriva de embedding revela uma mudança semântica de 4,3% na forma como os artigos são citados ao longo de 12 anos.
   • O Processo Civil exibe a maior deriva semântica (0,046), espelhando diretamente sua degradação mais acentuada na recuperação. Isso sugere que, à medida que o contexto jurídico e a prática interpretativa de um artigo evoluem, tanto os sinais estruturais (co-citação) quanto os lexicais (BM25) enfraquecem.

Significado e Alegações
O artigo alega fornecer o primeiro benchmark longitudinal demonstrando que os sinais de recuperação jurídica não são estáticos. Seu significado reside em três áreas:

• Implicações para o Design de Sistemas: Sistemas de recuperação baseados em grafos não podem ser tratados como índices estáticos. A taxa de decaimento observada (~4% de MRR/ano durante 2012–2018) implica que tais sistemas perdem desempenho significativo dentro de 3–4 anos sem retreinamento. Os autores sugerem que sistemas híbridos combinando modalidades de grafos e texto, ou aqueles que utilizam retreinamento contínuo, são necessários para abordar o desafio de recuperação de "frequência média", onde os sinais são mais fracos.
• Padrões de Benchmarking: O estudo revela que protocolos padrão de avaliação leave-one-out subestimam a degradação do mundo real em aproximadamente 5 pontos percentuais devido ao vazamento de dados. Os autores defendem divisões temporais de treino/teste como o protocolo padrão para futuros benchmarks de recuperação jurídica.
• Contribuição Teórica: Ao vincular a deriva de embeddings semânticos ao decaimento do desempenho de recuperação, o artigo oferece uma explicação mecanística para o motivo pelo qual redes de citação jurídica degradam: o contexto semântico evolutivo dos artigos jurídicos torna os padrões históricos de co-citação menos preditivos da relevância futura.

Os autores lançam o benchmark UA-StatuteRetrieval, incluindo pontuações de dificuldade por artigo, 20 snapshots anuais e medições de deriva de embedding, para permitir que a comunidade meça diretamente a robustez temporal de futuras abordagens de recuperação. O artigo nota explicitamente limitações, incluindo que a tarefa é previsão de citação (um proxy) e não recuperação completa de estatutos, e que os resultados são específicos ao sistema de direito civil ucraniano.