Fenced Citation-Context Retrieval for Case Law: Temporal Leakage and Degree Control Across Two Jurisdictions

Resumo Técnico: Recuperação de Citação-Contexto com Cercamento para Jurisprudência

1. Declaração do Problema

A recuperação de precedentes jurídicos (PCR) visa encontrar casos nos quais uma nova análise jurídica se baseia. Embora o próprio texto de um caso seja um sinal primário, o "contexto de citação de entrada" (o texto que circunda as citações a um caso em outros julgamentos) emergiu como um poderoso sinal de recuperação, notadamente via o método PAT (Preceding citation Anchor Text). No entanto, as avaliações padrão de métodos do tipo PAT sofrem de duas falhas críticas que comprometem sua implementabilidade e interpretabilidade:

1. Vazamento Temporal (Temporal Leakage): Métodos padrão agregam contextos de citação independentemente da data. Em uma implantação no mundo real, um caso de consulta não pode ser citado por casos protocolados após a data da consulta. Avaliações que incluem essas citações futuras "trapaceiam" efetivamente ao usar evidências indisponíveis no momento da consulta, inflando as métricas de desempenho.
2. Confundimento por Popularidade (Popularity Confounding): Em benchmarks onde a relevância é definida por citações, o desempenho de um candidato é parcialmente impulsionado pelo seu total de contagem de citações (popularidade). Sem controlar isso, os ganhos de contexto de citação podem ser apenas reflexos da popularidade, em vez do valor informacional do texto da citação.

Além disso, a literatura existente frequentemente carece de controles rigorosos (cercamentos temporais, basais de grau correspondido e testes placebo) para isolar o sinal real desses artefatos.

2. Metodologia

Os autores propõem um framework rigoroso de zero treinamento para recuperação de contexto de citação que impõe estrito cercamento temporal e controles de popularidade em duas jurisdições distintas: CLERC (jurisprudência federal dos EUA, 1,84M de documentos) e ECtHR-PCR (Tribunal Europeu dos Direitos Humanos, 15,7k casos).

Componentes Principais:

• Cercamento Temporal (Temporal Fencing): O sistema constrói um "canal de âncora" que agrega janelas de citação (texto ao redor das citações), mas admite estritamente apenas citadores datados antes da data da consulta.
  • CLERC: Usa um cercamento por ano por consulta (admite citadores de anos estritamente anteriores ao ano da consulta).
  • ECtHR-PCR: Usa um cercamento estático dividido (admite apenas citadores datados antes da data de divisão da avaliação) para garantir verificabilidade mecânica de bytes e evitar qualquer vazamento do conjunto de teste.
• Arquitetura de Recuperação:
  • Canal de Corpo (Body Channel): BM25 padrão sobre o texto do caso.
  • Canal de Âncora (Anchor Channel): Agrega pontuações BM25 de janelas de citação de citadores admitidos.
  • Fusão: Os dois canais são fundidos usando Reciprocal Rank Fusion (RRF).
• Controles e Auditorias:
  • Controles de Grau (Degree Controls): Basais explícitos que classificam candidatos por contagem de citação (grau) ou contagem de janela, e basais de fusão (BM25 + grau) para garantir que os ganhos não sejam meramente efeitos de popularidade.
  • Testes Placebo:
    • CLERC: Placebo de família/tempo pareado (trocando contextos reais por permutados) para testar se o sinal é específico de conteúdo.
    • ECtHR-PCR: Placebo de identidade de candidato (trocando pontuações de janela entre candidatos com grau/contagem pareados) para testar se o sinal é dominado por estrutura/massa.
  • Auditorias de Proveniência: Auditorias de invariância de bytes e verificações de precisão manual para garantir que nenhum vazamento de dados ocorreu durante o mapeamento ou construção de artefatos.

Decomposição de Admissão Temporal:
O artigo introduz uma decomposição inovadora para quantificar exatamente quanto uma avaliação "não cercada" (ingênua) se autocrédita. Para o ECtHR-PCR, o ganho ingênuo ($c - a$) é dividido em:

1. Prêmio de Evidência de Data Não-Prioritária ($c - b$): O "vazamento limpo" (evidência de datas $\ge$ data da consulta).
2. Custo de Admissão de Divisão Estática ($b - a'$): A perda incorrida por um cercamento estrito que exclui citadores legítimos pré-consulta que um cercamento dinâmico captaria.
3. Efeito de Índice/Conjunto de Recuperação ($a' - a$): Diferenças decorrentes da construção do índice ou mudanças no conjunto de candidatos.

3. Contribuições Principais

1. Quantificação do Vazamento Temporal: O artigo fornece a primeira medição precisa da "fração fantasma" — a parcela dos ganhos de contexto de citação ingênuos que são, na verdade, evidência futura. No ECtHR-PCR, o ganho ingênuo de +4,97 R@1000 é decomposto, revelando que apenas +2,70 (14,9%) é vazamento genuíno, enquanto a maioria é um custo de admissão ou efeito de índice.
2. Validação Transjurisdicional: O estudo valida a necessidade de cercamento e controle de grau em dois corpora jurídicos muito diferentes (federal dos EUA vs. Tribunal Europeu), demonstrando que a "lição de implementabilidade" se transfere.
3. Desempenho de Zero Treinamento: O sistema cercado proposto atinge resultados de estado da arte sem treinamento:
   • CLERC: +16,1 R@1000 sobre o BM25 ajustado no universo elegível, superando um controle de grau ajustado de forma justa.
   • ECtHR-PCR: 79,56 R@1000, igualando o sistema treinado mais forte publicado (LeCoPCR-HT, 79,39) e superando-o em cortes de recall rasos e em MAP, apesar de usar zero treinamento.
4. Diferenciação de Mecanismo: Através de controles placebo, o artigo observa que o mecanismo do ganho difere por regime:
   • CLERC: Os ganhos colapsam sob um placebo de correspondência de conteúdo, sugerindo que o sinal é dominado por conteúdo (texto específico na janela de citação).
   • ECtHR-PCR: Os ganhos persistem sob um placebo de correspondência de estrutura (retendo ~96%), sugerindo que o sinal é dominado por estrutura/massa (massa de pontuação da topologia da rede de citação) em vez de identidade específica do candidato.

4. Resultados

• CLERC (Federal dos EUA):
  • A política de universo completo (âncora cercada + BM25) alcança 70,21 R@1000 vs. 54,11 para o BM25 sozinho (+16,1 pontos, IC 95% [+14,3, +18,0]).
  • No subconjunto mapeado (2.058 consultas), o ganho é de +22,3 R@1000.
  • O sistema supera um controle de grau "ajustado de forma justa" (onde o peso ideal de grau foi encontrado como zero, tornando o controle essencialmente idêntico ao BM25).
  • Relaxar o cercamento (permitindo citadores do mesmo ano ou futuros) resulta em um aumento de dose-resposta monotônico no desempenho, atingindo o pico de +4,95 R@1000 sobre o cercamento estrito, confirmando o significativo autocrédito em avaliações não cercadas.
• ECtHR-PCR (Tribunal Europeu):
  • O sistema cercado alcança 79,56 R@1000, superando o BM25+grau (70,89) em +8,68 pontos.
  • Ele iguala o desempenho do sistema treinado mais forte (LeCoPCR-HT) em R@1000, mas supera significativamente este em R@50, R@100 e MAP.
  • Decomposição: O ganho ingênuo de "relaxar o cercamento" de +4,97 é dividido em:
    • Vazamento Limpo (não-data prioritária): +2,70 (14,9% do ganho ingênuo).
    • Custo de Admissão (citadores pré-consulta legítimos excluídos pelo cercamento estático): +3,29.
    • Efeito de Índice: -1,02.
    • A "fração fantasma" (parcela de vazamento) é de 14,9%.

5. Significância e Alegações

O artigo posiciona-se como uma contribuição de nível "Findings" focada em auditorias de implementabilidade em vez de propor um novo mecanismo de recuperação (o mecanismo PAT é emprestado). Sua principal significância reside em:

1. Correção da Higiene de Avaliação: Demonstra que, sem cercamento temporal estrito e controles de grau, as avaliações de recuperação de contexto de citação jurídica são fundamentalmente falhas e se autocreditam excessivamente.
2. Autocrédito Mensurável: Prova que a "fração fantasma" de evidência futura em avaliações não cercadas é grande o suficiente para importar (mensurável e reportável) e fornece um método de decomposição para isolá-la.
3. Viabilidade de Zero Treinamento: Mostra que uma abordagem estritamente cercada e de zero treinamento pode igualar ou exceder o desempenho de sistemas complexos treinados, desde que a avaliação seja honesta.
4. Insight de Mecanismo Observacional: Sugere que a natureza do sinal de contexto de citação pode variar por jurisdição (conteúdo vs. estrutura), embora isso seja apresentado como uma hipótese observacional e não uma lei comprovada devido às diferenças nos designs de placebo entre os corpora.

Os autores declaram explicitamente que não alegam que o mecanismo é novo, nem que são os primeiros a usar indução temporal ou controles de grau em campos adjacentes. A novidade é a decomposição do autocrédito e a validação transjurisdicional da necessidade desses controles.