Resumo Técnico: Deriva de Conceito Temporal na Predição de Julgamentos Jurídicos

Declaração do Problema

As atuais benchmarks de PLN Jurídico (por exemplo, LexGLUE, LEXTREME, SCALE) dependem predominantemente de divisões aleatórias entre treino e teste, assumindo implicitamente que a linguagem jurídica é estacionária. Este design obscurece a realidade da deriva de conceito temporal, onde o desempenho do modelo degrada-se à medida que a distribuição temporal dos dados de teste diverge dos dados de treino. No domínio jurídico, essa deriva é amplificada por mudanças legislativas, práticas judiciais em evolução e choques exógenos (por exemplo, conflitos, reformas). Embora trabalhos anteriores tenham estabelecido que as linhas de base clássicas de TF-IDF sofrem degradação significativa através das épocas de decisões judiciais ucranianas, a extensão desse fenômeno em modelos transformadores neurais e a eficácia de estratégias de pré-treinamento específico do domínio ou de aprendizado contínuo permaneceram inexploradas.

Metodologia

Conjunto de Dados e Épocas Temporais

O estudo utiliza 428.000 decisões judiciais ucranianas (jurisdições civil e comercial) extraídas do Registro Estatal Unificado de Decisões Judiciais (EDRSR). Os dados são partitionados em três épocas temporais distintas que refletem rupturas geopolíticas:

1. Pré-guerra (2008–2013): Linha de base de tempo de paz (128 mil decisões).
2. Guerra híbrida (2014–2021): Pós-anexação da Crimeia e reforma judicial (150 mil decisões).
3. Invasão em larga escala (2022–2026): Lei marcial e novos quadros processuais (150 mil decisões).

Dentro de cada época, as divisões são cronológicas (80% treino, 10% validação, 10% teste) para evitar vazamento temporal. Os rótulos são classificados em três categorias: Aprovado, Arquivado e Parcial.

Modelos e Desenho Experimental

Quatro variantes de transformadores baseadas em XLM-RoBERTa foram ajustadas para isolar os efeitos da escala do modelo e do pré-treinamento do domínio:

• Propósito geral: XLM-R Base (278M) e Large (560M).
• Domínio jurídico: Legal-XLM-R Base e Large (pré-treinados no MultiLegalPile).

O protocolo de avaliação consiste em quatro experimentos:

1. Linhas de base intra-época: Treino e teste na mesma época para estabelecer o desempenho diagonal.
2. Generalização inter-época: Uma matriz $3 \times 3$ onde modelos treinados em uma época são testados em todas as três. As métricas incluem Degradação Forward (Pré-guerra $\to$ Invasão em larga escala) e Degradação Backward (Invasão em larga escala $\to$ Pré-guerra).
3. Transferência interjurisdicional: Uso de dados do Swiss Judgment Prediction (SJP) para testar se o pré-treinamento em jurisdição estrangeira mitiga a deriva temporal.
4. Aprendizado Contínuo: Ajuste fino sequencial em duas direções:
   • Forward (Cronológico): Pré-guerra $\to$ Híbrida $\to$ Invasão em larga escala.
   • Backward (Reverso-cronológico): Invasão em larga escala $\to$ Híbrida $\to$ Pré-guerra.

Resultados Principais

1. Degradação Forward Severa e Assimétrica

A deriva temporal é uma fonte dominante de degradação de desempenho, superando o impacto da seleção do modelo ou do pré-treinamento do domínio.

• Degradação Forward: Modelos treinados em dados pré-guerra perdem 11,2 a 27,2 pontos percentuais (pp) no macro-F1 quando aplicados a decisões de invasão em larga escala. O maior modelo (XLM-R Large) sofreu uma queda de 27,2 pp.
• Assimetria: A transferência backward é significativamente mais robusta. Modelos treinados na complexa era de invasão em larga escala frequentemente performam melhor em dados de teste pré-guerra do que em sua própria época de treino (por exemplo, o XLM-R Base ganha +9,0 pp ao mover-se para trás). Isso apoia a hipótese de "linguagem aditiva": novos quadros jurídicos subsumem os antigos, mas modelos antigos carecem de representações para novos conceitos (por exemplo, disposições de lei marcial).

2. O Paradoxo do Pré-treinamento de Domínio Jurídico

Contrariando expectativas, o pré-treinamento de domínio jurídico (Legal-XLM-R) não melhorou o desempenho absoluto em comparação com o XLM-R geral.

• Desempenho Absoluto: Modelos Legal-XLM-R pontuaram 7–9 pp mais baixos do que modelos gerais em tarefas intra-época.
• Robustez Temporal: Modelos jurídicos exibiram menos degradação forward (11–12 pp vs. 20–27 pp) e uma lacuna de assimetria menor. No entanto, essa "robustez" decorre de um poder discriminatório de base mais baixo; suas representações são menos específicas à época, mas também menos eficazes para a tarefa.
• Fragilidade Direcional: Diferentemente dos modelos gerais, os modelos jurídicos degradaram-se em ambas as direções, forward e backward, sugerindo que suas representações são frágeis a qualquer deslocamento temporal.

3. Dinâmicas de Aprendizado Contínuo

• Treinamento Cronológico (Forward): Para modelos XLM-R gerais, o ajuste fino sequencial (Pré-guerra $\to$ Invasão em larga escala) eliminou o esquecimento catastrófico. O conhecimento pré-guerra foi retido ou melhorado (+1,8 a +6,2 pp), enquanto o desempenho na invasão em larga escala ganhou +16,5 a +19,0 pp. O modelo resultante superou qualquer modelo de época única.
• Treinamento Reverso-Cronológico: Esta direção causou esquecimento catastrófico severo (−12,2 a −14,3 pp em dados de invasão em larga escala).
• Modelos Jurídicos: Legal-XLM-R falhou em reter conhecimento mesmo na direção forward, perdendo 5,6 pp em dados pré-guerra.

4. Limites da Transferência Interjurisdicional

O pré-treinamento em dados de Swiss Judgment Prediction melhorou o desempenho absoluto em todas as épocas (+3 a +10 pp), mas não reduziu a magnitude da degradação temporal. A lacuna de degradação forward permaneceu virtualmente idêntica (20,3 pp vs. 21,3 pp), confirmando que a deriva temporal é uma propriedade intrínseca da evolução da linguagem jurídica, e não um artefato específico de jurisdição.

5. Modelos Neurais vs. Linhas de Base Clássicas

Modelos neurais (F1 médio ~63–65%) performaram substancialmente abaixo da linha de base TF-IDF (F1 médio ~79,8%). Os autores atribuem isso a penalidades de fertilidade do tokenizer em texto cirílico ucraniano, onde o SentencePiece fragmenta termos jurídicos em 3–5 subpalavras, reduzindo o contexto efetivo dentro da janela de 512 tokens.

Significado e Afirmativas

O artigo estabelece o primeiro benchmark de robustez temporal neural para PLN Jurídico. Suas principais contribuições são:

1. Quantificação da Deriva: Demonstrar que a deriva temporal é um fator mais crítico para a confiabilidade do modelo do que a arquitetura do modelo ou o pré-treinamento do domínio.
2. Insight Mecanístico: Validar a hipótese de "linguagem aditiva" através de resultados de transferência assimétrica e trajetórias de aprendizado contínuo.
3. Estratégia de Mitigação: Identificar o aprendizado contínuo cronológico como uma estratégia eficaz para modelos de propósito geral manterem conhecimento histórico enquanto se adaptam a novos quadros jurídicos, ao passo que o treinamento reverso-cronológico é prejudicial.
4. Padrões de Benchmarking: Argumentar que benchmarks de PLN Jurídico devem relatar robustez temporal juntamente com desempenho agregado para refletir riscos de implantação no mundo real.
5. Liberação de Recursos: Fornecer um conjunto de dados publicamente disponível de 428 mil decisões com anotações temporais como contribuição para o LEXTREME.

Os autores concluem que, para sistemas de PLN Jurídico implantados, o re-treinamento cronológico periódico em dados recentes é essencial, e a dependência de pré-treinamento de domínio jurídico pode ser contraproducente para tarefas específicas de jurisdição que exigem alto poder discriminatório.