Can Administrative Justice Be Predicted ? AStudy of Open Judicial Decisions in France

Resumo Técnico: A Justiça Administrativa Pode Ser Prevista? Um Estudo sobre Decisões Judiciais Abertas na França

Problema
O artigo aborda uma questão central na análise econômica do direito: quais modelos de Processamento de Linguagem Natural (PLN) adaptados ao domínio podem prever com maior precisão e confiabilidade os resultados das decisões dos tribunais administrativos franceses utilizando dados judiciais abertos? Embora o mercado global de IA jurídica esteja em expansração e as reformas institucionais (como a Lei da República Digital) tenham tornado as decisões dos tribunais administrativos franceses publicamente disponíveis, há uma falta de análise empírica em larga escala direcionada especificamente aos tribunais administrativos de primeira instância. O estudo busca determinar se existem sinais preditivos significativos dentro das descrições fáticas e processuais dos casos, antes do raciocínio jurídico ou da decisão final do tribunal, e identificar a abordagem de modelagem ideal para este domínio jurídico específico.

Metodologia
O estudo emprega um pipeline de PLN sistemático aplicado a um corpus de 157.390 decisões de tribunais administrativos de primeira instância publicadas entre janeiro de 2024 e setembro de 2025.

• Construção e Pré-processamento de Dados:

  • Recursos de Entrada (Features): Para evitar o vazamento de resultados (outcome leakage), os inputs do modelo são estritamente limitados ao contexto fático e processual de cada decisão (extraído do campo Texte-Integral, especificamente a seção que precede o raciocínio jurídico). O raciocínio jurídico (Considérants) e a decisão dispositiva (D É C I D E) são explicitamente excluídos.
  • Variável de Resultado: A variável alvo é o resultado final do julgamento (Solution). O conjunto de dados bruto contém 22 categorias distintas, que foram agregadas em quatro classes juridicamente coerentes para garantir a tratabilidade estatística:
    1. Rejet (Improcedência/Rejeição)
    2. Satisfaction partielle (Satisfação parcial)
    3. Satisfaction totale (Satisfação total)
    4. Renvoi (Remessa processual)
  • Processamento de Texto: O texto passa por normalização (remoção de pontuação, tags XML, dígitos e datas), tokenização e lematização. Uma vetorização TF-IDF é aplicada utilizando unigramas, com termos que ocorrem em menos de 5 documentos ou em mais de 80% dos documentos sendo filtrados.
  • Desbalanceamento de Classes: O conjunto de dados exibe um desbalanceamento significativo de classes, com a categoria "Rejet" compreendendo aproximadamente 56% do corpus.
    • Para modelos clássicos de aprendizado de máquina, técnicas de reamostragem (SMOTE, BorderlineSMOTE, SMOTETomek, ADASYN) são aplicadas ao conjunto de treinamento.
    • Para modelos baseados em transformadores (transformers), o desbalanceamento de classes é tratado via funções de perda ponderadas por classe (class-weighted loss functions) durante o ajuste fino (fine-tuning), em vez de aumento de dados.

• Avaliação do Modelo:
  O estudo compara cinco famílias de modelos:

  1. Aprendizado de Máquina Clássico: Support Vector Machines (SVM), Random Forest (RF) e Gradient Boosting Classifiers (GBC).
  2. Modelos de Transformadores (Transformers): BERT de propósito geral e JuriBERT (um modelo pré-treinado especificamente em corpora jurídicos franceses).
  3. Modelo de Linguagem de Grande Escala (LLM): GPT, avaliado em um cenário de few-shot sem ajuste fino.

  O desempenho é avaliado usando F1-score Macro e Acurácia em um conjunto de teste retido (30% dos dados, sendo que o F1-score Macro é priorizado devido à natureza multiclasse e desbalanceada do problema).

Principais Resultados
Os resultados empíricos estabelecem uma hierarquia clara de desempenho entre as famílias de modelos:

• JuriBERT (Melhor Desempenho): O transformador adaptado ao domínio alcançou o maior desempenho com um F1-score Macro de 0,7184 e uma Acurácia de 78,31%. Isso confirma que o pré-treinamento em textos jurídicos franceses aumenta significativamente a capacidade preditiva neste domínio.
• BERT de Propósito Geral: Superou os modelos clássicos, mas ficou atrás do JuriBERT, alcançando um F1-score Macro de 0,6512.
• Baselines Clássicos: Entre os modelos tradicionais, o Random Forest combinado com SMOTE teve o melhor desempenho, com um F1-score Macro de 0,6174 e uma acurácia de 70,71%. SVM e GBC apresentaram F1-scores mais baixos, frequentemente tendo dificuldades com as classes minoritárias, apesar de acurácias comparáveis.
• GPT (Few-Shot): O baseline de GPT em poucos disparos (few-shot) alcançou um F1-score Macro de 0,5721, performando abaixo do baseline clássico supervisionado. Isso indica que, sem ajuste fino específico para a tarefa, os LLMs são suscetíveis ao viés da classe majoritária em tarefas jurídicas multiclasse com alto desbalanceamento.

Principais Contribuições

1. Benchmark Metodológico: O artigo fornece a primeira análise empírica em larga escala da justiça preditiva aplicada aos tribunais administrativos de primeira instância na França. Estabelece um pipeline de PLN replicável que aborda restrições específicas dos dados jurídicos franceses, incluindo desbalanceamento de classes, vocabulário específico do domínio e a necessidade de excluir o texto de fundamentação para evitar vazamento de dados.
2. Validação de Adaptação de Domínio: O estudo demonstra que modelos adaptados ao domínio (JuriBERT) superam substancialmente tanto os transformadores de propósito geral quanto os baselines de aprendizado de máquina clássico. Isso sugere que a estrutura especializada e o vocabulário da justiça administrativa francesa exigem um pré-treinamento específico para serem modelados de forma eficaz.
3. Evidência de Sinal Preditivo: Os resultados confirmam que informações suficientes para prever resultados judiciais estão incorporadas no conteúdo fático observável das disputas, antes que o raciocínio ou a decisão do tribunal sejam conhecidos.

Significância e Alegações
O artigo afirma que estas descobertas têm implicações diretas para a análise econômica do direito. A existência de um forte sinal preditivo nas descrições fáticas sugere que:

• Incentivos ao Litígio: Se acessíveis, tais ferramentas preditivas poderiam alterar os incentivos de propositura e acordo para os litigantes.
• Assimetria de Informação: Atualmente, os "jogadores recorrentes" (repeat players — administrações públicas) possuem uma vantagem informacional sobre os litigantes individuais quanto ao mapeamento de padrões fáticos para resultados. Uma ferramenta preditiva confiável poderia, teoricamente, estreitar essa lacuna, fornecendo aos litigantes individuais uma base comparável para antecipar resultados.
• Comportamento Estratégico: Seguindo o framework de Priest e Klein (1984), essas ferramentas poderiam influenciar a alocação estratégica de casos entre litígio, negociação e desistência.

O autor mantém-se modesto quanto ao escopo do estudo, observando limitações como a janela de observação relativamente curta (20 meses), a agregação de categorias de resultados que descarta alguma nuance jurídica, e o potencial de heterogeneidade geográfica entre os 42 tribunais administrativos franceses. Ele não alega que a ferramenta deva substituir o raciocínio judicial, mas sim que serve como um recurso empírico para estudar o comportamento judicial e os incentivos ao litígio.