Mining Legal Arguments to Study Judicial Formalism

1. Problema e Contexto

O artigo aborda a dificuldade de analisar sistematicamente o raciocínio judicial em larga escala, especialmente na Europa Central e Oriental (CEE). Existe uma narrativa acadêmica e política predominante de que os tribunais da CEE (especificamente na República Tcheca) são excessivamente "formalistas", baseando-se rigidamente no texto da lei, ignorando princípios mais amplos e evitando considerações de justiça ou consequências práticas.

No entanto, essa alegação carece de evidências empíricas robustas. A análise manual é cara e lenta, e os conceitos jurídicos como "formalismo" são abstratos e difíceis de operacionalizar para processamento de linguagem natural (NLP). O objetivo do estudo é testar empiricamente essas alegações sobre o formalismo judicial tcheco utilizando métodos automatizados de mineração de argumentos legais.

2. Metodologia

O estudo propõe uma abordagem interdisciplinar combinando teoria jurídica e NLP de ponta, estruturada em três pilares principais:

A. Criação do Dataset MADON

• Dados: Um conjunto de dados anotado manualmente contendo 272 decisões do Supremo Tribunal (ST) e do Supremo Tribunal Administrativo (STA) da República Tcheca.
• Escala: 9.183 parágrafos anotados, totalizando 1.913 argumentos legais identificados.
• Anotação: Realizada por especialistas jurídicos (estudantes de direito e doutorandos) seguindo diretrizes rigorosas baseadas em taxonomias de argumentação legal (Alexy, MacCormick, etc.).
• Esquema de Anotação:
  1. Detecção de Argumentos: Identificar se um parágrafo contém argumentação.
  2. Classificação de Tipos de Argumento: 8 tipos (4 formalistas e 4 não formalistas):
     • Formalistas: Interpretação Linguística (LIN), Interpretação Sistêmica (SI), Jurisprudência (CL), Doutrina (D).
     • Não Formalistas: Interpretação Histórica (HI), Princípios de Direito/Valores (PL), Interpretação Teleológica (TI), Consequências Práticas (PC).
  3. Rótulo Holístico: Classificar a decisão inteira como "formalista" ou "não formalista" baseada em cinco princípios centrais do formalismo na CEE (ex: foco excessivo no texto, exclusão de padrões externos, falta de fundamentação).

B. Pré-processamento e Treinamento de Modelos

• Corpus de Pré-treinamento: Um corpus massivo de 300.511 decisões judiciais tchecas anônimas foi compilado para continued pretraining (pré-treinamento contínuo) dos modelos, adaptando-os ao domínio legal tcheco.
• Arquiteturas de Modelos:
  • Llama 3.1 8B: Modelo decoder-only multilíngue.
  • ModernBERT: Modelo encoder-only com suporte a contexto longo.
  • MLP (Perceptron Multicamada): Usado em conjunto com extração de características para classificação final.
• Tratamento de Desequilíbrio: Uso de Asymmetric Loss e ponderação de classes para lidar com a escassez de argumentos positivos (raro em grandes textos jurídicos).

C. Pipeline de Três Estágios

Para a classificação holística de formalismo, os autores propõem um pipeline híbrido que imita o raciocínio jurídico:

1. Filtragem: Um modelo menor (ModernBERT) filtra parágrafos não argumentativos (reduzindo o texto em ~85%).
2. Classificação de Argumentos: Um modelo maior (Llama 3.1) classifica os tipos de argumentos nos parágrafos filtrados.
3. Classificação Final: Um MLP usa a distribuição dos argumentos detectados como features para classificar a decisão como formalista ou não.

3. Contribuições Principais

1. Dataset MADON: O primeiro conjunto de dados anotado por especialistas para mineração de argumentos legais e análise de formalismo em decisões da CEE, incluindo diretrizes detalhadas e acordos entre anotadores.
2. Corpus Legal Tcheco: Disponibilização de um corpus de 300k decisões para pré-treinamento de LLMs no domínio jurídico tcheco.
3. Pipeline Explicável e Eficiente: Demonstração de que decompor a tarefa de classificação em etapas (filtragem -> extração de argumentos -> classificação) melhora a explicabilidade e reduz custos computacionais, superando modelos end-to-end puros.
4. Evidência Empírica contra Narrativas Estabelecidas: O estudo desafia a visão de que os tribunais tchecos são puramente textualistas e formalistas, fornecendo dados quantitativos que contradizem a literatura existente.

4. Resultados

• Detecção de Argumentos (Tarefa 1): O modelo ModernBERT alcançou o melhor desempenho com 82,6% de Bal-F1, superando o Llama 3.1. O fine-tuning completo foi essencial; o fine-tuning eficiente de parâmetros (PEFT/LoRA) degradou o desempenho significativamente.
• Classificação de Tipos de Argumento (Tarefa 2): O Llama 3.1 8B com fine-tuning completo e Asymmetric Loss obteve 77,5% de Bal-F1. A perda assimétrica foi crucial para lidar com o desequilíbrio de classes.
• Classificação Holística de Formalismo (Tarefa 3):
  • O modelo end-to-end (ModernBERT) alcançou 82,2% de Bal-F1.
  • O Pipeline de Três Estágios (com filtragem e MLP) alcançou o melhor resultado de 83,8% de Bal-F1.
  • Análise SHAP: Revelou que argumentos de "Princípios de Direito/Valores" (PL) e "Interpretação Teleológica" (TI) são os maiores preditores de decisões não formalistas, enquanto a "Interpretação Sistêmica" (SI) teve pouco poder preditivo, apesar de ser teoricamente classificada como formalista.

Descoberta Empírica Chave: Contrariando a narrativa de formalismo extremo, os dados mostram que:

• A Interpretação Linguística (baseada estritamente no texto) é rara, representando apenas 5,7% de todos os argumentos.
• A Jurisprudência (Case Law) é o tipo de argumento mais dominante (37,4%).
• Argumentos baseados em valores e finalidade (não formalistas) são frequentes.
• O Supremo Tribunal Administrativo (STA) mostrou uma tendência mais forte para raciocínio não formalista nas decisões recentes (pós-2014) em comparação ao Supremo Tribunal (ST).

5. Significado e Implicações

• Para o NLP Jurídico: O estudo valida a eficácia de LLMs adaptados para tarefas complexas de argumentação legal em línguas não inglesas. Ele destaca que o fine-tuning completo e o tratamento adequado de desequilíbrio de classes são superiores a métodos de prompting ou PEFT simples para este domínio.
• Para a Ciência Jurídica e Sociologia: O trabalho fornece a primeira evidência empírica em larga escala que questiona a generalização de que os sistemas jurídicos da Europa Central e Oriental são inerentemente "hiperpositivistas" ou "mecanicistas". Sugere que a narrativa de formalismo pode ser um mito baseado em anedotas, e não na prática real dos tribunais superiores tchecos.
• Metodologia: Demonstra que a combinação de mineração de argumentos com classificação holística permite uma análise mais rica e matizada da filosofia judicial do que a simples contagem de palavras-chave ou a classificação direta de texto.

Em suma, o artigo demonstra que a mineração de argumentos legais, quando combinada com métodos modernos de IA e rigorosa anotação humana, pode desmantelar narrativas jurídicas enraizadas e oferecer novas ferramentas para o estudo empírico da justiça.