Legal Experts Disagree With Rationale Extraction Techniques for Explaining ECtHR Case Outcome Classification

Título e Contexto

O artigo investiga a interpretabilidade de modelos de linguagem grandes (LLMs) e técnicas de extração de justificativas (rationales) no domínio jurídico, especificamente focando na previsão de violações de direitos humanos pelo Tribunal Europeu dos Direitos Humanos (TEDH/ECtHR). O trabalho questiona se as técnicas atuais de explicação de modelos "caixa-preta" são realmente confiáveis para especialistas legais.

1. O Problema

• Falta de Confiabilidade na Interpretação: Embora modelos de IA tenham alta precisão na previsão de resultados legais, suas justificativas internas (rationales) muitas vezes não correspondem ao raciocínio humano ou legal.
• Limitações das Técnicas Atuais: Técnicas de extração de justificativas model-agnostic (independentes da arquitetura do modelo) são usadas para identificar trechos de texto que justificam uma previsão. No entanto, não há consenso sobre quais técnicas funcionam melhor no contexto legal.
• Problemas em Dados Existentes: O artigo identifica erros críticos em conjuntos de dados anteriores (Chalkidis et al., 2019a, 2021), onde casos inadmissíveis ou com violações "implícitas" foram erroneamente rotulados como "não violação", comprometendo a avaliação de modelos.
• Custo da Avaliação Humana: A avaliação por especialistas legais é cara e não escala, levando à necessidade de métodos automatizados (como "LLM-as-a-Judge"), cuja eficácia no domínio jurídico ainda não foi rigorosamente testada.

2. Metodologia

A. Novo Conjunto de Dados (ECtHR Dataset)

Os autores criaram um novo conjunto de dados curado a partir do banco de dados HUDOC:

• Filtragem Rigorosa: Eliminaram casos inadmissíveis (que não são julgados no mérito) e casos ambíguos.
• Correção de Rótulos: Garantiram que apenas casos com violações explícitas ou implícitas confirmadas fossem classificados como positivos, e que casos sem violação fossem negativos.
• Estatísticas: O conjunto final balanceado contém 1.573 casos positivos (violação) e 1.573 negativos, focando principalmente nos Artigos 6 (julgamento justo) e 8 (vida privada e familiar) da Convenção Europeia dos Direitos Humanos.

B. Técnicas de Interpretabilidade Avaliadas

O estudo compara duas abordagens principais de extração de justificativas:

1. MaRC (Masked Rationale Creation): Uma abordagem baseada em otimização que aprende uma máscara para substituir partes não informativas do texto, mantendo a previsão do modelo. Otimiza para suficiência, compreensividade e compactidade.
2. ISR (Flexible Instance-Specific Rationale Extraction): Uma abordagem baseada em ensemble que combina vários métodos de atribuição de características (como Attention, Integrated Gradients, LIME, DeepLift) para selecionar os melhores trechos de texto.

C. Framework de Avaliação

A avaliação foi realizada em três níveis:

1. Métricas Quantitativas (Fidelidade):
   • NormSuff (Suficiência Normalizada): Mede se o modelo mantém a confiança na previsão usando apenas a justificativa extraída.
   • NormComp (Compreensividade Normalizada): Mede a queda de desempenho quando a justificativa é removida.
   • F1 Score: Avaliação do impacto na performance do classificador.
2. Análise Qualitativa (Plausibilidade) por Especialistas:
   • Dois especialistas legais (Expert A e Expert B) analisaram 10 casos.
   • Expert A: Extraiu justificativas humanas baseadas apenas nos fatos do caso.
   • Expert B: Avaliou se as justificativas extraídas pelos modelos (MaRC e ISR) eram suficientes e suportavam a conclusão de violação, sem acesso ao contexto completo do caso.
3. Avaliação "LLM-as-a-Judge":
   • Três LLMs (Llama-3.1, Mixtral, Gemma-2) foram testados para replicar a avaliação do Expert B, comparando seus julgamentos com os dos humanos usando o Coeficiente Kappa de Cohen.

3. Resultados Principais

Discrepância entre Métricas e Especialistas

• Alta Fidelidade, Baixa Plausibilidade: As técnicas MaRC e ISR obtiveram pontuações altas em métricas quantitativas de fidelidade (especialmente MaRC em NormSuff). No entanto, os especialistas legais rejeitaram a grande maioria dessas justificativas.
  • Para o ISR, 9 de 10 documentos falharam em ambos os critérios (suporte e suficiência).
  • Para o MaRC, 7 de 10 documentos falharam.
• Natureza das Justificativas: Os especialistas relataram que as justificativas dos modelos eram frequentemente fragmentos quebrados, sem sujeitos ou verbos, datas irrelevantes ou cláusulas interrompidas (ex: "non-enforcement (section 74)" ou "000.8. on 28"). Eles não formavam um raciocínio jurídico coerente.
• Diferença de Estrutura: As justificativas humanas tendiam a selecionar parágrafos inteiros ou partes substanciais e contínuas, preservando a cronologia e o contexto, enquanto os modelos extraíam muitos pequenos fragmentos desconexos.

Avaliação "LLM-as-a-Judge"

• Desempenho Limitado: Embora alguns LLMs (como Llama e Mixtral) tenham alcançado um acordo "razoável" (Kappa entre 0.2 e 0.4) com os especialistas em configurações few-shot, os intervalos de confiança foram amplos e instáveis.
• Conclusão: Os LLMs não são confiáveis o suficiente para substituir especialistas humanos na avaliação de qualidade de justificativas jurídicas neste momento, devido a riscos de alucinação e inconsistência.

Inconsistência de Métricas

• As métricas automáticas (NormSuff, NormComp, ROAR) frequentemente discordavam entre si sobre qual técnica era superior, indicando que métricas puramente baseadas em performance do modelo não capturam a qualidade real da explicação jurídica.

4. Contribuições Chave

1. Novo Dataset Curado: Fornecimento de um conjunto de dados ECtHR corrigido, livre dos erros de rotulagem que afetavam estudos anteriores.
2. Framework de Avaliação Híbrido: Proposição de um framework padronizado que combina métricas de fidelidade quantitativa com avaliação qualitativa rigorosa por especialistas legais.
3. Evidência de Falha de Alinhamento: Demonstração empírica de que, no domínio jurídico, modelos podem prever corretamente o resultado, mas as "razões" que eles extraem são fundamentalmente diferentes e inaceitáveis para especialistas humanos.
4. Análise de LLM-as-a-Judge: Avaliação crítica da viabilidade de usar LLMs para avaliar interpretabilidade no direito, concluindo que a tecnologia ainda não está madura para essa tarefa específica.

5. Significado e Implicações

O estudo alerta que a aplicação de IA no sistema judicial requer mais do que apenas alta precisão de previsão. A explicabilidade é crucial para a confiança e transparência. Se as justificativas de um modelo não forem compreensíveis ou logicamente válidas para um advogado ou juiz, o sistema não pode ser usado em cenários de alto risco (como decisões judiciais reais), independentemente de sua acurácia estatística. Além disso, o trabalho sugere que métricas automáticas de interpretabilidade podem ser enganosas se não forem validadas contra o conhecimento de domínio humano.