Evaluating Legal Reasoning Traces with Legal Issue Tree Rubrics

1. Declaração do Problema

A avaliação de Modelos de Linguagem de Grande Escala (LLMs) em domínios especializados como o direito é crítica para garantir credibilidade e explicabilidade, mas permanece um desafio significativo.

• Limitações dos Benchmarks Atuais: Os conjuntos de dados existentes de Previsão de Julgamento Jurídico (LJP) geralmente focam exclusivamente na previsão da ordem final do tribunal (por exemplo, "ganhar" ou "perder"). Eles ignoram a qualidade do rastro de raciocínio intermediário (Cadeia de Pensamento), que é crucial para domínios de alto risco.
• Lacunas de Avaliação: Métricas de avaliação padrão falham em capturar duas dimensões vitais do raciocínio jurídico:
  1. Cobertura de Questões: O modelo identificou todas as questões e subquestões jurídicas relevantes?
  2. Correção de Questões: O modelo raciocinou corretamente sobre os fatos e as leis relativas a essas questões específicas?
• Confiabilidade do LLM como Juiz: Abordagens genéricas de "LLM como juiz" frequentemente carecem da nuance específica do domínio necessária para avaliar argumentos jurídicos complexos, levando a avaliações inconsistentes ou superficiais.

2. Metodologia: O Framework LEGIT

Os autores introduzem o LEGIT (Árvores de Questões Jurídicas), um framework inovador composto por um conjunto de dados em grande escala e uma metodologia de avaliação estruturada.

A. O Conjunto de Dados LEGIT

• Escala e Origem: Um conjunto de dados de 24.406 sentenças de tribunais civis e administrativos coreanos.
• Critérios de Seleção: Apenas sentenças determinísticas foram selecionadas (onde o resultado é ditado pela lei, excluindo casos que exigem discrição judicial, como faixas de sentença).
• Estrutura:
  • Extração de Fatos: Em vez de usar as seções brutas de "Fatos", um LLM extrai "fatos atômicos" (eventos factuais unitários) e gera uma descrição coerente do caso.
  • Árvores de Questões Jurídicas: A inovação central. As sentenças judiciais são convertidas em árvores hierárquicas onde:
    • Raiz: O propósito da reclamação e a ordem final do tribunal.
    • Nós Internos: Questões jurídicas decompostas em subquestões (por exemplo, "O acidente é externo?" $\to$ "A vítima sufocou?").
    • Folhas: Fatos atômicos e inferências de senso comum.
  • Rubricas: Cada nó na árvore serve como uma rubrica específica para avaliação, contendo o argumento da parte e a conclusão do tribunal.

B. Métrica de Avaliação: Pontuação LEGIT

O framework avalia as respostas dos LLMs usando uma pontuação de 10 pontos composta por três componentes ponderados:

1. Correção da Ordem Final (5 pontos): Pontuação binária (5 se a ordem final corresponder à verdade fundamental, 0 caso contrário).
2. Cobertura de Questões (2 pontos): Mede se o modelo identificou as questões jurídicas presentes na árvore de verdade fundamental. Pontuação = $2/N$ por questão coberta ($N$ = total de questões não-raiz).
3. Correção de Questões (3 pontos): Mede se o modelo previu a conclusão correta para as questões cobertas. Pontuação = $3/N$ por questão concluída corretamente.

C. Verificação de Confiabilidade

• Alinhamento com Especialistas Humanos: Os autores validaram as rubricas fazendo com que advogados coreanos licenciados anotassem os dados. Os advogados alcançaram um $\alpha$ de Krippendorff de 0,87, indicando alta concordância interavaliador e a objetividade das rubricas.
• LLM como Juiz: LLMs robustos (por exemplo, GPT-4.1, Gemini-2.5) alcançaram concordância significativa ($\alpha \approx 0,62-0,74$) com especialistas humanos ao usar as rubricas LEGIT, superando avaliações grosseiras em escala Likert.

3. Principais Contribuições

1. Conjunto de Dados LEGIT: O primeiro benchmark de LJP em grande escala que inclui rastros de raciocínio estruturados e hierárquicos (Árvores de Questões) em vez de apenas respostas finais.
2. Rubricas Estruturadas: Um método para extrair automaticamente rubricas específicas de instância e de granularidade fina a partir de sentenças judiciais, permitindo avaliação escalável e alinhada com especialistas.
3. Taxonomia de Erros: Identificação de dois modos de falha distintos no raciocínio jurídico:
   • Erros de Decomposição: Falha em identificar subquestões relevantes (falta de cobertura).
   • Erros de Dedução: Falha em raciocinar corretamente sobre fatos/leis para questões identificadas (falta de correção).
4. Estratégias de Otimização Complementares: Evidência empírica mostrando como a Geração Aumentada por Recuperação (RAG) e o Aprendizado por Reforço (RL) afetam o raciocínio de forma diferente.

4. Principais Resultados

A. Desempenho de LLMs de Última Geração

Mesmo os modelos mais avançados (por exemplo, GPT-4.1, Gemini-2.5) lutam com o LEGIT.

• A maior pontuação alcançada foi 5,71/10 (GPT-4.1).
• Análise de Erros: Os modelos frequentemente cometem erros de decomposição (perdendo subquestões) ou erros de dedução (lógica incorreta sobre fatos). Esses erros se propagam pela árvore, causando a falha na previsão da ordem final.

B. Impacto de RAG vs. RL

O estudo testou dois métodos para melhorar o raciocínio jurídico:

• Geração Aumentada por Recuperação (RAG):
  • Efeito: Melhora todos os componentes (Cobertura, Correção e Ordem Final).
  • Mecanismo: Fornecer estatutos e citações de casos relevantes ajuda o modelo a identificar mais questões e raciocinar com mais precisão.
• Aprendizado por Reforço (RL) com Rubricas LEGIT:
  • Efeito: Melhora significativamente a Ordem Final e a Correção de Questões, mas reduz a Cobertura de Questões.
  • Mecanismo: O modelo aprende a "jogar seguro", focando apenas em questões das quais tem alta confiança para maximizar a recompensa, omitindo assim subquestões incertas (mas potencialmente relevantes).
• Conclusão: RAG e RL oferecem benefícios complementares. O RAG expande a base de conhecimento do modelo e a identificação de questões, enquanto o RL afia a precisão do seu raciocínio sobre as questões identificadas.

C. Consistência de Avaliação

• Rubricas LEGIT vs. Escala Likert: As rubricas modulares LEGIT mostraram concordância interavaliador significativamente maior entre avaliadores LLM em comparação com prompts de escala Likert grosseira, provando que a avaliação estruturada e granular é mais robusta.

5. Significado e Trabalho Futuro

• Avanço da IA Especializada: O LEGIT vai além da simples previsão de respostas para avaliar o processo de raciocínio, o que é essencial para a confiança em domínios de alto risco como direito e medicina.
• Avaliação Especializada Escalável: Ao automatizar a extração de rubricas a partir de sentenças, o artigo demonstra um caminho para criar conjuntos de dados de avaliação de alta qualidade sem custos proibitivos de anotação humana.
• Mudança de Paradigma de Treinamento: As descobertas sugerem que otimizar para a qualidade do rastro de raciocínio (via RL em rubricas) produz melhores resultados finais do que otimizar apenas para a resposta final, desafiando o paradigma de recompensa "apenas resposta" comum em matemática/programação.
• Limitações: O conjunto de dados atual é limitado ao sistema jurídico e à língua coreana. Os autores propõem estender este framework para outras jurisdições e idiomas como trabalho futuro.

Em resumo, o LEGIT fornece um framework rigoroso, estruturado e escalável para avaliar e melhorar as capacidades de raciocínio jurídico de LLMs, destacando que a verdadeira inteligência jurídica requer tanto cobertura abrangente de questões quanto dedução lógica precisa.