Resumo Técnico: TW-LegalBench

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades significativas em domínios gerais, seu desempenho no raciocínio jurídico específico de jurisdições permanece subexplorado. Os benchmarks jurídicos existentes sofrem de três limitações sistêmicas:

1. Coerção Excessiva: Muitos benchmarks agregam doutrinas jurídicas díspares em categorias amplas (por exemplo, confundindo a Lei de Litigância Administrativa com a Lei de Disciplina de Funcionários Públicos), impedindo o diagnóstico preciso da expertise do modelo.
2. Lacuna de Avaliação: Uma forte dependência de questões de múltipla escolha (MCQs) de resposta fechada falha em simular a resolução de problemas jurídicos de mundo real, que são abertos.
3. Desequilíbrio Jurisdicional: A maioria dos benchmarks foca em sistemas de common-law (inglês) ou sistemas de direito civil simplificados em chinês, deixando uma lacuna de recursos de alta fidelidade para jurisdições de direito civil em Chinês Tradicional, como Taiwan.

Os benchmarks atuais para o direito taiwanês (ex: TMLU, TMMLU+, LLAWA) são limitados em escopo, frequentemente abstratos ou carecem de diversidade abrangente de tarefas (MCQs vs. ensaios vs. previsão de sentenças).

Metodologia

Os autores introduzem o TW-LegalBench, um benchmark de múltiplos níveis fundamentado na tradição de direito civil de Taiwan, utilizando fontes de dados abertos oficiais do Ministério da Exame e do Yuan Judicial. O conjunto de dados compreende três tipos distintos de tarefas:

1. Questões de Múltipla Escolha (MCQs)

• Dados: 16.493 questões de exames oficiais (2020–2024) em 18 domínios profissionais (Serviço Civil, Judiciário, Policial, Profissional).
• Anotação: Cada questão foi anotada manualmente com sua fonte jurídica específica, identificando 43 tipos de leis distintas através de 6 categorias jurídicas.
• Processamento: As questões foram filtradas para reter apenas itens de resposta única. Elas também foram traduzidas para Chinês Simplificado e Inglês usando a terminologia oficial do Yuan Judicial para investigar efeitos linguísticos.

2. Questões de Ensaio de Resposta Aberta (OEQs)

• Dados: 117 questões de ensaio da segunda etapa dos Exames Judiciários e de Advocacia (2020–2024).
• Estrutura de Avaliação: Os autores propõem um framework de LLM-como-Juiz decomposto. Em vez de gerar uma pontuação numérica única, o modelo juiz avalia cada ponto da rubrica de pontuação individualmente contra quatro rótulos de status: Correto, Parcial, Errado e Omissão.
• Mitigação de Viés: Dois modelos juízes (GPT-5 e Claude-Sonnet-4.5) são utilizados, com as pontuações sendo calculadas pela média para mitigar o autofavoritismo.

3. Previsão de Julgamento Jurídico (LJP)

• Dados: 14.325 sentenças criminais de primeira instância (2013–2024).
• Filtragem: As sentenças foram filtradas por clareza estrutural (Resultado Principal, Fatos, Raciocínio) e comprimento de caracteres. O conjunto de teste consiste em 535 amostras (5 por categoria de crime) em 107 categorias de crimes para garantir uma avaliação equilibrada.
• Métricas:
  • Veredito/Sentença: Pontuações ROUGE, F1 ao nível de token e precisão específica por categoria (ex: distância logarítmica normalizada para termos de detenção, limiares absolutos para detenção/multas).
  • Citação de Estatuto: Precisão, Erro Tipo I (estatutos alucinados), Erro Tipo II (estatutos reais inaplicáveis) e taxa de erro total.

Configuração Experimental

O estudo avalia 13 LLMs (4 de código fechado, 9 de código aberto) usando prompting de Cadeia de Pensamento (CoT) zero-shot. A seleção de modelos inclui modelos de fronteira (GPT-5, Claude-Sonnet-4.5), grandes modelos de código aberto otimizados para raciocínio (Qwen3-235b, Llama-3.1-405b) e modelos especificamente pré-treinados ou ajustados para Chinês Tradicional/dados de Taiwan (Llama-Taiwan, Breeze).

Resultados Principais

1. Desempenho em MCQ

• Melhor Desempenho: Modelos de código fechado (Claude-Sonnet-4.5: 81,0%) e Qwen3-235b (69,1%) alcançaram a maior precisão.
• Variância de Domínio: Os modelos tiveram melhor desempenho em Direito Constitucional e questões sem rótulos jurídicos específicos, mas tiveram dificuldades com o Direito Administrativo devido à sua natureza volumosa e frequentemente alterada.
• Dificuldade Extrema: 290 questões (1,76%) deixaram os 13 modelos sem resposta, envolvendo frequentemente estatutos obscuros (ex: Lei de Organização do Museu Nacional do Palácio) ou cálculos complexos (ex: antecipação de herança de espólio).

2. Desempenho em OEQ (Humano vs. IA)

• Limiares de Aprovação: Os principais modelos (Qwen3-235b, GPT-5, GPT-5.2) excederam o limiar de aprovação para o Exame de Ordem (aprox. percentil superior de 33ª, ~11% de taxa de aprovação).
• Lacuna Judicial: Nenhum modelo atingiu o limiar de aprovação para o Exame Judicial/Procuradoria (aprox. top 5–10%, ~1–2% de taxa de aprovação). Os 3% superiores dos examinados humanos superaram o melhor modelo em mais de 100 pontos.
• Impacto da Linguagem: Modelos treinados em corpora de Chinês Tradicional ou específicos de Taiwan (ex: Breeze-7b-instruct, Llama-Taiwan-70b) frequentemente superaram modelos de uso geral maiores em OEQs, particularmente no tratamento de raciocínio parcial.

3. Desempenho em LJP

• Sentenciamento: Os modelos demonstraram precisão razoável na previsão de tipos de veredito e extensões de sentença (ex: o Claude-Sonnet-4.5 alcançou uma distância logarítmica normalizada de 0,907).
• Citação de Estatuto: O desempenho foi insatisfatório. O melhor modelo (Llama-Taiwan-8b) alcançou apenas 9,9% de precisão na citação do estatuto correto.
• Tipos de Erro: Modelos de código fechado exibiram altos Erros Tipo I (alucinação de estatutos inexistentes), enquanto alguns modelos de código aberto exibiram altos Erros Tipo II (citando estatutos reais, porém inaplicáveis).
• Memorização vs. Raciocínio: Hipotetiza-se que o forte desempenho dos modelos específicos de Taiwan em LJP decorra da memorização de sentenças judiciais em seus dados de treinamento, em vez de um genuíno raciocínio jurídico, conforme evidenciado pelo desempenho mais fraco em OEQs comparado aos seus escores de LJP.

Significância e Alegações

O artigo afirma que o TW-LegalBench preenche uma lacuna crítica na avaliação de LLMs em sistemas de direito civil usando Chinês Tradicional. Sua significância reside em:

1. Diagnóstico Granular: Fornecer anotações ao nível de estatuto para MCQs permite uma análise de alta resolução da expertise do modelo em 43 tipos de leis, superando a categorização grosseira de benchmarks anteriores.
2. Protocolo de Avaliação Rigoroso: O framework de LLM-como-Juiz decomposto para OEQs oferece uma avaliação mais estável e matizada da argumentação jurídica do que a pontuação direta.
3. Alinhamento com o Mundo Real: O conjunto de dados LJP avalia modelos em resultados judiciais reais, revelando que, embora os LLMs possam aproximar-se do desempenho humano em exames de qualificação (Ordem), eles atualmente carecem da confiabilidade necessária para funções judiciais de alto risco (Juízes/Procuradores).
4. Especificidade Jurisdicional: Os resultados sublinham que modelos treinados em corpora específicos da jurisdição (Chinês Tradicional de Taiwan) superam consistentemente modelos de uso geral maiores em tarefas de ensaio aberto e previsão de julgamento, destacando a necessidade de dados de treinamento localizados para a IA jurídica.

Os autores concluem que, embora os LLMs estejam se aproximando do nível de desempenho humano em exames de qualificação jurídica, a geração de texto jurídico confiável e a citação precisa de estatutos permanecem desafios significativos, particularmente para aplicações judiciais de alto risco.