Knowing the Form, Not the Function: Automatically Auditing Answer--Authority Decoupling in Legal Benchmarks

Resumo Técnico: Conhecendo a Forma, Não a Função

Declaração do Problema
Os atuais parâmetros de avaliação para Modelos de Linguagem de Grande Escala (LLMs) tipicamente avaliam o desempenho baseando-se apenas na correção da resposta final, mesmo quando o raciocínio do modelo inclui citações a autoridades jurídicas. Essa pontuação baseada "apenas na resposta" assume implicitamente que uma resposta final correta implica que a autoridade jurídica assertada (a "autoridade de ouro") também é correta. O artigo argumenta que essa suposição é falha: um modelo pode chegar à conclusão correta através de raciocínio válido ou eliminação, enquanto cita uma disposição estatutária incorreta ou inexistente. Como a autoridade estatutária é estruturalmente extraível e externamente verificável, a falha em fundamentar uma resposta na lei correta constitui um problema de validade mensurável que os benchmarks atuais sistematicamente ocultam.

Metodologia
O autor propõe um framework de avaliação conjunta que desacopla a "correção da resposta" ($A$) do "fundamento na autoridade de ouro" ($G$).

• Base de Teste: O estudo utiliza 238 itens dos Exames da Ordem de Advogados de Taiwan de 2022 e 2025 (118 de direito civil, 120 de direito penal). Cada item possui uma resposta correta verificada e uma disposição estatutária regente verificada (autoridade de ouro), derivada de manuais de soluções comerciais e confrontada com o Banco de Dados de Leis e Regulamentos Oficial.
• Modelos: Quatro LLMs foram avaliados: Gemma-4-31B, LLaMA-3.3-70B, GPT-4o-mini e Qwen3.6 Flash.
• Condições Experimentais:
  • C1 (Baseline): Prompts de apenas resposta (sem necessidade de raciocínio).
  • C2 (Core): Prompts de raciocínio padrão onde os modelos são solicitados a fornecer raciocínio passo a passo, mas não são explicitamente solicitados a citar estatutos. Isso testa a marcação de autoridade "espontânea".
  • C3 (Sonda de Recuperação): Os modelos são explicitamente solicitados a identificar até três disposições regentes para medir a capacidade de recuperação independente da resposta.
  • C4 (Sonda Epistêmica): Os modelos são solicitados a recitar o conteúdo específico de um estatuto para testar a admissão de incerteza.
  • C2-1 (Intervenção): Um prompt permissivo que permite aos modelos raciocinar sem nomear números de artigos exatos se estiverem em dúvida, para testar se o comportamento de citação pode ser desacoplado da seleção da resposta.
• Métricas: As respostas são classificadas em um estado conjunto $(A, G)$:
  • $A^+G^+$: Resposta correta, autoridade correta.
  • $A^+G^-$: Resposta correta, autoridade incorreta/ausente.
  • $A^-G^+$: Resposta incorreta, autoridade correta.
  • $A^-G^-$: Resposta incorreta, autoridade incorreta/ausente.
  • A correspondência de autoridade é baseada em regras, analisando nomes de códigos, números de artigos e sufixos de parágrafos.

Principais Descobertas
O estudo identifica uma "dissociação dupla" sistemática e não induzida entre a correção da resposta e o fundamento da autoridade em todos os modelos testados:

1. Resposta Correta, mas Autoridade Ausente ($A^+G^-$): Uma parte significativa das respostas com respostas corretas falha em citar a autoridade de ouro.
   • No Direito Civil, isso variou de 32,7% a 63,1%.
   • No Direito Penal, variou de 24,0% a 42,4%.
   • Crucialmente, esses modelos frequentemente citaram estatutos que não eram os de "ouro", mas que eram sintaticamente válidos, porém juridicamente irrelevantes para a questão específica.
2. Resposta Incorreta, mas Autoridade Presente ($A^-G^+$): Os modelos frequentemente citaram o estatuto regente correto mesmo ao selecionar a opção de resposta errada.
   • No Direito Penal, isso ocorreu em 15,2% a 21,7% das respostas válidas.
3. Independência de Comportamentos:
   • Recuperação vs. Fundamentação: A recuperação estatutária independente (C3) variou significativamente por modelo e domínio (ex: Qwen mostrou altas taxas de recuperação em direito civil), mas o descompasso entre resposta e autoridade permaneceu substancial mesmo em modelos com melhor recuperação.
   • Citação vs. Resposta: A intervenção C2-1 demonstrou que o comportamento de citação é separável da seleção da resposta. Quando autorizados a abster-se de nomear artigos específicos, as taxas de citação caíram dramaticamente para Gemma, LLaMA e GPT-4o-mini (de ~70–90% para ~5%), enquanto a taxa da Qwen caiu de 96,4% para 57,3%. Em todos os casos, a precisão da resposta permaneceu amplamente inalterada.
4. Forma sobre Função: Os modelos frequentemente produziram raciocínios jurídicos "fluentes" com citações sintaticamente corretas que não sustentavam a conclusão. A presença de uma citação não garante que a autoridade seja aquela que rege o caso.

Significância e Contribuições
O artigo apresenta três contribuições primárias:

1. Identificação de um Problema de Validade: Ele formaliza a observação de que a pontuação baseada apenas na resposta trata as falhas naturais de fundamentação na autoridade de ouro como sucessos completos. Isso não é uma falha de teste de estresse adversarial, mas um problema sistemático dentro dos regimes comuns de benchmark.
2. Protocolo de Pontuação Conjunta: O autor propõe uma extensão mínima e de baixo custo para os benchmarks existentes baseados em estatutos. Em vez de uma única métrica de precisão, a avaliação deve reportar:
   • Precisão da resposta.
   • Hit@k da autoridade (taxa de fundamentação).
   • A distribuição conjunta ($A^+G^+, A^+G^-, A^-G^+, A^-G^-$).
3. Mudança Metodológica: O estudo argumenta que a "forma jurídica fluente" (texto de raciocínio correto com citações) não pode ser tratada como evidência de que a autoridade assertada sustenta a conclusão. Como a autoridade estatutária é externamente verificável, os benchmarks devem auditar o vínculo entre a resposta e a lei citada, não apenas a resposta em si.

Limitações e Escopo
O autor observa que suas afirmações são comportamentais, não mecanísticas; o estudo mede o descompasso do output, não o processo de raciocínio interno. As descobertas são mais diretamente aplicáveis a tarefas codificadas e com normas de citação (como o Exame da Ordem de Advogados de Taiwan). A magnitude do descompasso pode diferir em tarefas jurídicas de formato aberto ou em contextos de common law, onde as citações de artigos específicos são menos rígidas. Adicionalmente, o estudo inclui uma observação preliminar de marcação espontânea de autoridade semelhante no direito civil da China continental, motivando futuras auditorias transjurisdicionais, mas ainda não fornece uma análise conjunta completa para esse conjunto de dados.