Resumo Técnico: LegalHalluLens

1. Declaração do Problema

Os sistemas atuais de IA jurídica implantados em fluxos de trabalho (revisão de contratos, conformidade, due diligence) exibem taxas de alucinação que métricas agregadas reportam em aproximadamente 52%. No entanto, o artigo argumenta que essa média é insuficiente para uma implantação confiável porque oculta duas dimensões críticas:

1. Concentração de Falhas: Os erros não são uniformes; eles se concentram fortemente em tipos específicos de reivindicações (ex: cláusulas numéricas e de obrigação) que carregam a maior responsabilidade jurídica, enquanto outros tipos (ex: temporais) são significativamente mais confiáveis.
2. Direção do Erro: Métricas agregadas falham em distinguir entre omissão (ausência de uma obrigação presente) e invenção (fabricação de uma cláusula inexistente). Esses dois modos de falha possuem consequências jurídicas distintas (ex: cláusulas inexequíveis vs. tetos de risco falsos), mas são frequentemente tratados de forma idêntica em relatórios padrão.

Consequentemente, os oficiais de conformidade carecem de sinais acionáveis para selecionar modelos ou projetar intervenções, pois dois sistemas com taxas de alucinação agregadas idênticas podem possuir perfis de risco opostos.

2. Metodologia

Os autores propõem o LegalHalluLens, um framework de auditoria composto por três componentes, avaliados no corpus CUAD v1.0 (510 contratos comerciais, 41 tipos de cláusulas, 249.252 instâncias ao nível de cláusula).

A. Perfis de Alucinação Tipificados

Em vez de uma única taxa agregada, o framework particiona os erros em quatro categorias de reivindicação juridicamente motivadas baseadas na dificuldade de verificação:

• Numérica: Limiares e valores (ex: limites de responsabilidade).
• Temporal: Datas e prazos.
• Obrigação/Direito: Verbos modais, condições e exclusões (carve-outs).
• Factual: Reivindicações de identidade (ex: lei regente).

O estudo mede o HalTP (taxa de alucinação de conteúdo entre cláusulas detectadas) para cada categoria. Define-se um Gap Tipificado como a diferença entre a maior e a menor taxa de alucinação dentro de um único modelo.

B. Índice de Direção de Risco (RDI)

Para capturar a natureza direcional dos erros, os autores introduzem o Índice de Direção de Risco (RDI). Este é uma métrica escalar com sinal derivada da proporção de achados contraditórios que são "condições ausentes" (omissões) versus "condições extras" (invenções).

• Fórmula: $RDI = p_{extra} - p_{missing}$
• Interpretação: Valores positivos indicam uma falha pesada em invenção (superestimação); valores negativos indicam uma falha pesada em omissão (subestimação). Isso permite a comparação de sistemas que possuem taxas de erro agregadas correspondentes, mas vieses direcionais opostos.

C. Pipeline de Debate de Multi-Agentes Calibrado

O framework utiliza as saídas diagnósticas (Perfis Tipificados e RDI) para calibrar um pipeline de debate de múltiplos agentes. Diferente de configurações de debate genéricas, este pipeline é especificamente ajustado aos modos de falha medidos:

• Desafios do Cético Tipificado: O agente "Cético" emite desafios específicos baseados no tipo de reivindicação (ex: verificar valores literais para reivindicações numéricas, verificar verbos modais para obrigações).
• Portões Estruturais Assimétricos: O pipeline emprega um Portão de Adição (que exige consenso e verificação para adicionar uma cláusula) e um Portão de Deleção (que bloqueia a remoção se a verificação confirmar a presença). Esta assimetria é calibrada para o perfil específico de Taxa de Falso Aceite (FAR) vs. Taxa de Falso Rejeição (FRR) do modelo alvo.
• Papéis: O pipeline inclui um Cético, um Suporte, um Re-extrator (para erros estruturais), um Árbitro, um Verificador e um Juiz.

3. Resultados Principais

Experimento 1: Perfis de Alucinação Tipificados

• Ordenação Consistente de Falhas: Em quatro modelos diversos (dois APIs comerciais, dois modelos de código aberto), uma ordenação de falha consistente foi observada: {Numérica, Obrigação} ≫ Factual ≥ Temporal.
• O Gap Oculto: Enquanto as taxas agregadas de HalTP se agruparam estritamente entre 50,9% e 56,5%, o gap dentro do modelo entre os tipos de reivindicação mais e menos confiáveis foi de aproximadamente 38–40 pontos percentuais.
  • Reivindicações Numéricas/Obrigação alucinaram entre 64,8% e 74,3%.
  • Reivindicações Temporais alucinaram apenas 29,0–35,1%.
• Implicação: O relatório agregado esconde o fato de que os modelos são 2x–2,5x mais não confiáveis nas cláusulas que determinam responsabilidade e exequibilidade.

Experimento 1: Índice de Direção de Risco

• Diferenciação Direcional: Dois modelos com quase idênticos HalTP agregados (gpt-5.2 com 51,8% e qwen3-32b com 52,1%) exibiram valores de RDI opostos.
  • gpt-5.2: RDI positivo (+0,161), indicando uma tendência a inventar condições extras.
  • qwen3-32b: RDI negativo (-0,202), indicando uma tendência a omitir condições existentes.
• Significância: Esta distinção é crítica para a implantação; modelos com falhas pesadas em omissão representam riscos em monitoramento de conformidade, enquanto modelos com falhas pesadas em invenção representam riscos em avaliação de responsabilidade.

Experimento 2: Mitigação Calibrada

• Desempenho: Aplicar o pipeline de debate tipificado a um pequeno modelo aberto (gemma-4-26B-A4B, 4B parâmetros ativos) permitiu que ele superasse APIs comerciais em um subconjunto correspondente.
  • O modelo debatido alcançou um ranking composto de 1 (em 4 de 5 esquemas de ponderação), superando o gpt-5.2 (ranking 2).
• Redução de Fabricação: O pipeline reduziu as detecções fabricadas (FAR) em 45% (de 524 para 287 instâncias).
• Ganhos Direcionados: As melhorias concentraram-se nas categorias de maior falha identificadas no Experimento 1:
  • Obrigação: $\Delta$FAR = -8,2 pp.
  • Factual: $\Delta$FAR = -5,8 pp.
  • Temporal: Mudança mínima (+0,6 pp), consistente com sua baixa taxa de erro basal.
• Correção de Direção: O pipeline conseguiu deslocar o RDI do modelo debatido de uma falha pesada em omissão (-0,078) para um estado quase equilibrado (-0,014) para reivindicações de obrigação.

4. Significância e Alegações

O artigo alega que o LegalHalluLens proporciona uma mudança necessária da precisão agregada para a auditoria consciente da direção para IA jurídica.

• Diagnósticos Acionáveis: Perfis tipificados e o RDI servem como entradas de calibração para o design de agentes, permitindo decisões de aquisição baseadas em perfis de risco específicos (ex: escolher um modelo com tendência à invenção para operações vs. um modelo com tendência à omissão para conformidade).
• Mitigação de Baixo Custo: O estudo demonstra que um pequeno modelo de código aberto (4B parâmetros ativos) pode igualar ou superar APIs comerciais quando seu pipeline de debate é calibrado para modos de falha específicos, em vez de usar ajustes genéricos.
• Limitações e Escopo: Os autores declaram explicitamente que os resultados numéricos aplicam-se a contratos comerciais dos EUA em inglês do tipo CUAD. A ordenação de falhas é consistente entre arquiteturas, mas deve ser remensurada para outras jurisdições ou tipos de documentos.
• Aviso de Segurança: O framework é diagnóstico, não um mecanismo de liberação. Mesmo a melhor configuração contradisse o texto de origem em ~58% dos conteúdos detectados. Os autores recomendam a revisão humana no loop para todas as cláusulas sinalizadas em categorias de alto risco e alertam contra a implantação autônoma sem a remensuração por implantação.

Em resumo, o artigo argumenta que a implantação de uma IA jurídica confiável requer saber quais reivindicações falham e como elas falham, em vez de confiar em uma única taxa de alucinação agregada.