When Verification Fails: How Compositionally Infeasible Claims Escape Rejection

Resumo Técnico: Quando a Verificação Falha

1. O Problema

A verificação de afirmações científicas é a tarefa de determinar se uma afirmação é entailed (deduzida) por evidências científicas. O padrão rigoroso para essa tarefa é a Hipótese de Mundo Fechado (CWA - Closed-World Assumption): uma afirmação deve ser aceita se e somente se todas as restrições (constraints) que ela assertar forem positivamente suportadas pela evidência. Se qualquer parte da afirmação não for suportada ou for contradita, ela deve ser rejeitada.

O artigo identifica uma falha crítica nos modelos de linguagem atuais (LLMs) e nos benchmarks existentes:

• O "Shortcut" (Atalho): Os modelos tendem a adotar uma estratégia simplificada chamada Verificação de Restrição Saliente (Salient-Constraint Checking). Em vez de verificar todas as restrições de uma afirmação, o modelo identifica apenas a restrição mais "saliente" (a mais óbvia ou proeminente) e toma a decisão baseada nela.
• A Limitação dos Benchmarks Atuais: Os conjuntos de dados atuais (como NLI4CT, SCITAB e SciVer) constroem afirmações inviáveis (negativas) perturbando um único elemento saliente (ex: inverter um número ou mudar uma entidade). Como a violação ocorre sempre na parte mais saliente, tanto a verificação rigorosa (CWA) quanto o atalho (Verificação Saliente) produzem o mesmo resultado (rejeição). Isso torna os benchmarks incapazes de distinguir modelos que realmente raciocinam de modelos que apenas "chutam" com base na parte mais óbvia.

2. Metodologia

Para expor essa falha, os autores propõem uma nova abordagem de avaliação e geração de dados:

• Afirmações Inviáveis Composicionalmente (Compositionally Infeasible Claims):

  • O objetivo é criar afirmações onde a restrição saliente é suportada pela evidência, mas uma restrição não saliente (que requer composição de múltiplas partes da evidência) é contradita.
  • Sob a CWA, essas afirmações devem ser rejeitadas. Sob o atalho de verificação saliente, elas seriam aceitas erroneamente.

• Geração de Dados Baseada em Grafos:

  • Os autores utilizam um método de "corrupção e propagação" baseado em grafos.
  • Estrutura do Grafo:
    1. Camada de Observação: Fatos diretamente recuperáveis da evidência (ex: valores numéricos, rótulos).
    2. Camada de Contexto: Relações intermediárias que combinam observações.
    3. Camada de Interpretação: Conclusões de alto nível derivadas do contexto.
  • Processo: Eles partem de uma afirmação viável e corrompem um único nó na camada de contexto ou interpretação (ex: generalização indevida, mudança de escopo, inversão de relação composta), mantendo todas as observações originais intactas. Isso cria uma afirmação que parece plausível localmente, mas é falsa globalmente.

• Experimentos:

  • Benchmarks: Avaliados em três domínios multimodais: NLI4CT (textos de ensaios clínicos), SCITAB (tabelas científicas) e SciVer (gráficos).
  • Modelos: Testados em diversas famílias de modelos proprietários (GPT-4/5, Gemini, Claude) e modelos de código aberto (Qwen3) de vários tamanhos.
  • Intervenções: Teste de instruções de prompt para forçar CWA (hipótese de mundo fechado) ou OWA (hipótese de mundo aberto) e decomposição explícita de sub-afirmações.
  • Análise de Rastros (Traces): Uso de um juiz baseado em rubricas para avaliar se o raciocínio do modelo verifica todas as restrições ou para no saliente.

3. Contribuições Principais

1. Identificação de uma Limitação Estrutural: Demonstram que os benchmarks atuais são insuficientes porque tornam a verificação rigorosa (CWA) e o atalho (Verificação Saliente) comportamentalmente indistinguíveis.
2. Novo Conjunto de Dados Adversarial: Criaram afirmações "inviáveis composicionalmente" que expõem a falha de raciocínio dos modelos, mostrando que eles aceitam afirmações falsas quando a parte mais óbvia é verdadeira.
3. Diagnóstico do Gargalo de Raciocínio: Provam que o problema não é apenas uma escolha de estratégia (que pode ser corrigida com prompt), mas um gargalo de raciocínio composicional. Mesmo com instruções para verificar tudo, os modelos não conseguem distinguir afirmações viáveis das inviáveis composicionalmente sem sacrificar a precisão nas afirmações viáveis.

4. Resultados Chave

• Queda de Desempenho Consistente: Modelos que obtêm alta precisão em benchmarks padrão (negativos padrão) sofrem uma queda significativa de precisão (até 26,7 pontos percentuais no SciVer) quando confrontados com afirmações inviáveis composicionalmente.
• Padrão de Aceitação Excessiva: Os modelos tendem a aceitar as afirmações adversárias porque a restrição saliente é suportada, ignorando a contradição na parte não saliente.
• Ineficácia do Scaling (Escala): Aumentar o tamanho do modelo melhora a recuperação de fatos e a rejeição de negativas diretas, mas não fecha a lacuna nas afirmações composicionais. O gargalo persiste mesmo nos maiores modelos.
• Análise de Rastros:
  • Modelos que rejeitam corretamente as afirmações adversárias mostram rastros de raciocínio mais completos (verificam mais restrições).
  • Modelos que falham (aceitam erroneamente) frequentemente terminam o raciocínio cedo, assim que a restrição saliente é verificada.
• Curva ROC e Intervenções:
  • Diferentes estratégias de prompt (CWA, OWA, Decomposição) movem os modelos ao longo de uma mesma curva ROC, alterando o limiar de aceitação/rejeição, mas não a capacidade subjacente de raciocínio.
  • Forçar uma verificação mais estrita (CWA + Decomposição) reduz a aceitação de falsos, mas aumenta drasticamente a rejeição de afirmações verdadeiras (falsos positivos), indicando que o modelo não consegue distinguir as duas situações apenas com raciocínio composicional.
• Auto-Verificação: O mesmo padrão de falha foi observado quando os modelos tentam verificar suas próprias respostas em tarefas de raciocínio (GPQA, AIME), sugerindo que é uma tendência geral de verificação, não apenas um problema de avaliação externa.

5. Significado e Conclusões

O artigo conclui que a verificação científica atual em LLMs sofre de um viés de confirmação estrutural e de uma incapacidade de realizar inferência composicional robusta (tipo $\forall$ - "para todo").

• Causa Raiz: Acredita-se que esse comportamento surge do pré-treinamento em dados científicos onde violações composicionais são raras e a verificação da parte saliente é quase sempre suficiente.
• Implicação para o Futuro: Apenas ajustar prompts ou instruções não resolve o problema. É necessário desenvolver métodos de treinamento que recompensem explicitamente o raciocínio do tipo "para todo" (verificação exaustiva) em vez do tipo "existe" (encontrar qualquer evidência de suporte), que é predominante nas tarefas atuais.
• Impacto: Este trabalho fornece uma ferramenta crítica para diagnosticar a "ilusão de raciocínio" em modelos de IA, mostrando que alta precisão em benchmarks existentes pode mascarar uma incapacidade fundamental de detectar desinformação complexa e sutil.