Uncertainty-Aware Web-Conditioned Scientific Fact-Checking

Resumo Técnico: Verificação de Fatos Científicos Condição à Web e Consciente da Incerteza

1. O Problema

A verificação de fatos científicos em domínios especializados (como biomedicina e ciência dos materiais) é crucial, mas os sistemas atuais de modelos de linguagem (LLMs) enfrentam desafios significativos:

• Alucinações e Raciocínio Inconsistente: Modelos frequentemente falham ao interpretar estruturas de argumentos complexas em sentenças técnicas, dependendo de pistas superficiais.
• Escassez de Evidência Local: Em cenários de "um único documento" (onde o usuário fornece apenas um resumo ou artigo), a evidência local pode ser insuficiente para validar afirmações compostas.
• Custo e Latência: Consultar a web para todas as consultas é ineficiente e caro.
• Falta de Rastreabilidade: Muitos sistemas não fornecem justificativas claras ou rastreáveis para suas decisões, o que é inaceitável em cenários de alto risco (saúde pública, políticas médicas).

O objetivo do trabalho é criar um pipeline que verifique afirmações técnicas de forma eficiente, explicável e conservadora, consultando fontes externas apenas quando estritamente necessário e sob condições de incerteza calibrada.

2. Metodologia: Pipeline "Atomic+Search"

Os autores propõem um pipeline modular que combina decomposição simbólica, verificação probabilística e corroboração controlada. O fluxo opera em cinco etapas principais:

1. Decomposição em Fatos Atômicos:

   • Uma afirmação complexa ($c$) é decomposta por um LLM em um conjunto de fatos atômicos ($F = \{f_i\}$), onde cada fato representa uma única tupla de predicado-argumento (máximo de 25 palavras).
   • Isso transforma a verificação de uma sentença inteira em múltiplas verificações de unidades menores e mais gerenciáveis.

2. Seleção de Evidência Local Semântica:

   • O documento de evidência ($D$) é dividido em janelas sobrepostas (~420 caracteres).
   • Para cada fato atômico, o sistema identifica a janela de evidência mais relevante usando embeddings (modelo text-embedding-3-large) e similaridade de cosseno.

3. Verificação Leve e Calibrada:

   • Um verificador compacto e baseado em evidências (MiniCheck-7B) avalia a probabilidade de suporte ($p_i$) de cada fato atômico contra a evidência local.
   • Calibração de Incerteza:
     • $p_i \geq 0.80$: Classificado como Suportado.
     • $p_i \leq 0.25$: Classificado como Refutado.
     • $0.25 < p_i < 0.80$: Classificado como Incerto (gatilho para busca na web).

4. Corroboração Condição à Web (Uncertainty-Gated):

   • Apenas os fatos na "banda de incerteza" (0.25–0.80) disparam uma busca na web.
   • Restrição de Domínio: A busca é restrita estritamente a fontes autoritativas (ex: PubMed, NIH, CDC, FDA, ClinicalTrials.gov, Wikipedia).
   • As evidências recuperadas são resumidas e anexadas à evidência local original. O verificador MiniCheck é executado novamente sobre a evidência aumentada para atualizar a probabilidade.
   • Regra de Abstenção: Se a nova evidência da web conflitar com o documento original fornecido, o sistema abstém-se (classifica como NEI - Not Enough Information) em vez de sobrescrever o contexto fornecido, garantindo conservadorismo.

5. Julgador Final (Judge LLM):

   • Um LLM de julgamento agrega os resultados dos fatos atômicos (Suportados, Refutados e Incertos) para produzir uma veredito final em nível de afirmação (Suportado, Refutado ou NEI) e uma explicação racional.

3. Principais Contribuições

• Novo Pipeline Híbrido: Integração de decomposição atômica (OpenIE/PropBank) com verificação probabilística e recuperação de informação seletiva.
• Mecanismo de Corroboração Seletiva: O sistema consulta a web apenas para fatos incertos, reduzindo custos e latência, enquanto mantém a precisão.
• Conjunto de Dados PubMedFact1k: Os autores lançam um novo dataset de 1.000 exemplos para verificação de afirmações biomédicas em três classes (Suportado/Refutado/NEI), derivado do PubMedQA.
• Abordagem Conservadora: Prioriza a integridade do contexto fornecido pelo usuário, abstendo-se quando há conflito entre fontes locais e externas, em vez de forçar uma decisão.

4. Resultados Experimentais

O sistema foi avaliado em três benchmarks: BIONLI-300 (biomedicina), PubMedFact1k (biomedicina, 3 classes) e CLIMATE-FEVER (mudança climática).

• Desempenho Geral: O Atomic+Search superou consistentemente os baselines mais fortes, incluindo verificadores de nível de sentença (MiniCheck), LLMs aumentados por ferramentas (GPT-5 Mini + Search) e modelos de raciocínio avançados (GPT-o1).
  • Em BIONLI-300: Melhoria de +6.0 pontos no F1 (66.7% vs 60.7%) e +7.35 pontos na Acurácia Balanceada em relação ao MiniCheck de nível de sentença.
  • Em PubMedFact1k: Alcançou o melhor Macro-F1, reduzindo erros ambíguos entre NEI e classes definidas.
• Eficiência da Corroboração: A busca na web foi acionada apenas para uma minoria dos fatos atômicos em média, demonstrando que a maioria das verificações pode ser resolvida localmente ou que a incerteza é bem calibrada.
• Ablação:
  • Remover a busca na web reduziu o F1 em 4.7 pontos.
  • Remover a decomposição atômica reduziu o F1 em 6.4 pontos (indicando que a decomposição é o componente mais crítico).
  • Substituir o Julgador por votação majoritária causou uma queda drástica de 14.6 pontos no F1, destacando a importância da agregação calibrada.

5. Significado e Impacto

Este trabalho demonstra que a combinação de raciocínio atômico com corroboração calibrada por incerteza é superior a abordagens de "caixa preta" ou busca indiscriminada na web.

• Interpretabilidade: Oferece justificativas rastreáveis por fato, essenciais para domínios de alto risco.
• Controle de Custos: Ao limitar a busca na web a casos de alta incerteza, o sistema torna-se viável economicamente e em termos de latência.
• Robustez: A capacidade de se abster (NEI) quando as fontes externas conflitam com o contexto local previne a propagação de desinformação baseada em fontes externas não verificadas.

O sistema é particularmente adequado para cenários onde a rastreabilidade, o controle de domínio (whitelisting de fontes) e a previsão de custos são requisitos obrigatórios, como em diagnósticos médicos assistidos por IA ou revisão de literatura científica.