Contradiction to Consensus: Dual Perspective, Multi Source Retrieval Based Claim Verification with Source Level Disagreement using LLM

Título: Contradição ao Consenso: Verificação de Afirmações Baseada em Recuperação de Dupla Perspectiva e Multi-fonte com Discordância em Nível de Fonte usando LLM

1. O Problema

A disseminação de desinformação e informações errôneas em plataformas digitais representa um risco societal significativo, especialmente em domínios críticos como saúde, finanças e segurança pública. Embora existam sistemas automatizados de verificação de fatos (claim verification), sua eficácia é limitada por duas falhas principais:

1. Dependência de Fonte Única: A maioria dos sistemas atuais baseia-se em um único repositório de conhecimento (geralmente a Wikipedia), ignorando a riqueza de informações em fontes secundárias ou terciárias (como literatura científica ou resultados de busca na web).
2. Viés de Confirmação e Falta de Transparência: Os sistemas tradicionais recuperam apenas evidências que suportam a afirmação original, ignorando informações contraditórias ou o desacordo entre diferentes fontes. Isso limita a cobertura do conhecimento e a interpretabilidade para o usuário final, que não tem visão das nuances e conflitos existentes na informação real.

2. Metodologia

Os autores propõem um sistema inovador de verificação de afirmações em domínio aberto (ODCV) que integra Grandes Modelos de Linguagem (LLMs), recuperação de evidências de múltiplas perspectivas e análise de discordância entre fontes. O fluxo de trabalho (ilustrado na Figura 1 do artigo) consiste em três componentes principais:

• Geração de Afirmação Negada (Dupla Perspectiva):
  Para cada afirmação original ($c_i$), o sistema gera uma contraparte negada explicitamente ($\bar{c}_i$) usando um modelo de linguagem (Mistral AI). Isso cria um par $(c_i, \bar{c}_i)$ que permite a recuperação de evidências tanto de suporte quanto de refutação, mitigando o viés de confirmação.

  • Exemplo: "A deficiência de B12 aumenta a homocisteína" vs. "O excesso de B12 diminui a homocisteína".

• Recuperação e Seleção de Evidências Multi-fonte:
  O sistema recupera documentos de três fontes distintas e independentes:

  1. Wikipedia: Para consultas gerais e tendências.
  2. PubMed: Para precisão em consultas técnicas e biomédicas.
  3. Google (Custom Search API): Para evidências da web atualizadas.

  A recuperação é realizada para tanto a afirmação original quanto a negada. Após a recuperação, as sentenças são filtradas, deduplicadas e agregadas para formar uma base de conhecimento unificada e enriquecida para cada afirmação.

• Verificação e Medição de Discordância:
  Um LLM (em configuração zero-shot, sem ajuste fino) recebe a afirmação e o conjunto de evidências agregadas para prever a veracidade (Suportado, Refutado, Evidência Insuficiente).

  • Inovação na Interpretabilidade: O sistema extrai os log-probabilities (logprobs) das previsões do modelo para cada fonte individualmente. A dispersão desses scores entre as fontes (Wikipedia, PubMed, Google) é usada para quantificar e visualizar o nível de concordância ou discordância. Baixa dispersão indica consenso; alta dispersão sinaliza incerteza ou conflito.

3. Principais Contribuições

1. Abordagem de Dupla Perspectiva: Introdução de uma estratégia de recuperação que considera explicitamente tanto a afirmação original quanto sua negação, criando um pool de evidências mais robusto que captura suporte e contradição.
2. Agregação Multi-fonte: Demonstração de que agregar evidências de fontes heterogêneas (Wikipedia, PubMed, Google) supera o desempenho de qualquer fonte isolada, capturando nuances que uma única fonte perderia.
3. Quantificação da Discordância: Desenvolvimento de um método para medir e visualizar a discordância entre fontes usando scores de confiança (logprobs), permitindo que o sistema não apenas verifique fatos, mas também comunique a complexidade e a incerteza inerentes aos dados.
4. Avaliação Abrangente: Teste rigoroso em quatro conjuntos de dados de referência (SciFact, PubHealth, Averitec, LIAR) utilizando cinco LLMs de última geração (Llama 3.3 70B/405B, Phi-4, Qwen 2.5, Mistral).

4. Resultados

Os experimentos em configuração zero-shot revelaram duas tendências robustas:

• Melhoria com Negação: A adição da afirmação negada ao processo de recuperação melhorou consistentemente a precisão e o F1 macro em comparação ao uso apenas da afirmação original. As melhorias relativas variaram de +2% a +10% em precisão e +2% a +8% em F1, dependendo do modelo e do conjunto de dados.
• Vantagem da Agregação Multi-fonte: A combinação de evidências das três fontes superou o desempenho de qualquer fonte individual na maioria dos casos.
  • No conjunto SciFact, a agregação aumentou o F1 em mais de 40% em relação à Wikipedia para o modelo Llama 70B.
  • No conjunto Averitec, a agregação superou a Wikipedia em quase 69% para o Llama 405B.
  • Mesmo em casos onde uma fonte (como o Google no conjunto LIAR) era forte, a agregação manteve ou melhorou a performance, demonstrando complementaridade.
• Correlação entre Consenso e Confiança: A análise das distribuições de densidade (KDE) dos log-probs mostrou que, quando há consenso entre as fontes (todas concordando), a confiança do modelo é mais alta e a distribuição é mais aguda. Em casos de discordância, a distribuição é mais plana e dispersa, sinalizando incerteza de forma transparente.

5. Significado e Conclusão

Este trabalho destaca a importância de abraçar a diversidade, a contradição e a agregação de evidências para construir sistemas de verificação de fatos confiáveis e transparentes.

• Interpretabilidade: Ao expor a discordância em nível de fonte e os scores de confiança, o sistema empodera os usuários a tomar decisões informadas baseadas em um espectro completo de perspectivas, em vez de uma única "verdade" potencialmente enviesada.
• Robustez: A abordagem demonstra que a combinação de múltiplas fontes e perspectivas (original + negada) é uma estratégia robusta para lidar com a complexidade da informação no mundo real, superando as limitações dos sistemas de fonte única.
• Futuro: Os autores apontam que, embora o sistema seja eficaz, desafios permanecem, como o manejo de contextos longos, a necessidade de recuperação sensível ao tempo (para evitar evidências desatualizadas) e a mitigação de alucinações em LLMs.

Em suma, o sistema proposto transforma a verificação de fatos de uma tarefa de "busca de confirmação" para um processo de "análise de consenso e conflito", oferecendo uma visão mais fiel e transparente da realidade informacional.