Resumo Técnico: RW-Post e AgentFact

Declaração do Problema

A proliferação das redes sociais acelerou a disseminação de desinformação multimodal persuasiva, onde imagens manipuladas ou reaproveitadas são usadas para reforçar textos enganosos, representando riscos significativos à saúde pública e ao comportamento social. Embora avanços recentes em IA generativa tenham reduzido o custo de produção de conteúdo enganoso, os sistemas automatizados de verificação existentes enfrentam limitações críticas. As abordagens atuais frequentemente focam em subtarefas restritas (por exemplo, detecção de imagens fora de contexto ou detecção de deepfakes) ou dependem de Modelos de Linguagem de Grande Escala (LLMs) e Modelos de Visão-Linguagem de Grande Escala (LVLMs) com uso superficial de evidências. Um desafio primário é a fidelidade: os modelos frequentemente geram raciocínios fluentes que alucinam o raciocínio ou usam mal as evidências, carecendo de fundamentação em fontes verificáveis. Além disso, o campo carece de benchmarks que forneçam conjuntamente reivindicações multimodais do mundo real, traços de raciocínio auditáveis e evidências explicitamente vinculadas derivadas de artigos de verificação de fatos humanos.

Metodologia

1. RW-Post: Um Benchmark Multimodal de Verificação de Fatos Alinhado a Publicações

Para abordar a lacuna nos conjuntos de dados existentes, os autores introduzem o RW-Post, um benchmark projetado para verificação de fatos multimodal explicável e fundamentada em evidências.

• Construção de Dados: O conjunto de dados é construído a partir de 13.000 artigos de verificação de fatos do Snopes (2017–2024). Os autores empregam um pipeline de extração e auditoria assistido por LLM para reformatar artigos HTML em uma representação de "texto com URL marcada". Isso preserva a posição contextual dos links, permitindo que LLMs extraiam com confiabilidade as publicações originais das redes sociais, imagens, traços de raciocínio e evidências.
• Anotação e Controle de Qualidade:
  • Reetiquetagem: As etiquetas originais do Snopes são consolidadas em cinco categorias de alto nível (Verdadeiro, Falso, Não Comprovado, Mistura, Desatualizado) para garantir consistência.
  • Filtragem: Etapas de verificação automatizada e humana removem artigos com texto insuficiente, imagens de baixa resolução ou "vazamento de etiqueta" (por exemplo, imagens contendo marcas d'água como "falso" ou "fake").
  • Alinhamento de Evidências: O conjunto de dados vincula explicitamente pontos-chave do raciocínio a itens específicos de evidência (texto, imagens, vídeos) com IDs e URLs estáveis.
• Regimes de Avaliação: O RW-Post suporta três modos de avaliação complementares:
  1. Livro fechado: Os modelos observam apenas o texto e a imagem da publicação.
  2. Limitado por evidências: Os modelos recebem a publicação mais um conjunto fixo de itens de evidência oráculo do conjunto de dados.
  3. Web aberta: Os modelos recuperam evidências via busca na web sob um protocolo padronizado e controlado contra vazamento (filtrando sites conhecidos de verificação de fatos e fontes com datas posteriores à publicação).

2. AgentFact: Um Pipeline de Verificação de Referência

Os autores propõem o AgentFact, um framework modular baseado em agentes para servir como uma linha de base de referência para verificação na web aberta. Ele decompõe a tarefa de verificação em cinco agentes especializados operando em um fluxo de trabalho iterativo de recuperação-raciocínio:

1. Agente de Planejamento de Estratégia (Agent-SP): Gera um plano de verificação, incluindo etapas de raciocínio, uma lista de validação e intenções de busca.
2. Agente de Recuperação de Evidências Textuais (Agent-TR): Recupera evidências da web, filtra resultados e avalia a confiabilidade da fonte (categorizando fontes como confiáveis, não confiáveis, sátira ou incerto).
3. Agente de Recuperação e Análise de Imagens (Agent-IR): Realiza busca reversa de imagens para detectar inconsistências visuais, incluindo quase-duplicatas, imagens do mesmo evento, adulteração visual e legendas incorretas.
4. Agente de Raciocínio (Agent-R): Integra a reivindicação, o contexto da publicação e as evidências recuperadas para realizar raciocínio passo a passo, produzindo uma etiqueta de veracidade e uma pontuação de confiança.
5. Agente de Geração de Explicação (Agent-EG): Sintetiza o raciocínio e as evidências em uma explicação estruturada com citações explícitas.

Contribuições Principais

1. Benchmark RW-Post: A introdução de um benchmark realista de verificação de fatos multimodal que alinha reivindicações com publicações originais e fornece traços de raciocínio auditáveis e evidências fundamentadas em fontes. É o primeiro a oferecer alinhamento explícito entre evidência e raciocínio para auditoria.
2. Pipeline de Extração: Um pipeline inovador assistido por LLM para extrair e auditar raciocínio e evidências de artigos de verificação de fatos escritos por humanos, garantindo anotações estruturadas e de alta qualidade.
3. Framework AgentFact e Linhas de Base: A disponibilização do AgentFact como um agente de verificação de referência e o benchmarking de LVLMs de código aberto e fechado robustos sob protocolos unificados de livro fechado, limitado por evidências e web aberta.

Resultados Experimentais

Os autores avaliaram o AgentFact e várias linhas de base LVLM (LLaVA-1.5, Qwen2-VL-Chat, GPT-4o-mini) em múltiplos conjuntos de dados, incluindo RW-Post, Mocheg, CLAIMREVIEW2024+ e NewsCLIPpings.

• Desempenho na Web Aberta: O AgentFact alcançou o melhor desempenho entre sistemas de verificação de fatos no RW-Post e no CLAIMREVIEW2024+ em termos de Macro-F1, Weighted-F1 e Acurácia, superando linhas de base aumentadas por recuperação como LEMMA e DEFAME.
• Impacto das Evidências: Em avaliações controladas no RW-Post, fornecer evidências (configuração limitada por evidências) melhorou substancialmente o desempenho de todos os modelos. Por exemplo, o Weighted-F1 do GPT-4o-mini aumentou de 25,4 (livro fechado) para 85,1 (limitado por evidências).
• Desafios de Fundamentação Visual: Adicionar imagens à entrada (T+I ou T+I+E) produziu ganhos limitados ou negativos em comparação com entradas apenas de texto ou texto mais evidências. Isso sugere que os LVLMs atuais lutam para integrar efetivamente sinais visuais com evidências textuais, frequentemente falhando em utilizar a imagem para verificação quando as evidências estão disponíveis.
• Fidelidade e Alucinação: A avaliação humana revelou que, enquanto os raciocínios verdadeiros são altamente fiéis, as saídas dos modelos sofrem de alucinações de raciocínio e uso de evidências. O AgentFact superou significativamente o LEMMA em pontuações de fidelidade, mas ainda ficou atrás das anotações humanas.
• Conformidade de Formato: LVLMs de código aberto mostraram taxas de sucesso de formato (FSR) significativamente menores em comparação com o GPT-4o-mini, indicando que gerar saídas estruturadas e fundamentadas em evidências permanece um desafio não trivial para modelos abertos.

Significado e Reivindicações

O artigo argumenta que o RW-Post revela uma "margem de manobra" substancial para a pesquisa de verificação multimodal. Os experimentos demonstram que, embora os modelos atuais lutem com a fundamentação fiel de evidências e o raciocínio informado visualmente, a avaliação limitada por evidências melhora significativamente tanto a precisão quanto a fidelidade. Os autores afirmam que o RW-Post fornece um campo de testes necessário para diagnosticar sistematicamente a fundamentação visual e a utilização de evidências, indo além da correspondência superficial para uma verificação de fatos rigorosa e auditável. O trabalho destaca que evidências confiáveis são o fator dominante no desempenho de verificação, enquanto a refutação multimodal robusta e a fundamentação contextual permanecem desafios abertos. O conjunto de dados e o código são liberados para facilitar pesquisas futuras em verificação de fatos multimodal consciente de evidências.