Resumo Técnico: RW-Post – Verificação de Fatos Multimodal Auditável e Fundamentada em Evidências no Mundo Real

1. Declaração do Problema

A proliferação das mídias sociais acelerou a disseminação de desinformação multimodal persuasiva, onde imagens e vídeos são manipulados ou reaproveitados para reforçar textos enganosos, representando riscos significativos para a saúde pública e o comportamento social. Embora a inteligência artificial generativa reduza ainda mais o custo de produção de conteúdo enganoso realista, os sistemas existentes de verificação automática enfrentam limitações críticas:

• Uso Superficial de Evidências: Abordagens atuais frequentemente dependem de correspondência superficial ou carecem de fundamentação fiel em fontes verificáveis.
• Falta de Benchmarks Auditáveis: Há uma escassez de benchmarks que forneçam conjuntamente reivindicações multimodais do mundo real, traços de raciocínio auditáveis e evidências explicitamente vinculadas.
• Perda de Contexto: Muitos conjuntos de dados falham em preservar o contexto original da postagem nas redes sociais, o que é crítico para uma verificação precisa.
• Lacunas na Avaliação: Métodos existentes lutam com a "fidelidade", onde os modelos geram justificativas fluentes, mas alucinadas, não apoiadas por fontes verificáveis, particularmente em ambientes de web aberta.

2. Metodologia

A. O Benchmark RW-Post

Os autores introduzem o RW-Post, um benchmark texto-imagem alinhado a postagens, projetado para verificação de fatos multimodal do mundo real com anotações auditáveis.

• Construção de Dados: O conjunto de dados é derivado de 13.000 artigos de verificação de fatos do Snopes (2017–2024).
• Pipeline de Extração: Um pipeline de extração e auditoria assistido por LLM converte artigos HTML em uma representação de "texto com URLs marcadas". Isso preserva a posição contextual dos links, permitindo que o modelo distinga entre a postagem original, imagens, raciocínio e evidências externas.
• Estrutura de Anotação: Cada instância vincula:
  1. A postagem original nas redes sociais (texto e imagem).
  2. Traços de raciocínio estruturados (lógica e pontos-chave).
  3. Itens de evidência explicitamente vinculados (com IDs estáveis e URLs de origem) derivados de artigos de verificação de fatos escritos por humanos.
• Controle de Qualidade: O pipeline inclui filtragem de relevância multimodal (removendo reivindicações onde as imagens são irrelevantes), filtragem de vazamento de marca d'água (removendo imagens com rótulos "fake" ou "falso") e validação humana para garantir o alinhamento entre raciocínio e evidências.
• Regimes de Avaliação: O RW-Post suporta três configurações de avaliação complementares:
  1. Livro Fechado: Modelos observam apenas a postagem e a imagem.
  2. Limitado por Evidências: Modelos recebem a postagem mais um conjunto fixo de itens de evidência oráculo.
  3. Web Aberta: Modelos recuperam evidências via pesquisa na web sob um protocolo padronizado e controlado contra vazamentos (filtrando sites conhecidos de verificação de fatos e fontes datadas posteriormente).

B. Pipeline de Verificação de Referência: AgentFact

Para estabelecer baselines, os autores propõem o AgentFact, um framework de verificação modular baseado em agentes que integra planejamento de estratégia, recuperação de evidências, análise visual, raciocínio e geração de explicações.

• Agent-SP (Planejamento de Estratégia): Gera um plano de verificação, incluindo listas de validação e intenções de busca.
• Agent-TR (Recuperação de Evidências Textuais): Recupera e filtra evidências textuais, avaliando a confiabilidade da fonte (confiável, não confiável, sátira, incerto).
• Agent-IR (Recuperação e Análise de Imagens): Realiza busca reversa de imagens para detectar adulteração visual, legendas incorretas e deepfakes.
• Agent-R (Raciocínio): Executa o plano de verificação passo a passo, fundamentando o raciocínio nas evidências recuperadas e avaliando a confiança.
• Agent-EG (Geração de Explicação): Produz uma explicação estruturada com citações explícitas de IDs de evidência.
• Fluxo de Trabalho: O sistema opera em um loop iterativo de recuperação–raciocínio, alternando entre aquisição de evidências e raciocínio fundamentado em evidências até que uma previsão de veracidade seja alcançada.

3. Contribuições Principais

1. Benchmark RW-Post: Um novo benchmark para verificação de fatos multimodal explicável, apresentando reivindicações alinhadas a postagens, traços de raciocínio e evidências fundamentadas em fontes, abordando a lacuna em conjuntos de dados existentes que carecem de contexto original ou links de evidências auditáveis.
2. Pipeline de Extração: Um pipeline assistido por LLM para extrair e auditar raciocínio e evidências de artigos de verificação de fatos escritos por humanos, garantindo anotações estruturadas e verificáveis.
3. Framework AgentFact e Baselines: Um agente de verificação de referência e uma avaliação abrangente de Modelos de Linguagem e Visão Grandes (LVLMs) de código aberto robustos sob protocolos controlados de livro fechado, limitado por evidências e web aberta.

4. Resultados Experimentais

A. Desempenho End-to-End em Web Aberta

• Verificação de Fatos (3 classes): O AgentFact alcançou o melhor desempenho entre sistemas de verificação de fatos no RW-Post, ClaimReview2024+ e Mocheg em termos de Macro-F1, Weighted-F1 e Acurácia. Demonstrou tratamento superior do desequilíbrio de classes em comparação com baselines aumentadas por recuperação como LEMMA e DEFAME.
• Detecção de OOC (Binária): No conjunto de dados NewsCLIPpings, detectores especializados de OOC (CCN, Sniffer) superaram sistemas de verificação de fatos de propósito geral, destacando a natureza distinta da detecção fora de contexto versus a verificação de fatos em web aberta.

B. Avaliação Controlada (LVLMs)

• Impacto das Evidências: Fornecer evidências (T+E) melhorou substancialmente o desempenho de todos os modelos. Por exemplo, o Weighted-F1 do GPT-4o-mini saltou de 25,4 (livro fechado) para 85,1 (limitado por evidências). LVLMs de código aberto (LLaVA-1.5, Qwen2-VL-Chat) também apresentaram ganhos significativos, mas permaneceram muito abaixo das baselines de código fechado.
• Desafios de Fundamentação Visual: Adicionar imagens à entrada (T+I ou T+I+E) produziu ganhos limitados ou até negativos em configurações limitadas por evidências. Isso sugere que os LVLMs atuais lutam para integrar efetivamente sinais visuais com evidências textuais, frequentemente falhando em fundamentar a análise visual no contexto fornecido.
• Refutação e Incerteza: Os modelos performaram melhor ao confirmar reivindicações suportadas (Verdadeiro) do que ao rejeitar desinformação (Falso) ou lidar com casos "Não Provado", indicando dificuldades na abstenção calibrada.
• Conformidade de Formato: LVLMs de código aberto mostraram taxas de sucesso de formato significativamente menores (50–86%) em comparação com o GPT-4o-mini (100%), indicando que gerar saídas estruturadas e fundamentadas em evidências permanece um desafio não trivial.

C. Explicabilidade e Avaliação Humana

A avaliação humana de 40 instâncias amostradas revelou:

• Verdade Terrena: Raciocínios anotados por humanos alcançaram pontuações de fidelidade quase perfeitas (0,94–1,00).
• Desempenho do Modelo: O AgentFact superou significativamente o LEMMA em fidelidade de raciocínio, uso de evidências e justificação de rótulos (p < 10⁻⁵).
• Modos de Falha: Estudos de caso destacaram "fundamentação contextual fraca", onde os modelos recuperaram textos que soavam relevantes, mas falharam em capturar o verdadeiro contexto de nível de evento das imagens (por exemplo, identificando erroneamente o evento específico ou os participantes).

D. Estudo de Ablação

A remoção do Agente de Recuperação de Evidências Textuais (Agent-TR) causou a maior queda de desempenho, confirmando-o como o componente mais crítico. A remoção do Agente de Planejamento de Estratégia ou do Agente de Análise de Imagens também resultou em declínios mensuráveis, validando os papéis complementares dos agentes modulares.

5. Significado e Reivindicações

O artigo afirma que o RW-Post fornece um campo de testes necessário para avançar a pesquisa sobre verificação de fatos multimodal consciente de evidências. Os experimentos demonstram um "espaço de melhoria" substancial para os modelos atuais:

• A Evidência é Dominante: A fundamentação confiável em evidências é o principal motor do desempenho; sem ela, mesmo modelos robustos lutam.
• A Fundamentação Visual é Difícil: Apesar da natureza multimodal da tarefa, os LVLMs atuais falham em utilizar efetivamente sinais visuais quando combinados com evidências textuais, frequentemente dependendo de correspondência de texto superficial.
• A Fidelidade Importa: O benchmark expõe a prevalência de raciocínio alucinado e uso indevido de evidências nos sistemas atuais, enfatizando a necessidade de protocolos de avaliação que auditem o vínculo entre raciocínio e fontes verificáveis.

Os autores concluem que, embora a avaliação limitada por evidências melhore a precisão e a fidelidade, a verificação multimodal robusta no mundo real permanece um desafio aberto, particularmente no que diz respeito à fundamentação visual e ao tratamento da incerteza.