MEVER: Multi-Modal and Explainable Claim Verification with Graph-based Evidence Retrieval

Resumo Técnico: MEVER

1. O Problema

A verificação de alegações (claim verification) tradicionalmente foca em evidências puramente textuais. No entanto, com a ascensão de conteúdos multimídia, muitas alegações (especialmente em contextos científicos) dependem da análise conjunta de textos e imagens (como gráficos e tabelas). O artigo identifica três lacunas principais nos métodos atuais:

• Unimodalidade: A maioria dos modelos ignora evidências visuais, o que leva a verificações imprecisas quando a prova crucial está em um gráfico.
• Falta de Recuperação Multimodal: Muitos sistemas de recuperação de evidências são baseados apenas em texto, falhando em encontrar imagens relevantes para uma alegação.
• Falta de Explicabilidade: Mesmo quando o modelo acerta o veredito (Suporte, Refutação ou Neutro), ele raramente fornece uma justificativa textual que explique o raciocínio, tornando o processo pouco transparente e pouco convincente.

2. Metodologia (O Modelo MEVER)

Para resolver esses problemas, os autores propõem o MEVER, um framework que integra três etapas: recuperação de evidências, verificação de alegações e geração de explicações.

A. Recuperação de Evidências com Grafo Multimodal de Duas Camadas:
O modelo constrói um grafo onde a camada inferior contém nós de texto (evidências) e a camada superior contém nós de imagem.

• Raciocínio Imagem-para-Texto e Texto-para-Imagem: Utiliza mecanismos de atenção cruzada para integrar informações visuais nos embeddings de texto e vice-versa.
• GNN (Graph Neural Networks): É utilizada para agregar múltiplas imagens associadas a um único texto, permitindo um raciocínio multimodal coeso durante a fase de busca.

B. Verificação de Alegações via Fusão Hierárquica:
Para verificar se uma alegação é verdadeira, o MEVER utiliza dois níveis de fusão:

• Fusão ao nível de Token (Token-level fusion): Promove a interação fina entre os tokens da alegação e os patches das imagens/tokens de texto da evidência através de atenção multi-cabeça (Multi-Head Attention).
• Fusão ao nível de Evidência (Evidence-level fusion): Agrega as informações de múltiplas evidências recuperadas em um embedding único e hierárquico para a classificação final do veredito.

C. Geração de Explicações com Fusion-in-Decoder (FiD):
Para tornar o processo transparente, o modelo utiliza um módulo Fusion-in-Decoder. Ele permite que o decodificador de linguagem "olhe" tanto para os embeddings textuais quanto para os visuais de múltiplas evidências simultaneamente. Além disso, os autores introduzem um Regularizador de Consistência, que força a explicação gerada a ser logicamente coerente com o veredito previsto pelo classificador.

3. Principais Contribuições

1. Modelo MEVER: Um framework completo que aborda recuperação, verificação e explicabilidade de forma integrada e multimodal.
2. Dataset AIChartClaim: A criação de um novo dataset científico focado na área de Inteligência Artificial. Diferente de datasets genéricos, este contém alegações científicas, gráficos complexos (barras, linhas, dispersão, etc.) e explicações, preenchendo uma lacuna crucial para o raciocínio científico em modelos de linguagem.
3. Arquitetura de Grafo Multimodal: Uma abordagem inovadora para alinhar e recuperar evidências visuais e textuais de forma conjunta.

4. Resultados

Os experimentos foram realizados em quatro datasets (AIChartClaim, ChartCheck, Mocheg e MR2):

• Recuperação: O MEVER superou significativamente os métodos baseados apenas em texto (como BM25 e RAV) e outros métodos multimodais, provando que o uso de grafos e a integração imagem-texto melhoram a precisão da busca.
• Verificação: O modelo atingiu o estado da arte (SOTA) em termos de Macro F1, superando modelos como GPT-4o e outros modelos especializados em gráficos (como UniChart e ChartGemma) em cenários de evidências recuperadas.
• Explicação: O uso do Fusion-in-Decoder e do regularizador de consistência resultou em explicações com pontuações superiores em métricas de linguagem (ROUGE-L, METEOR, BLEU-2) e em avaliações de modelos de visão-linguagem (VLM-as-a-Judge).

5. Significância

O trabalho é significativo por elevar o padrão da verificação de fatos de uma tarefa puramente linguística para uma tarefa de raciocínio multimodal complexo. Ao introduzir o dataset AIChartClaim, os autores fornecem à comunidade de pesquisa uma ferramenta para treinar modelos que não apenas "leiam" textos, mas que consigam interpretar dados científicos visuais, uma habilidade essencial para a próxima geração de assistentes de pesquisa e sistemas de combate à desinformação científica.