MERIT: Modular Framework for Multimodal Misinformation Detection with Web-Grounded Reasoning

Resumo Técnico: MERIT (Modular Framework for Multimodal Misinformation Detection)

1. O Problema

A disseminação de desinformação multimodal (combinação de texto e imagem) é um desafio crescente, pois as narrativas falsas exploram a manipulação coordenada entre diferentes mídias. O artigo identifica três lacunas principais nos métodos atuais:

• Dependência de dados: Modelos supervisionados exigem grandes conjuntos de dados específicos para cada tipo de manipulação, dificultando a generalização.
• Alucinações de modelos de linguagem (LVLMs): Modelos de visão-linguagem sem acesso a ferramentas de busca tendem a fabricar explicações ou dar julgamentos inconsistentes quando carecem de conhecimento factual.
• Falta de modularidade: Não existiam sistemas que combinassem, de forma integrada, verificação de consistência cross-modal, raciocínio baseado em recuperação (RAG) e pontuação de confiança calibrada em uma arquitetura plugável.

2. Metodologia

Os autores propõem o MERIT, um framework de inferência modular que decompõe a verificação em quatro estágios sequenciais, utilizando o modelo GPT-4o-mini como motor de raciocínio:

1. Módulo de Verificação Visual (Visual Verification): Analisa a imagem em busca de artefatos técnicos (anatomia impossível, iluminação inconsistente) e anomalias contextuais (cenários surreais) para detectar imagens geradas por IA ou manipuladas.
2. Módulo de Avaliação de Relevância (Relevancy Assessment): Avalia o alinhamento semântico entre a imagem e a manchete, classificando a relação como verdadeira, parcial ou falsa. Isso visa detectar o uso de imagens autênticas em contextos errados.
3. Módulo de Verificação de Alegações (Claim Verification): Utiliza uma abordagem de RAG (Retrieval-Augmented Generation). O sistema gera perguntas investigativas em três cadeias de raciocínio, realiza buscas na web via DuckDuckGo e sintetiza respostas com citações de fontes para verificar a veracidade do texto.
4. Módulo de Julgamento Final (Final Judgment): Integra os sinais dos três módulos anteriores através de regras de decisão estruturadas. Para que um conteúdo seja classificado como "Autêntico", ele deve passar em todos os critérios: a manchete deve ser factualmente suportada, a imagem deve estar alinhada e não deve ser gerada por IA.

3. Principais Contribuições

• Arquitetura Modular: Proposta de um pipeline que decompõe o problema complexo em subproblemas especializados.
• Framework Plugável: O sistema pode operar com qualquer modelo de visão-linguagem (LVLM) que siga instruções, sem necessidade de treinamento específico para a tarefa.
• Transparência: O modelo produz justificativas vinculadas a citações, permitindo a auditoria humana.
• Prova de Design: Através de uma avaliação controlada (usando o mesmo modelo para o MERIT e para o baseline MMD-Agent), os autores provaram que o ganho de performance vem da arquitetura do sistema e não apenas da potência do modelo de linguagem subjacente.

4. Resultados

Os experimentos foram realizados no benchmark MMFakeBench:

• Desempenho Superior: O MERIT alcançou 81,65% de F1, superando o baseline GPT-4V com MMD-Agent (74,0% F1).
• Recall de Desinformação: O MERIT demonstrou uma capacidade significativamente maior de detectar desinformação (Recall de 79,14% contra 73,00% do MMD-Agent).
• Especialização de Módulos (Estudo de Ablação): Os testes mostraram que cada módulo é essencial para uma categoria específica:
  • A remoção do módulo visual prejudica drasticamente a detecção de distorção visual (-36 pontos).
  • A remoção do módulo de busca (RAG) prejudica a detecção de distorção textual.
  • A remoção da avaliação de relevância prejudica a detecção de inconsistência cross-modal.
• Generalização: Testes em um conjunto de dados de 5.000 amostras confirmaram que os resultados se mantêm estáveis em relação à validação.

5. Significância

O trabalho é significativo por mudar o paradigma da detecção de desinformação de "modelos de caixa-preta" para "sistemas de raciocínio estruturado". Ao decompor a tarefa, o MERIT resolve o problema da falta de conhecimento factual (via RAG) e da incapacidade de distinguir manipulações visuais sutis (via módulo especializado). Embora apresente desafios como a taxa de falsos positivos em notícias muito nichadas ou imagens ilustrativas genéricas, o framework oferece uma base robusta para ferramentas de auxílio a moderadores de conteúdo e fact-checkers humanos, priorizando a explicabilidade e a fundamentação em evidências.