M2-Verify: A Large-Scale Multidomain Benchmark for Checking Multimodal Claim Consistency

Título: M2-Verify: Um Benchmark Multidomínio de Grande Escala para Verificação de Consistência de Afirmações Multimodais

1. O Problema

A verificação científica exige avaliar a consistência estrita entre uma afirmação (claim) e suas evidências multimodais subjacentes (texto e figuras). Embora existam benchmarks para verificação de fatos baseados apenas em texto (como FEVER e SciFact), eles falham em capturar a natureza inerentemente multimodal da comunicação científica.

• Limitações Atuais: Os benchmarks existentes carecem de escala, diversidade de domínios e complexidade visual. Eles ignoram que evidências granulares e específicas de domínio são codificadas exclusivamente em modalidades visuais (gráficos, exames de imagem, arquiteturas de modelos), criando uma assimetria informacional quando apenas o texto é considerado.
• Riscos da IA Generativa: Com o avanço de ferramentas de IA que geram ou aprimoram figuras científicas, há um risco crescente de que afirmações dependam de visuais contendo "alucinações" ou artefatos, ameaçando a integridade científica.
• Necessidade: Há uma lacuna crítica para um benchmark que exija raciocínio cruzado entre modalidades (texto e imagem) em contextos científicos rigorosos.

2. Metodologia e Construção do Dataset (M2-VERIFY)

O M2-VERIFY é um dataset de grande escala contendo 469.264 instâncias extraídas do PubMed e do arXiv, cobrindo 16 domínios científicos. A construção seguiu um pipeline rigoroso de quatro etapas:

1. Coleta de Dados: Utilização dos conjuntos de dados MedICaT (para medicina) e SciMMIR (para ciências gerais). Filtragem focada em instâncias onde autores explicitamente tiram conclusões de evidências visuais usando verbos indicativos de afirmação (ex: "mostra", "demonstra").
2. Extração de Afirmações: Uso de modelos de ponta (Gemma-27b-it e MedGemma) para extrair afirmações científicas principais baseadas em pares figura-legenda.
   • Filtro de Dependência Visual: Instâncias onde a verificação poderia ser feita apenas com a legenda foram descartadas, forçando a dependência da evidência visual.
3. Geração de Perturbações (Refutação):
   • Domínio Geral: Negação padrão.
   • Domínio Médico: Criação de uma taxonomia de 7 tipos de perturbações curada por especialistas, variando de simples trocas de status (normal/anormal) a mudanças complexas de localização anatômica. Inclui uma estratégia de seleção de dificuldade para garantir que as afirmações refutadas sejam semanticamente plausíveis, mas factualmente incorretas.
4. Geração de Explicações e Controle de Qualidade: Geração de racionalizações (explicações) que mapeiam explicitamente características visuais e textuais para a decisão de veracidade.
   • Validação Humana: Um processo de auditoria em três fases envolvendo 92 especialistas de domínio (médicos e cientistas gerais) para garantir a confiabilidade dos rótulos e a fidelidade das explicações.

3. Principais Contribuições

1. M2-VERIFY: O maior benchmark multimodal científico até o momento, com dois subconjuntos:
   • M2-VERIFY-Med: Focado em medicina com perturbações taxonômicas complexas.
   • M2-VERIFY-Gen: Focado em ciências gerais (arXiv) cobrindo 16 disciplinas (ex: Física, Computação, Economia).
2. Pipeline de Geração Validado: Um pipeline de construção de dados com perturbações específicas de domínio, validado por auditoria humana em três etapas, estabelecendo uma linha de base realista para a dificuldade da tarefa.
3. Avaliação de Modelos e Aprendizado: Avaliação abrangente de 12 modelos de linguagem visuais (VLMs), expondo falhas de raciocínio e demonstrando a viabilidade de aprendizado supervisionado (SFT) para melhorar o desempenho.

4. Resultados e Análise

Os experimentos envolveram 12 modelos, incluindo modelos de código aberto (Qwen2.5-VL, InternVL, LLaMA-3.2-Vision) e fechados (GPT-4o-mini, GPT-5-mini).

• Desempenho Geral: Os modelos de ponta lutam para manter consistência robusta.
  • No subconjunto médico, o melhor modelo (GPT-4o-mini) atingiu 73.0% de Macro-F1.
  • No subconjunto geral, modelos de código aberto como o Qwen2.5-VL-7B mostraram melhor generalização (68.1% Macro-F1).
• Complexidade do Raciocínio: Há uma queda drástica de desempenho conforme a complexidade aumenta.
  • Em perturbações médicas de baixa complexidade (troca de status), o desempenho chega a 85.8%.
  • Em perturbações de alta complexidade (mudança de localização anatômica), o desempenho cai para 61.6%.
• Domínios Específicos: Modelos performam bem em Finanças Quantitativas e Ciência da Computação, mas falham significativamente em domínios abstratos como Física e Matemática, onde o raciocínio diagramático difere de gráficos padrão.
• Qualidade das Explicações:
  • Modelos de código aberto geram textos fluentes, mas frequentemente falham na lógica de raciocínio e na precisão factual (alucinações de números ou conceitos biológicos).
  • Modelos fechados (GPT-5-mini) superaram em métricas semânticas (correção, completude) e foram avaliados por especialistas como mais fiéis.
• Ablação de Modalidade: A remoção de imagens ou texto causa quedas severas de desempenho, provando que o raciocínio multimodal integrado é estritamente necessário. Curiosamente, em alguns casos, modelos tradicionais de fusão (como MOCHEG) performaram pior com multimodalidade do que apenas com texto, sugerindo interferência de representação em imagens científicas complexas.
• Aprendizado Supervisionado (SFT): O fine-tuning com LoRA resultou em ganhos significativos (até +28.9% em Matemática), demonstrando que os modelos podem aprender a alinhar modalidades científicas específicas quando treinados adequadamente.

5. Significado e Conclusão

O M2-VERIFY estabelece um novo padrão para a avaliação de sistemas de IA na ciência.

• Diagnóstico de Falhas: Revela que os VLMs atuais têm déficits severos em raciocínio cruzado complexo e em lidar com nuances visuais específicas de domínio (como anatomia médica).
• Segurança Científica: O dataset é crucial para desenvolver sistemas capazes de detectar alucinações em figuras científicas geradas por IA, protegendo a integridade da pesquisa.
• Direção Futura: O trabalho demonstra que, embora os modelos atuais sejam limitados, o fine-tuning supervisionado em dados de alta qualidade pode ensinar raciocínio científico multimodal eficaz. O dataset e as diretrizes de uso fornecem uma base essencial para o desenvolvimento de IA multimodal confiável e explicável.

O artigo conclui que, apesar dos avanços, a verificação robusta de afirmações científicas multimodais permanece um desafio aberto, exigindo avanços contínuos em raciocínio cruzado e alinhamento de modelos.