M2-Verify: A Large-Scale Multidomain Benchmark for Checking Multimodal Claim Consistency

1. Problématique

L'évaluation de la cohérence des arguments scientifiques nécessite de vérifier si une affirmation (claim) est strictement soutenue par des preuves multimodales (texte, figures, graphiques, scans médicaux) au sein d'un document fermé. Bien que des benchmarks existent pour la vérification de faits textuels, ils présentent plusieurs lacunes majeures :

• Manque d'échelle et de diversité : Ils couvrent peu de domaines scientifiques et manquent de complexité visuelle.
• Asymétrie informationnelle : Les descriptions textuelles fournissent le contexte, mais les preuves granulaires et spécifiques à un domaine sont souvent encodées exclusivement dans la modalité visuelle. Les systèmes purement textuels ne peuvent pas vérifier ces affirmations sans ancrage visuel.
• Risques d'IA générative : Avec l'essor des outils générant des figures scientifiques, il existe un risque accru d'hallucinations visuelles ou d'artefacts qui compromettent l'intégrité scientifique.
• Absence de benchmarks rigoureux : Les benchmarks multimodaux existants sont soit trop généraux (manque de rigueur académique), soit trop petits et limités à quelques domaines (biologie, informatique).

2. Méthodologie : Le Dataset M2-Verify

Les auteurs introduisent M2-VERIFY, un dataset à grande échelle conçu pour combler ces lacunes.

Construction des Données

• Sources : Les données sont extraites de PubMed (pour le domaine médical) et d'arXiv (pour les sciences générales), couvrant 16 domaines scientifiques.
• Volume : Le dataset contient 469 264 instances, divisées en deux sous-ensembles :
  • M2-VERIFY-Med : 15 953 instances médicales avec des perturbations spécifiques.
  • M2-VERIFY-Gen : 453 311 instances des sciences générales.
• Pipeline de Génération :
  1. Collecte : Extraction de figures, légendes et affirmations où les auteurs tirent explicitement des conclusions visuelles (filtrage par verbes indicateurs comme "show", "demonstrate").
  2. Extraction d'affirmations : Utilisation de modèles VLM (Vision-Language Models) de pointe (MedGemma, Gemma) pour extraire les affirmations principales. Un filtrage strict élimine les cas où la légende seule suffit à vérifier l'affirmation, forçant une dépendance à l'image.
  3. Module de Perturbation : Génération d'affirmations réfutées (négatives) :
     • Pour le domaine général : Négation standard.
     • Pour le domaine médical : Une taxonomie de 7 types de perturbations expertes (ex: échange de statut normal/anormal, changement de valeurs numériques, inversion d'attributs, déplacement de localisation anatomique, etc.).
  4. Génération d'Explications : Création de justifications rationnelles (environ 100 mots) liant les preuves visuelles et textuelles à la décision de véracité.

Validation Humaine Rigoureuse

Le dataset a été soumis à une audit en trois phases impliquant 92 experts du domaine :

1. Accord Inter-Annotateurs (IAA) : Évaluation en aveugle (sans étiquettes de vérité terrain) de 200 instances. Résultats : 79,6 % pour les sciences générales et 65,4 % pour le médical (ce dernier étant plus complexe et subjectif).
2. Validation d'Alignement : Vérification de la cohérence entre l'affirmation, l'étiquette et l'explication sur un échantillon de 1 295 cas.
3. Fiabilité Statistique : Corrélation forte entre les performances des modèles sur un sous-ensemble "or" (vérifié par des humains) et l'ensemble complet, prouvant que le dataset est un proxy fiable du raisonnement humain.

3. Contributions Clés

1. M2-VERIFY : Le premier benchmark multimodal à grande échelle (469k instances) couvrant 16 disciplines scientifiques, avec une validation experte rigoureuse.
2. Taxonomie de Perturbation Médicale : Une approche innovante pour générer des contre-exemples médicaux réalistes et difficiles (déplacements anatomiques, changements de diagnostic) validés par des experts.
3. Évaluation des Modèles : Une analyse approfondie de 12 modèles VLM (modèles open-source et propriétaires) révélant des déficits critiques dans le raisonnement croisé (cross-modal).
4. Guidelines d'Utilisation : Fourniture de directives complètes pour l'utilisation du dataset et des résultats d'ablation prouvant la nécessité du raisonnement multimodal intégré.

4. Résultats Expérimentaux

Les auteurs ont évalué 12 modèles (incluant GPT-4o-mini, GPT-5-mini, Qwen2.5-VL, LLaMA-3.2-Vision, etc.) sur la tâche de vérification d'affirmations.

• Performance Globale : Les modèles de pointe peinent à maintenir une cohérence robuste.
  • Sur le sous-ensemble médical, le meilleur modèle (GPT-4o-mini) atteint 73,0 % de Macro-F1.
  • Sur le sous-ensemble sciences générales, Qwen2.5-VL-7B atteint 68,1 % de Macro-F1.
• Complexité du Raisonnement :
  • Les modèles montrent une chute drastique de performance sur les perturbations complexes. Par exemple, sur M2-VERIFY-Med, le score Micro-F1 de Qwen2.5-VL-7B passe de 85,8 % sur des changements de statut simples à 61,6 % sur des déplacements anatomiques complexes.
• Spécificité des Domaines :
  • Les modèles excellent dans des domaines concrets comme la finance quantitative (72,9 %) ou l'informatique (70,3 %).
  • Ils échouent significativement dans des domaines abstraits comme les mathématiques et la physique (ex: 58,1 % pour InternVL3-8B en physique générale), où le raisonnement diagrammatique diffère des graphiques standards.
• Hallucinations et Explications :
  • Bien que les modèles open-source génèrent des textes fluides (bonnes métriques N-gram), ils souffrent d'un manque de fidélité logique. Les experts ont identifié des erreurs numériques et des hallucinations biologiques dans les explications générées.
  • Les modèles fermés (GPT-5-mini) obtiennent de meilleurs scores de "justesse" et de "complétude" dans les explications.
• Ablation des Modalités :
  • La suppression de l'image ou du texte entraîne une chute significative des performances, confirmant que le raisonnement multimodal intégré est indispensable.
  • Une exception notable : le modèle MOCHEG (fine-tuné) performe mieux en mode "texte seul" sur les sciences générales, suggérant que certaines architectures de fusion peuvent interférer avec le traitement textuel face à des images scientifiques complexes.
• Apprenabilité (Fine-Tuning) :
  • Le Supervised Fine-Tuning (SFT) améliore considérablement les performances, notamment sur les domaines abstraits (+28,9 % en mathématiques pour LLaMA-3.2), démontrant que les modèles peuvent apprendre le raisonnement scientifique croisé avec les bonnes données.

5. Signification et Impact

M2-VERIFY établit un nouvel état de l'art pour l'évaluation de la vérification de faits scientifiques multimodaux.

• Limites des modèles actuels : Il expose que les modèles VLM actuels, même les plus avancés, ne sont pas encore fiables pour la vérification scientifique rigoureuse, en particulier face à des perturbations visuelles subtiles ou dans des domaines abstraits.
• Nécessité de l'ancrage visuel : Il démontre que la vérification scientifique ne peut pas être réduite au traitement du texte ; l'interprétation précise des figures est cruciale.
• Fondation pour l'avenir : Ce dataset fournit une base essentielle pour entraîner et évaluer les futures générations d'IA de confiance capables de soutenir l'intégrité scientifique, de détecter les fraudes visuelles et d'assister les pairs dans l'évaluation des articles.

En conclusion, M2-VERIFY n'est pas seulement un dataset, mais un outil diagnostique qui révèle les faiblesses profondes du raisonnement multimodal actuel et oriente la recherche vers des modèles plus robustes, capables de justifier leurs décisions par des preuves visuelles et textuelles fidèles.