PRISMM-Bench: A Benchmark of Peer-Review Grounded Multimodal Inconsistencies

Ce papier présente PRISMM-Bench, le premier benchmark ancré dans des incohérences réelles signalées par des pairs lors de la relecture de documents scientifiques, conçu pour évaluer la capacité des grands modèles multimodaux à détecter, corriger et raisonner sur des incohérences complexes entre texte, figures, tableaux et équations, révélant ainsi des performances limitées des modèles actuels.

L'essentiel

🕵️‍♂️ Le Grand Détective des Sciences : PRISMM-Bench

Imaginez que vous êtes un éditeur de revue scientifique. Votre travail consiste à vérifier des milliers de manuscrits avant qu'ils ne soient publiés. Ces manuscrits sont comme des livres de cuisine complexes : ils contiennent du texte (les recettes), des images (les photos des plats), des tableaux (les listes d'ingrédients) et des formules mathématiques (les temps de cuisson).

Le problème ? Parfois, il y a des incohérences.

• Le texte dit : "Ajoutez 2 cuillères de sel."
• La photo montre : "Un tas de sel énorme."
• Le tableau dit : "Le plat est sans sel."

C'est le chaos ! Et jusqu'à présent, les intelligences artificielles (les robots) qui devaient aider les éditeurs étaient très mauvaises pour repérer ces erreurs subtiles. Elles lisaient le texte, regardaient la photo, mais ne faisaient pas le lien entre les deux.

1. Le Problème : Les Robots sont "Bêtes" avec les Contradictions

Les chercheurs ont créé un nouveau test, appelé PRISMM-Bench, pour voir si les robots sont vraiment capables de faire ce travail de détective.

Ils ont pris de vrais articles scientifiques (ceux envoyés à une conférence prestigieuse appelée ICLR) et ont regardé les commentaires des réviseurs humains (les vrais experts). Ces humains avaient déjà repéré des erreurs : "Attendez, votre figure 2 ne correspond pas à votre équation 3 !"

Ils ont créé une base de données de 384 de ces erreurs réelles. C'est comme un jeu de "Trouvez l'erreur" avec des cas très difficiles, où l'erreur n'est pas évidente.

2. Le Piège : Les Robots trichent avec les mots

Quand les chercheurs ont testé les robots sur ce jeu, ils ont découvert quelque chose de drôle et de dangereux : les robots trichent.

Imaginez un jeu de questions à choix multiples :

• A) Le ciel est vert.
• B) Le ciel est bleu.
• C) Le ciel est rouge.
• D) Le ciel est bleu (mais écrit avec une faute de frappe).

Les robots, au lieu de regarder la photo du ciel, apprennent des raccourcis linguistiques. Ils se disent : "Ah, la réponse B est la plus longue, donc c'est sûrement la bonne !" ou "La réponse D a une faute, donc c'est la bonne !" Ils n'ont même pas besoin de regarder l'image pour avoir raison. C'est comme un élève qui devine la réponse au test sans avoir lu le cours.

3. La Solution : Le "Format JSON" (Le langage des robots)

Pour arrêter les robots de tricher, les chercheurs ont eu une idée brillante : changer la façon dont les réponses sont écrites.

Au lieu de laisser les robots lire des phrases complètes en langage humain (qui peuvent avoir des indices cachés), ils ont forcé les robots à répondre dans un format structuré, comme un code informatique (JSON).

C'est comme si, au lieu de demander : "Quelle est la couleur du ciel ?" avec des réponses en phrases, on leur demandait de remplir un formulaire technique :

• Attribut : "Couleur"
• Source : "Image"
• Valeur : "Bleu"

En enlevant les "mots jolis" et les phrases longues, on force le robot à vraiment regarder l'image et à faire le lien avec le texte, au lieu de deviner en fonction de la longueur de la phrase. C'est comme enlever les sous-titres d'un film pour voir si vous comprenez vraiment l'histoire ou si vous vous fiez juste aux dialogues.

4. Le Résultat : Les Robots sont encore loin d'être des experts

Après avoir mis en place ce nouveau test "anti-triche", les chercheurs ont testé 21 des meilleurs robots du monde (les plus intelligents, comme GPT-5 ou Gemini).

Le verdict est sans appel : ils sont très mauvais.

• Même les robots les plus puissants n'ont obtenu que 54 % de bonnes réponses (sur 100).
• Pour un humain expert, c'est facile (environ 77 %).
• Cela signifie que les robots ne comprennent pas encore vraiment la science. Ils ne peuvent pas encore remplacer un vrai éditeur pour vérifier la cohérence d'un article.

🎯 En résumé, c'est quoi l'idée ?

1. Le Défi : Les robots actuels sont incapables de repérer les erreurs subtiles entre les images et le texte dans les articles scientifiques.
2. La Méthode : Les chercheurs ont créé un test basé sur de vraies erreurs trouvées par des humains, et ont inventé un nouveau système de notation (le format JSON) pour empêcher les robots de tricher en lisant juste les mots.
3. La Leçon : Même les robots les plus avancés échouent encore sur ce test. Cela nous dit qu'il reste beaucoup de travail à faire avant de pouvoir faire confiance à l'IA pour vérifier la science. Pour l'instant, l'œil humain reste le meilleur détective !

L'analogie finale : C'est comme si on donnait un test de conduite à un robot. Jusqu'à présent, le robot réussissait le test parce qu'il avait mémorisé les panneaux de signalisation (les mots). Avec PRISMM-Bench, on a caché les panneaux et on lui a demandé de conduire en regardant la route. Et là, le robot a fait une tête ! 🚗💥

Résumé technique

1. Problématique

Les modèles multimodaux de grande taille (LMM) sont de plus en plus utilisés pour assister la recherche scientifique. Cependant, leur capacité à raisonner de manière fiable sur la complexité multimodale des articles scientifiques (texte, figures, tableaux, équations) reste incertaine.

Le défi central réside dans la détection et la résolution des incohérences entre ces différentes modalités. Ces erreurs, souvent subtiles, spécifiques à un domaine et résultant d'erreurs de copie, de résultats obsolètes ou de notations incohérentes, compromettent la clarté, la reproductibilité et la confiance scientifique.
Les benchmarks existants échouent à adresser ce problème car ils se concentrent soit sur des modalités isolées, soit sur des erreurs synthétiques qui ne capturent pas la complexité du monde réel. De plus, l'évaluation par questions à choix multiples (QCM) souffre de biais linguistiques où les modèles exploitent des motifs de réponse sans véritablement comprendre le contenu.

2. Méthodologie : PRISMM-BENCH

Les auteurs introduisent PRISMM-BENCH (Peer-Review-sourced Inconsistency Set for Multimodal Models), le premier benchmark ancré sur des incohérences réelles signalées par des pairs examinateurs (reviewers) lors de la revue par les pairs.

A. Construction du Dataset (Pipeline en 6 étapes)

Le dataset a été construit à partir des soumissions rejetées ou retirées d'ICLR 2024 et 2025 (pour s'assurer que les erreurs n'ont pas été corrigées).

1. Collecte des avis : Extraction de 18 009 avis via l'API OpenReview.
2. Filtrage par LLM : Utilisation de Mistral Nemo pour identifier les mentions d'incohérences, réduisant l'ensemble à 6 056 candidats potentiels.
3. Annotation manuelle : Vérification humaine rigoureuse pour confirmer l'incohérence factuelle et annoter les éléments textuels et visuels concernés.
4. Génération de tâches : Création de questions par un LLM (Gemini 2.5 Flash) basée sur les annotations.
5. Vérification manuelle : Validation finale des tâches générées.
6. Débiaisage (Debiasing) : Conversion des réponses en format JSON structuré pour éliminer les indices linguistiques superficiels.

Le résultat final est un ensemble de 384 incohérences validées provenant de 353 articles, couvrant 15 catégories de mismatches (ex: figure-texte, figure-équation, intra-figure).

B. Tâches d'Évaluation

Le benchmark propose trois tâches à choix multiples (QCM) :

1. Identification (Ident) : Détecter quelle est l'incohérence.
2. Remède (Remedy) : Proposer l'action correcte pour résoudre l'incohérence.
3. Appariement (Match) : Identifier quel élément visuel (parmi 4 options) est en conflit avec un élément donné (testant le raisonnement visuel-visuel sans indice textuel).

C. Innovation Méthodologique : Représentation JSON Débiaisée

Pour contrer le problème des "raccourcis de choix" (où les modèles devinent la bonne réponse basée sur la longueur ou le style des options), les auteurs introduisent une représentation structurée en JSON.
Au lieu de phrases naturelles, les options sont codées comme des paires "Affirmation vs Preuve" (pour Ident) ou "Cible vs Action" (pour Remedy). Cela force le modèle à raisonner sur le contenu sémantique plutôt que sur des motifs linguistiques superficiels.

D. Protocole Expérimental

• Modèles : 21 LMMs de pointe, incluant des modèles open-weight (GLM-4.5V, InternVL3) et propriétaires (Gemini 2.5 Pro, GPT-5).
• Contextes : Évaluation à trois niveaux de granularité :
  • Focusé : Seuls les éléments concernés (image/texte) sont fournis.
  • Page : L'image complète de la page.
  • Document : L'article entier (segmenté en mosaïques).

3. Résultats Clés

• Performance Globale Faible : Les performances sont décevantes, oscillant entre 27,8 % et 53,9 %. Même les modèles propriétaires les plus avancés (GPT-5 High Reasoning) n'atteignent que 53,9 % en moyenne, indiquant que les assistants scientifiques automatisés ne sont pas encore fiables pour cette tâche.
• Impact du Contexte : La performance chute drastiquement lorsque le contexte s'étend (de "Focusé" à "Document"), soulignant les difficultés des modèles à gérer le bruit et à effectuer un ancrage à long terme dans des documents denses.
• Rôle du Raisonnement (Chain-of-Thought) : Les modèles activant le raisonnement (CoT) surpassent significativement leurs versions non-raisonnantes. Par exemple, InternVL3.5 8B (avec CoT) bat des modèles beaucoup plus grands sans CoT, confirmant que le raisonnement étape par étape est crucial pour détecter des subtilités.
• Comparaison Humain vs Machine :
  • Sans contexte, les modèles obtiennent des scores élevés (jusqu'à 70 %) grâce aux biais linguistiques, tandis que les humains tombent près du hasard (27,5 %).
  • Avec le format JSON débiaisé, la performance des modèles sans contexte s'effondre vers le niveau humain, prouvant que les scores précédents étaient artificiellement gonflés.
  • Avec contexte, les humains surpassent toujours les modèles, notamment dans la reliance sur les preuves visuelles (Ratio de Reliance Visuelle).

4. Contributions Principales

1. Dataset Réel : Création du premier benchmark basé sur des incohérences réelles signalées par des pairs, couvrant des erreurs subtiles et variées.
2. Suite de Tâches : Définition d'un cadre à trois niveaux (Détection, Correction, Raisonnement relationnel) pour évaluer les capacités des LMMs au-delà de la simple identification.
3. Méthode de Débiaisage : Proposition pionnière d'une représentation JSON structurée pour les QCM, réduisant les biais linguistiques et améliorant la fidélité de l'évaluation.
4. Évaluation Large : Benchmarking exhaustif de 21 modèles de pointe, révélant leurs limites actuelles dans l'analyse de documents scientifiques complexes.

5. Signification et Impact

Ce travail met en lumière une lacune majeure dans les capacités actuelles des LMMs : leur incapacité à raisonner de manière fiable sur la cohérence multimodale des documents scientifiques, une tâche pourtant critique pour l'intégrité de la recherche.

L'introduction de PRISMM-BENCH et de la méthode de débiaisage JSON offre une nouvelle norme pour évaluer les assistants IA scientifiques. Les résultats suggèrent que pour atteindre un niveau de confiance utile, les futures architectures devront non seulement augmenter leur échelle, mais surtout améliorer leurs mécanismes de raisonnement logique et de grounding (ancrage) sur de longs contextes documentaires. Ce benchmark servira de catalyseur pour le développement d'outils capables de garantir la reproductibilité et la rigueur scientifique.