🤖 AI

$M^3-Verse$ : A "Spot the Difference" Challenge for Large Multimodal Models

Cet article présente $M^3-Verse$ , une référence complète conçue pour évaluer et améliorer la capacité des modèles multimodaux de grande taille à raisonner sur les changements d'état dynamiques des objets au sein de contextes spatiaux cohérents grâce à des observations vidéo appariées, révélant les limitations actuelles et proposant une base de référence efficace pour la perception multi-états.

Auteurs originaux : Kewei Wei, Bocheng Hu, Jie Cao, Xiaohan Chen, Zhengxi Lu, Wubing Xia, Weili Xu, Jiaao Wu, Junchen He, Mingyu Jia, Ciyun Zhao, Ye Sun, Yizhi Li, Zhonghan Zhao, Jian Zhang, Gaoang Wang

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kewei Wei, Bocheng Hu, Jie Cao, Xiaohan Chen, Zhengxi Lu, Wubing Xia, Weili Xu, Jiaao Wu, Junchen He, Mingyu Jia, Ciyun Zhao, Ye Sun, Yizhi Li, Zhonghan Zhao, Jian Zhang, Gaoang Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Le jeu du « Trouve la Différence » pour l'IA

Imaginez que vous jouez à un classique jeu du « Trouve la Différence » avec deux images. Vous regardez l'Image A, puis l'Image B, et vous devez trouver ce qui a changé. Peut-être qu'un chat est passé du canapé au sol, ou qu'une tasse a été renversée.

Maintenant, imaginez enseigner à un ordinateur à jouer à ce jeu, mais au lieu de deux images statiques, vous lui montrez deux courtes vidéos d'une pièce. Dans la première vidéo, la pièce est rangée. Dans la seconde, quelqu'un a réarrangé les meubles et déplacé des objets. L'ordinateur doit regarder les deux vidéos et répondre à des questions comme : « Où est passée le vase rouge ? » ou « La lampe a-t-elle été allumée ? »

C'est exactement ce dont traite le papier M3-Verse. Les auteurs ont créé un nouveau test, très difficile, pour voir si les modèles d'IA modernes (appelés Modèles Multimodaux de Grande Taille, ou LMM) sont réellement bons pour suivre les changements dans le temps, ou s'ils se contentent de deviner.

Le Problème : L'IA est bonne pour « Maintenant », mais mauvaise pour « Avant vs Maintenant »

Le papier soutient que si l'IA est incroyable pour regarder une seule photo et la décrire (comme dire : « C'est un chien sur un tapis »), elle peine lorsqu'on lui demande de comparer deux moments différents dans le temps.

IA actuelle : C'est comme un touriste qui prend une photo d'une pièce, détourne le regard, puis essaie de se souvenir de ce qui a changé quand il regarde à nouveau. Il oublie souvent les détails.
Intelligence humaine : Nous comparons naturellement le passé au présent. Si un oiseau s'envole d'un arbre, nous remarquons instantanément la différence. Le papier affirme que l'IA manque de cette capacité « biologique » à détecter des changements subtils entre deux scènes distinctes.

La Solution : Un nouveau test appelé M3-Verse

Pour remédier à cela, les chercheurs ont construit M3-Verse, une vaste suite de tests composée de deux parties :

Le Laboratoire de Simulation (M3-Verse-Sim) : Ils ont utilisé un moteur de jeu vidéo (AI2-THOR) pour créer 270 pièces virtuelles. Ils ont programmé des robots pour se promener, puis ils ont secrètement déplacé des objets (comme ouvrir un tiroir ou déplacer une chaise) et enregistré les vidéos « avant » et « après ». Ils ont généré près de 3 000 questions sur ces changements.
- Analogie : Imaginez un niveau de jeu vidéo parfaitement contrôlé où les règles sont strictes et chaque détail est connu.
Le Monde Réel (M3-Verse-Réel) : Ils ont filmé 29 pièces réelles dans de véritables maisons et bureaux. Des humains ont physiquement déplacé des objets et filmé les changements. Ils ont créé 552 questions pour ces séquences.
- Analogie : C'est la version réelle et désordonnée où la lumière change, les caméras tremblent et les éléments ne sont pas parfaitement alignés.

Le test demande à l'IA de faire quatre choses :

Compréhension spatiale : Où se trouve l'objet ?
Compréhension temporelle : Qu'est-ce qui s'est passé en premier, et qu'est-ce qui s'est passé ensuite ?
Reconnaissance d'attributs : La couleur ou la forme a-t-elle changé ?
Raisonnement : Pourquoi cela a-t-il changé, ou qu'est-ce que cela signifie ?

Les Résultats : L'IA peine

Les chercheurs ont testé 16 des modèles d'IA les plus intelligents disponibles (y compris de grands noms comme GPT-5 et Gemini). Les résultats ont été surprenants :

Humains : Ont obtenu environ 90 %. Nous sommes excellents dans ce domaine.
Meilleurs modèles d'IA : Ont obtenu entre 30 % et 47 %. Même les meilleurs modèles sont à peine meilleurs que le hasard sur les questions les plus difficiles.
L'Écart : Le papier qualifie cela d'« écart de performance flagrant ». L'IA actuelle n'est pas encore assez intelligente pour suivre de manière fiable comment une scène change d'un moment à l'autre.

Le Diagnostic : Pourquoi l'IA échoue-t-elle ?

Les chercheurs n'ont pas simplement dit « L'IA a échoué ». Ils ont essayé de comprendre pourquoi en utilisant une astuce ingénieuse appelée Sonde Oracle Texte.

L'Expérience : Ils ont pris les vidéos, fait décrire chaque image par une IA sous forme de texte (comme un transcript détaillé), puis ont demandé à une IA ne traitant que du texte de répondre aux questions en se basant uniquement sur ce texte.
La Découverte : Lorsque l'IA n'avait pas à traiter la vidéo brute mais pouvait simplement lire la description textuelle, son score a augmenté considérablement.
La Conclusion : Les « yeux » de l'IA (l'encodeur visuel) fonctionnent en fait bien ; elle peut voir les changements. Le problème réside dans son « cerveau » (la partie de raisonnement). Lorsque l'information est dispersée sur une longue vidéo, l'IA oublie les détails importants. C'est comme lire un livre où les indices importants sont enfouis dans des milliers de pages de texte ennuyeux ; l'IA se perd dans le bruit et oublie l'indice.

L'Essentiel

Le papier conclut que nous avons besoin d'une nouvelle génération d'IA qui ne se contente pas de « voir » des images, mais qui peut véritablement les mémoriser et les comparer dans le temps.

État actuel : L'IA est comme un appareil photo qui prend de superbes photos mais a une mémoire terrible.
Objectif futur : Nous avons besoin d'une IA qui agit davantage comme un détective humain, capable de maintenir une carte mentale d'une pièce, de la voir changer, et de repérer la différence entre les états « avant » et « après ».

Les auteurs ont rendu ce test (M3-Verse) public afin que d'autres chercheurs puissent l'utiliser pour construire de meilleurs systèmes d'IA plus « conscients », capables de comprendre notre monde dynamique et changeant.

Résumé Technique : M3-Verse

Énoncé du Problème

Bien que les modèles multimodaux de grande taille (LMM) aient démontré une compétence remarquable dans l'interprétation d'images statiques et le suivi d'objets au sein de flux vidéo continus et à état unique, leur capacité à comprendre les changements dynamiques entre des observations vidéo distinctes reste largement inexplorée. Les benchmarks actuels se concentrent principalement sur des états isolés ou un suivi en ligne continu, négligeant la charge cognitive requise pour comparer des vidéos déconnectées, établir une mémoire de travail des agencements spatiaux et croiser les observations ultérieures pour détecter des transitions d'état subtiles. L'intelligence biologique repose naturellement sur la confrontation des scènes passées et présentes pour détecter les différences, une capacité essentielle à la cognition d'ordre supérieur dont les LMM actuels sont dépourvus.

Méthodologie

Pour combler cette lacune, les auteurs introduisent M3-Verse, un benchmark multimodal, multi-état et multidimensionnel conçu pour évaluer le raisonnement comparatif concernant les transitions d'état.

Construction du Benchmark

M3-Verse se compose de deux sous-ensembles rigoureux couvrant plus de 50 sous-tâches :

M3-Verse-Sim : Construit sur le simulateur AI2-THOR et ProcTHOR-10k, ce sous-ensemble contient 270 scènes intérieures simulées. Il présente 2 932 paires question-réponse (QA) rigoureusement filtrées. Le pipeline de génération comprend :
- Modification d'État : Altération programmatique de la présence, de la position ou des attributs internes des objets (par exemple, ouvert/fermé, allumé/éteint) tout en respectant la plausibilité physique.
- Génération d'Attributs Visuels Comparatifs : Un module qui isole les instances visuelles, génère des descriptions multi-vues via un modèle Vision-Language (DAM), et synthétise des caractéristiques discriminatives uniques (par exemple, couleur, forme) pour distinguer des catégories d'objets identiques.
- Ancrage Robuste des Entités : Un cadre qui construit dynamiquement des identifiants uniques (par exemple, « la pomme rouge sur la table ») pour éliminer l'ambiguïté référentielle dans des scènes complexes.
- Filtrage Rigoureux : Un processus multi-étapes impliquant un filtrage basé sur le texte (pour éliminer les réponses sans vision), une évaluation de la difficulté multimodale et une vérification humaine, réduisant plus d'un million de candidats à des échantillons de haute fidélité.
M3-Verse-Real : Composé de 29 scènes physiques capturées dans des environnements réels (foyers, bureaux) pour garantir un chevauchement nul avec les jeux de données publics existants. Il contient 552 paires QA annotées par des humains. Les transitions d'état ont été physiquement mises en œuvre par des annotateurs humains, et les questions ont été sélectionnées pour ne conserver que les échantillons les plus difficiles où les modèles échouent fréquemment.

Conception des Tâches

Les questions sont catégorisées en :

Intra-État : Répondables à partir d'un seul état (avant ou après).
Inter-État : Nécessitant la comparaison des deux états pour identifier les changements.
Ces catégories interrogent quatre capacités fondamentales : Compréhension Spatiale, Compréhension Temporelle, Reconnaissance d'Attributs et Raisonnement. Notamment, 20,6 % des questions sont de type « hallucination », où l'option correcte est remplacée par « Aucune option correcte n'est listée » pour tester la robustesse du modèle.

Approche Diagnostique

Pour isoler les goulots d'étranglement dans les performances des modèles, les auteurs proposent une Sonde Diagnostique Oracle-Texte. Cette méthode sérialise explicitement les flux visuels en texte avant le raisonnement :

Segmentation Vidéo et Sous-titrage Dense : Les vidéos sont découpées en clips et décrites en détail.
Génération de Résumé Cohérent : Les sous-titres sont consolidés en un récit unique.
QA Basé sur le Texte : Le modèle répond aux questions uniquement sur la base des résumés textuels.

Résultats Clés

L'article évalue 16 LMM de pointe et 6 LLM uniquement textuels face au benchmark :

Écart de Performance Significatif : Même les modèles propriétaires les plus avancés (Gemini-2.5-pro, GPT-5) n'atteignent que ~47 % et ~45 % de précision, respectivement, contre une performance humaine de 89,75 %. Les modèles open-source stagnent généralement entre 20 % et 35 %.
Difficulté Inter-État : Les modèles performent nettement moins bien sur les tâches Inter-État par rapport aux tâches Intra-État, mettant en évidence une vulnérabilité dans le maintien de l'alignement sémantique à travers de longs contextes temporels.
Goulot d'Étranglement du Raisonnement : La sous-tâche « Raisonnement » produit systématiquement les performances les plus faibles pour tous les modèles, indiquant une inadéquation fondamentale dans les opérations logiques multi-étapes et le raisonnement spatial déductif.
Susceptibilité aux Hallucinations : Les modèles montrent une chute sévère de précision (moyenne de 12,32 points) sur les questions de type hallucination, peinant à rejeter les options incorrectes.
Insights de l'Oracle-Texte :
- Capture Visuelle vs Rétention : Lorsque les flux visuels sont convertis en texte (Oracle-Texte), les performances des modèles s'améliorent considérablement (par exemple, +7 à +9 points pour les tâches Inter-État). Cela prouve que les encodeurs visuels capturent avec succès les changements d'état, mais que ces indices visuels épars sont dilués ou perdus dans les longs contextes temporels au sein du pipeline de bout en bout.
- Plafond de Raisonnement : La limite de performance ultime est dictée par la capacité de raisonnement logique du socle LLM. L'utilisation de LLM uniquement textuels plus grands dans la configuration Oracle-Texte améliore encore les performances, suggérant que l'amélioration du raisonnement logique pur est une condition préalable au succès dans ce domaine.
Validité de la Simulation : Une forte corrélation positive ( $\rho = 0,74$ ) existe entre les performances sur M3-Verse-Sim et M3-Verse-Real, validant le sous-ensemble simulé comme un proxy diagnostique fiable des capacités du monde réel.

Signification et Revendications

L'article revendique que M3-Verse fournit un nouveau terrain d'essai exigeant pour catalyser le développement de modèles de nouvelle génération possédant une compréhension plus holistique du monde visuel dynamique. En révélant que les échecs actuels ne découlent pas d'un manque de perception visuelle mais de l'incapacité à retenir des indices visuels épars dans le temps et des limites du raisonnement logique, ce travail offre un outil diagnostique critique. Les auteurs affirment que sans la capacité fondamentale de détection de changement et de raisonnement comparatif, un apprentissage significatif dans des environnements dynamiques ne peut se produire pour les agents IA. La mise en open source de M3-Verse vise à orienter les recherches futures vers le dépassement de ces goulots d'étranglement spécifiques dans le raisonnement spatio-temporel.