MM-CondChain: A Programmatically Verified Benchmark for Visually Grounded Deep Compositional Reasoning

Ce papier présente MM-CondChain, un nouveau benchmark vérifiable programmatically conçu pour évaluer la capacité des modèles de langage multimodaux à effectuer un raisonnement compositionnel profond et enchaîné basé sur des preuves visuelles, révélant ainsi des lacunes significatives des modèles actuels face à cette complexité.

L'essentiel

🕵️‍♂️ Le Problème : Les IA sont de bonnes "lectrices", mais de mauvaises "détectives"

Imaginez que vous donnez à un robot (une Intelligence Artificielle) une photo et une liste de règles très précises pour accomplir une tâche.

• L'ancien test : On demandait au robot : "Est-ce qu'il y a un chien rouge à gauche ?" C'est simple, c'est une seule question.
• Le nouveau défi (MM-CondChain) : On donne au robot une instruction du style : "Si tu vois un chien rouge ET qu'il porte un chapeau, alors regarde la fenêtre. Si la fenêtre est ouverte, va dehors. Mais si le chien porte un chapeau BLEU, alors reste assis et réponds à une autre question."

Le problème, c'est que les IA actuelles sont très doues pour répondre à la première question simple, mais elles se perdent dès qu'il faut enchaîner plusieurs conditions logiques complexes basées sur ce qu'elles voient. Elles ont tendance à dire "Oui, continue !" même quand la condition n'est pas remplie, comme un élève qui devine la réponse au lieu de vérifier les faits.

🛠️ La Solution : Le "Chef d'Orchestre" et le "Code Secret"

Pour tester vraiment ces IA, les chercheurs ont créé un nouveau jeu appelé MM-CondChain. Mais créer ce jeu est difficile : si on demande à une IA de créer les questions, elle risque de se tromper elle-même ou de créer des règles contradictoires.

Alors, ils ont inventé une méthode géniale, un peu comme un usine à questions automatisée :

1. Le Chef d'Orchestre (Le Planner) : C'est un robot qui décide de la structure du jeu. Il dit : "On va faire 3 étapes. À l'étape 1, on regarde le chien. À l'étape 2, on regarde la fenêtre..."
2. Le Code Secret (VPIR) : Au lieu d'écrire les règles en français tout de suite, le système les écrit d'abord en code informatique (comme une petite formule mathématique).
   • Exemple : SI (couleur == rouge) ET (chapeau == présent) ALORS continuer.
   • Le système exécute ce code sur la photo pour vérifier si c'est vrai ou faux. C'est comme un test de réalité infaillible.
3. Le Traducteur : Une fois que le code est vérifié et qu'on est sûr que la logique est parfaite, un autre robot traduit ce code en français naturel pour que l'IA à tester puisse le lire.

L'analogie : Imaginez que vous voulez construire un pont. Au lieu de demander à un peintre de dessiner un pont qui ressemble solide, vous demandez d'abord à un ingénieur de le construire en acier (le code) et de tester sa solidité. Une fois le test réussi, vous demandez à un artiste de le peindre pour qu'il soit joli. Cela garantit que le pont ne s'effondrera jamais.

🎭 Le Piège : Les "Faux Jumeaux"

Ce qui rend ce test si difficile, c'est qu'ils créent deux versions presque identiques de la même question :

• Version Vraie (True Path) : Toutes les conditions sont respectées. L'IA doit suivre le chemin jusqu'au bout.
• Version Fausse (False Path) : Ils changent un tout petit détail (ex: le chien porte un chapeau bleu au lieu de rouge). Cela change tout le chemin : l'IA doit s'arrêter immédiatement et répondre à une question différente.

C'est comme un jeu de "Où est Charlie ?" où l'IA doit repérer le moindre changement de couleur pour ne pas se tromper de chemin. Si elle ne fait pas attention, elle continue tout droit alors qu'elle aurait dû tourner à gauche.

📉 Les Résultats : Même les plus forts trébuchent

Les chercheurs ont testé les IA les plus puissantes du monde (comme GPT-5, Gemini, Qwen) avec ce nouveau jeu.

• Le verdict : Même les meilleures IA n'ont obtenu qu'environ 53 % de réussite. C'est à peine mieux que de deviner au hasard !
• Pourquoi ? Plus le chemin est long (plus il y a d'étapes) et plus les règles sont complexes, plus les IA font des erreurs. Elles ont du mal à garder en tête toutes les conditions en même temps.

🎯 En résumé

MM-CondChain est comme un examen de conduite très strict pour les IA.

• Avant, on leur demandait juste de savoir freiner.
• Maintenant, on leur demande de conduire dans une ville complexe, de respecter des feux tricolores, de vérifier les panneaux, et de changer de direction instantanément si un piéton traverse, le tout en gardant le cap.

Ce test prouve que, même si les IA sont impressionnantes pour discuter ou dessiner, elles ont encore beaucoup de mal à raisonner logiquement de manière profonde en se basant sur ce qu'elles voient. C'est un défi majeur pour l'avenir de la technologie.

Résumé technique

1. Le Problème : Le Manque de Raisonnement Compositionnel Profond

Les modèles de langage multimodaux (MLLM) actuels sont de plus en plus utilisés pour des workflows visuels complexes (ex: navigation d'interfaces graphiques, analyse de données), où la prochaine action dépend de la vérification de conditions visuelles composées et enchaînées (ex: "Si une fenêtre de permission apparaît ET que l'interface est verte, alors cliquer sur 'Autoriser'").

Cependant, les benchmarks existants présentent deux lacunes majeures :

• Profondeur compositionnelle limitée : Ils évaluent principalement des compositions visuelles à une seule couche (ex: "L'objet est-il rouge et grand ?") ou des contraintes d'instructions indépendantes, sans exiger un raisonnement en chaîne où chaque étape conditionne la suivante.
• Absence de "Hard Negatives" (Négatifs difficiles) : Les benchmarks contrastifs existants se limitent souvent à un changement d'attribut unique. Ils ne testent pas la capacité du modèle à suivre un flux de contrôle complexe où une condition fausse, même minime, doit entraîner une terminaison précoce du processus.

Le défi central est de savoir si les MLLMs peuvent suivre des instructions conditionnelles profondes, où chaque décision doit être vérifiée visuellement à chaque étape, et où le modèle doit savoir quand s'arrêter ou bifurquer.

2. Méthodologie : Pipeline de Synthèse Agentique et VPIR

Pour surmonter les difficultés de génération de données fiables à grande échelle, les auteurs proposent MM-CondChain, un benchmark construit via un pipeline de synthèse agentique reposant sur une Représentation Intermédiaire Programmatique Vérifiable (VPIR).

A. Le Concept VPIR

Au lieu de générer directement des instructions en langage naturel (ce qui peut entraîner des incohérences logiques ou des hallucinations), le pipeline décompose la logique du langage :

1. Représentation Programmatique : Chaque condition est d'abord générée sous forme de prédicat exécutable (style Python) basé sur des faits visuels structurés (JSON).
2. Vérification Mécanique : Ces prédicats sont exécutés dans un environnement sandbox contre les faits visuels extraits. Seules les conditions dont la vérité est mathématiquement vérifiée (True/False) sont conservées.
3. Rendu Linguistique : Une fois la logique vérifiée, un traducteur LLM convertit le code en instructions naturelles fluides.

B. Le Pipeline de Synthèse Agentique

Le processus de construction d'un échantillon de benchmark suit trois étapes principales :

1. Planificateur (Planner) : Orchestre la construction couche par couche. Il décide d'étendre la chaîne, de la terminer ou de revenir en arrière (rollback) si une vérification échoue. Il gère la profondeur de la chaîne et les stratégies relationnelles (approfondissement ou transition vers un nouvel objet).
2. Vérificateur (Verifier) : Contrôle la qualité à deux niveaux :
   • Niveau 1 : Vérifie que les objets et faits visuels sont ancrés dans l'image et non répétitifs.
   • Niveau 2 : Vérifie que le texte naturel généré correspond fidèlement à la logique VPIR sans ambiguïté.
3. Compositeur (Composer) : Assemble les couches vérifiées en deux instances appariées :
   • Chemin Vrai (True-path) : Toutes les conditions sont vraies, le modèle doit atteindre la fin et répondre à la question finale.
   • Chemin Faux (False-path) : Une condition est remplacée par un contre-factuel minimement perturbé (Hard Negative). Le modèle doit détecter l'échec à cette étape précise, arrêter le processus et répondre à une question auxiliaire associée à cette étape.

C. Domaines Visuels

Le benchmark est instancié sur trois domaines distincts pour tester la généralisation :

• Images Naturelles : Objets, couleurs, relations spatiales.
• Graphiques (Charts) : Statistiques numériques, structures de données.
• Trajectoires GUI : Séquences d'actions d'interface, états de fenêtres, éléments cliquables.

3. Contributions Clés

1. MM-CondChain : Le premier benchmark dédié au raisonnement conditionnel profond ancré visuellement, caractérisé par un flux de contrôle multi-couches et des négatifs difficiles en chaîne.
2. Pipeline VPIR : Une méthode de construction de données qui découple la logique (vérifiable par code) du langage naturel, garantissant l'exactitude sémantique et éliminant les contradictions logiques inhérentes à la génération directe par LLM.
3. Évaluation Diagnostique : Une analyse fine montrant que la difficulté provient de deux axes orthogonaux : la profondeur de la chaîne (séquentielle) et la complexité des prédicats au sein d'une même couche (compositionnelle).

4. Résultats Expérimentaux

Les auteurs ont évalué une large gamme de modèles (open-source et propriétaires, incluant GPT-4o, Gemini-3-Pro, Qwen3-VL, etc.) sur les 975 échantillons générés.

• Performance Globale Faible : Même le modèle le plus performant (Gemini-3-Pro) n'atteint qu'un F1 moyen de 53,33 %. Cela indique que le raisonnement compositionnel profond reste un défi fondamental.
• Biais vers le "Continue" : Les modèles réussissent beaucoup mieux sur les chemins vrais (où toutes les conditions sont vraies) que sur les chemins faux. Ils ont tendance à surestimer que les conditions sont satisfaites et à continuer le flux au lieu de s'arrêter, ce qui est dangereux dans des workflows réels.
• Impact de la Profondeur et de la Complexité :
  • Profondeur : Une augmentation de la profondeur de la chaîne (de 2 à 6 couches) entraîne une chute de performance relative d'environ 30 %. Les erreurs s'accumulent de manière linéaire.
  • Complexité des Prédicats : L'augmentation de la complexité logique au sein d'une seule couche (plus d'opérateurs logiques, plus d'attributs) réduit les performances de 28 % à 36 %.
• Difficulté par Domaine : Le domaine GUI est le plus difficile (F1 max ~40 %), suivi des images naturelles, tandis que les graphiques sont légèrement plus faciles, probablement en raison de la nature plus déterministe des comparaisons numériques une fois les données extraites.

5. Signification et Impact

MM-CondChain met en lumière une limite critique des MLLMs actuels : leur incapacité à maintenir une cohérence logique rigoureuse sur de longues chaînes de raisonnement conditionnel ancré visuellement.

• Pour la Recherche : Il fournit un outil de diagnostic précis pour identifier si un modèle échoue en raison d'une mauvaise perception visuelle, d'une incapacité à suivre le flux de contrôle, ou d'une faiblesse dans le raisonnement logique compositionnel.
• Pour les Applications Réelles : Il souligne les risques de déploiement de MLLMs dans des tâches critiques (comme l'automatisation d'interfaces ou la navigation autonome) où une erreur de vérification d'une condition peut entraîner une action incorrecte.
• Méthodologique : L'approche VPIR offre un nouveau paradigme pour la construction de benchmarks, prouvant que la vérification programmatique pendant la génération des données est supérieure à la simple vérification a posteriori des sorties.

En résumé, ce papier démontre que malgré les progrès récents, les modèles multimodaux peinent encore à raisonner de manière fiable dans des environnements conditionnels complexes, et propose une infrastructure robuste pour mesurer et améliorer ces capacités.