Résumé Technique : De l'hallucination à l'ancrage : Diagnostiquer l'intelligence spatiale visuelle via CRISP

Énoncé du Problème

Les évaluations actuelles des modèles de langage-vision (VLM) concernant l'intelligence spatiale visuelle souffrent d'une confusion critique entre les priors linguistiques et un véritable raisonnement spatial. Les benchmarks traditionnels de Questions-Réponses (QA) permettent souvent aux modèles d'exploiter des « raccourcis sémantiques » — en s'appuyant sur des cooccurrences statistiques dans les données d'entraînement plutôt que sur la perception de la scène physique. Par conséquent, les modèles peuvent produire des sorties linguistiques correctes tout en possédant des modèles 3D implicites erronés, créant ainsi une « illusion d'intelligence spatiale ».

Les outils de diagnostic existants, tels que les rationales textuelles ou les cartes cognitives 2D, ne parviennent pas à fournir la précision métrique requise pour l'IA incarnée. De plus, les benchmarks standards ne parviennent pas à découpler les goulots d'étranglement perceptifs (la capacité de voir et de mesurer) des déficits de raisonnement (la capacité à manipuler logiquement des concepts spatiaux). Ce décalage empêche une compréhension granulaire pour savoir si l'échec d'un modèle provient d'une perception inexacte ou d'une incapacité à utiliser ses propres représentations structurelles.

Méthodologie : Le Benchmark CRISP

Pour répondre à ces limitations, les auteurs introduisent CRISP (Consistency of Reasoning In Spatial Perception - Cohérence du Raisonnement dans la Perception Spatiale), un paradigme d'évaluation de diagnostic structurel. CRISP déplace l'attention de la correction orientée vers le résultat vers un ancrage orienté vers le processus, en couplant une QA discriminative avec une tâche générative de graphe de scène 3D (SGC).

1. Construction du Jeu de Données

• Source : Le benchmark sélectionne 1 162 scènes statiques de haute qualité (intérieures et extérieures) issues de nuScenes et ScanNet++.
• Vérité de Terrain (Ground Truth) : Un pipeline automatisé rigoureux projette les annotations 3D sur des images 2D, en filtrant selon la visibilité et la résolution. Crucialement, il construit un Graphe de Scène 3D Maître utilisant des identifiants numériques uniques plutôt que des descriptions textuelles pour éviter toute fuite sémantique.
• Échelle : Le jeu de données contient 9 839 questions couvrant sept compétences spatiales : estimation de la distance, estimation de la taille, perception directionnelle, comptage, classement spatial, transformation de vue et déduction logique.

2. Paradigme à Double Tâche

CRISP évalue les modèles sur deux tâches distinctes mais liées :

• QA Spatiale : Les modèles répondent à des questions (choix multiples et numériques) concernant la scène. Cela teste le raisonnement explicite.
• Construction de Graphe de Scène 3D (SGC) : On donne aux modèles une liste d'IDs d'objets et ils doivent générer un sous-graphe en topologie en étoile. Cela nécessite de prédire :
  • Nœuds : Dimensions 3D et distance à la caméra (estimation métrique).
  • Arêtes : Prédicats directionnels sémantiques et distances euclidiennes métriques entre les objets.
  • Note : La tâche SGC force le modèle à externaliser son modèle 3D implicite dans un format structuré et conscient des métriques, servant de goulot d'étranglement informationnel strict.

3. Métriques d'Évaluation

• Score QA : Précision pour les QCM et Précision Relative Moyenne (MRA) pour les questions numériques.
• Score SGC : Une métrique composite évaluant l'Estimation Métrique ($S_{est}$) via l'IoU basée sur des ratios pour la taille et la précision relative pour la distance, ainsi que le Score de Relation ($S_{rel}$) pour la cohérence sémantique des prédicats d'arêtes.
• Score d'Auto-Cohérence : Une nouvelle métrique qui vérifie l'alignement entre les deux tâches. Elle utilise un solveur déterministe pour dériver une réponse de QA à partir du SGC généré ($A_{dérivée}$) et la compare à la réponse directe de QA du modèle ($A_{QA}$). Cela permet de distinguer une « compréhension réelle » d'une « hallucination cohérente » (où un modèle est faux dans les deux tâches, mais l'est de manière cohérente).

4. Protocoles d'Intervention

Pour démêler la perception du raisonnement, les auteurs emploient :

• Tests Aveugles : Évaluation des modèles avec des entrées uniquement textuelles (IDs numériques uniquement) pour établir une ligne de base des priors linguistiques.
• Intervention Structurelle : Fournir aux modèles soit des SGs de Vérité de Terrain (GT), soit leurs propres SGs Prédits (Pred) aux côtés de l'image. Cela teste le « plafond » du raisonnement latent et la robustesse du modèle face au conflit de modalité.

Résultats Clés

1. Le Déconnexion Perception-Raisonnement

L'analyse de 13 VLM de pointe (incluant des modèles propriétaires comme Gemini et GPT-5, ainsi que des modèles open-source comme Qwen et InternVL) révèle un décalage systématique :

• Modèles Propriétaires : Possèdent des moteurs de raisonnement latent robustes mais souffrent d'une estimation métrique inexacte et d'une incapacité à exploiter leurs propres représentations structurelles implicites. Ils construisent souvent des modèles structurels raisonnables (scores SGC modérés) mais échouent à les utiliser lors de la génération de QA de bout en bout.
• Modèles Open-Source : Présentent souvent des raccourcis sémantiques. Ils obtiennent des scores QA plus élevés en s'appuyant sur les priors linguistiques tout en échouant à générer des structures métriques précises (faibles scores SGC).
• Cohérence : Une partie significative des modèles présente une « hallucination cohérente » (10-12 % des cas), où ils raisonnent de manière cohérente sur des fondements géométriques fondamentalement erronés.

2. L'Illusion de l'Intelligence Spatiale

• Raccourcis Sémantiques : Dans les tests aveugles textuels, les modèles maintiennent une conformité de format SGC quasi parfaite (>99 %) mais s'appuient sur les priors de distribution. Lorsque l'entrée visuelle est ajoutée, des modèles comme Qwen2.5-VL montrent des gains significatifs en QA mais des gains négligeables en SGC, indiquant que l'encodeur visuel identifie les objets mais échoue à les traduire en localisation spatiale.
• Modèles Spécialisés : Contre-intuitivement, les modèles spécialisés dans l'espace (ex. VG LLM, Cambrian-S) sont moins performants que les bases généralistes en termes de cohérence, suggérant que l'ajustement fin spatial peut activer des indices locaux sans pour autant garantir que le moteur de raisonnement les utilise.

3. Libérer le Raisonnement Latent via l'Intervention

• Gain de l'Oracle : Lorsqu'ils sont fournis avec des SGs de Vérité de Terrain, les modèles montrent des augmentations de performance spectaculaires (ex. +30,3 % pour Gemini 2.5 Flash). Cela confirme que des capacités de raisonnement latent robustes existent déjà dans les VLM actuels, mais qu'elles sont limitées par la perception.
• Conflit de Modalité : Lorsqu'ils sont fournis avec leurs propres SGs Prédits, la plupart des modèles subissent un effondrement de performance, privilégiant leurs externalisations textuelles erronées par rapport aux preuves visuelles brutes. Cela souligne un « biais de confiance » et un manque de robustesse dans la résolution des conflats de modalité.
• Profondeur du Raisonnement : Les modèles propriétaires montrent des gains significatifs dans la logique compositionnelle (raisonnement multi-étapes) lorsqu'ils reçoivent des SGs de vérité de terrain, tandis que les modèles open-source s'améliorent principalement sur des tâches atomiques, indiquant une déficience fondamentale dans leur profondeur de raisonnement.

Signification et Revendications

L'article affirme que CRISP offre une feuille de route rigoureuse pour l'alignement multimodal au-delà du post-entraînement de bout en bout. Ses principales contributions sont :

1. Le Diagnostic plutôt que la Conjecture : CRISP dépasse le stade de « deviner correctement » via les priors linguistiques pour véritablement « percevoir, vérifier et raisonner ». Il fournit un diagnostic granulaire que la QA classique en boîte noire ne peut offrir.
2. Redéfinition des Goulots d'Étranglement : Les conclusions redéfinissent la feuille de route de développement pour l'IA incarnée. Le principal goulot d'étranglement est identifié non pas comme une déficience logique intrinsèque des VLM, mais comme un échec d'alignement structurel entre la perception et le raisonnement.
3. Perspectives Actionnables : Le cadre identifie trois modes de défaillance distincts pour le développement futur :
   • Raccourcis Sémantiques : Nécessitant de meilleurs encodeurs visuels pour la perception métrique.
   • Déconnexion Perception-Raisonnement : Nécessitant une refonte des stratégies d'alignement multimodal pour combler l'écart d'utilisation interne.
   • Biais de Confiance de Modalité : Nécessitant une mise à niveau des backbones LLM pour améliorer la résolution de conflit et le raisonnement compositionnel.

En fin de compte, les auteurs soutiennent que le simple passage à l'échelle de l'entraînement de bout en bout est insuffisant. Une véritable intelligence spatiale visuelle nécessite d'imposer explicitement la cohérence structurelle, garantissant que les déductions logiques sont strictement ancrées dans une géométrie 3D explicitement perçue.