Résumé technique : La raccourci cartésien : réévaluer le raisonnement visuel dans l'espace des coordonnées polaires

Énoncé du problème

Les modèles de langage multimodaux de grande taille (MLLM) actuels ont atteint des performances remarquables, souvent au niveau humain, sur les benchmarks canoniques de raisonnement visuel. Cependant, alors que ces jeux de données saturent rapidement, une question critique se pose : ces scores reflètent-ils une véritable compréhension visuelle, ou les modèles exploitent-ils des heuristiques basées sur le texte ?

Ce papier identifie une vulnérabilité systémique omniprésente, qualifiée de raccourci cartésien. De nombreux benchmarks de raisonnement visuel de premier plan reposent sur des mises en page orthogonales et basées sur une grille (par exemple, des lignes et des colonnes). Ces mises en page peuvent être facilement discrétisées en coordonnées textuelles explicites (par exemple, « ligne 2, colonne 3 » ou « (x, y) »). Les auteurs constatent que les MLLM de pointe exploitent systématiquement cette propriété, convertissant les mises en page visuelles en représentations textuelles pour déléguer le raisonnement visuel à un raisonnement déductif basé sur le texte. Ce comportement crée une illusion de capacité visuelle profonde tout en masquant un manque de raisonnement visuel robuste et invariant à la topologie. Une fois la structure orthogonale déformée, ce raccourci s'effondre, révélant une déficience fondamentale des modèles actuels.

Méthodologie

1. Diagnostic du raccourci

Les auteurs ont analysé plus de 3 800 questions synthétiques provenant de 9 benchmarks de raisonnement visuel de premier plan. L'analyse de la chaîne de pensée (CoT) a révélé que, dans plus de 56 % des exemples, les modèles de pointe invoquaient explicitement des coordonnées cartésiennes pour résoudre les problèmes. Une expérience en deux étapes sur Gemini-3.1-Pro a confirmé cela : lorsque les modèles étaient contraints de générer une légende descriptive avant de résoudre, ils atteignaient 80,2 % de précision pour percevoir les dimensions de la grille sur des mises en page cartésiennes, et la précision de la tâche sur les instances correctement perçues atteignait 86,9 %. Cela a confirmé que les modèles s'appuient fortement sur la discrétisation de l'entrée visuelle en texte pour réussir.

2. Construction de Polaris-Bench

Pour démanteler systématiquement ce raccourci, les auteurs ont introduit Polaris-Bench, un benchmark de diagnostic contrôlé comprenant 53 tâches de raisonnement visuel générées de manière procédurale.

• Transformation des coordonnées : Chaque tâche est reformulée dans l'espace des coordonnées polaires (anneaux concentriques et secteurs angulaires) tout en conservant un équivalent cartésien apparié.
• Équivalence logique : La transformation préserve des contraintes logiques, des règles et des vérités de base cohérentes (pour la majorité des tâches). La transformation topologique spatiale brise l'antériorité orthogonale que les modèles exploitent sans altérer la logique sous-jacente.
• Taxonomie des tâches : Les 53 tâches sont organisées en cinq catégories cognitives :
  1. Correspondance de motifs visuels (11 tâches)
  2. Transformation spatiale et géométrie (13 tâches)
  3. Navigation et routage (14 tâches)
  4. Combinatoire et probabilité (9 tâches)
  5. Logique algorithmique et simulation (6 tâches)
• Conditions d'alignement : Les tâches sont catégorisées comme « entièrement alignées » (vérités de base identiques à travers les topologies) ou « partiellement alignées » (où des différences topologiques intrinsèques, telles que l'enroulement cyclique dans l'espace polaire, modifient l'espace de solution).
• Calibration visuelle : Les auteurs ont appliqué des calibrations visuelles rigoureuses pour s'assurer que les différences de performance découlent des capacités de raisonnement et non de désavantages perceptifs causés par la distorsion polaire non linéaire (par exemple, ajustement des tailles de police et des surfaces de cellules).

3. Configuration expérimentale

Le benchmark a été évalué sur 14 MLLM de pointe, couvrant des familles propriétaires (Gemini, GPT, Claude, Grok) et des modèles open source (Gemma, Kimi, Qwen, Mistral). Les évaluations ont été menées à la fois en mode haute capacité de raisonnement (chaîne de pensée) et en mode sans raisonnement.

Résultats clés

1. Effondrement universel des performances

L'évaluation a révélé un motif frappant et cohérent : les modèles atteignant une haute précision sur les mises en page cartésiennes subissent une chute drastique des performances sur leurs équivalents polaires.

• Amplitude de la baisse : Les modèles de pointe obtenant 70–83 % sur les mises en page cartésiennes s'effondrent à 31–39 % sur les équivalents polaires. La dégradation la plus importante observée était d'environ 47 points de pourcentage.
• Compression des scores : Alors que la précision cartésienne variait considérablement entre les familles de modèles, les scores polaires se sont compressés dans une bande étroite, suggérant un plancher de performance partagé dicté par l'absence de raisonnement invariant à la topologie plutôt que par une capacité spécifique au modèle.
• Persistance de la dégradation : L'effondrement des performances a persisté même sur des tâches avec une équivalence logique complète (entièrement alignées), confirmant que la transformation des coordonnées seule suffit à perturber le raisonnement des modèles.

2. Gains de raisonnement diminués

L'activation des modes haute capacité de raisonnement (chaîne de pensée) a produit des gains de précision substantiels sur les mises en page cartésiennes (jusqu'à 50 points ou plus pour certains modèles). Cependant, ces gains ont été sévèrement réduits sur les équivalents polaires, la plupart des modèles s'améliorant de moins de 10 points. Cela indique que l'amplification du raisonnement observée dans les modèles actuels dépend fortement de la disponibilité du raccourci cartésien.

3. Vulnérabilités spécifiques aux tâches

• Combinatoire et probabilité : Cette catégorie a subi la dégradation la plus abrupte (par exemple, Gemini-3.1-Pro est passé de 92,4 % à 24,9 %), probablement en raison d'une forte dépendance à l'énumération structurée de la grille.
• Logique algorithmique et simulation : Cette catégorie a conservé une précision polaire relativement plus élevée, suggérant une certaine résilience dans des domaines de raisonnement spécifiques.
• Cas limites : Deux tâches, Labyrinthe et Chemin monotone, ont montré une invariance topologique presque totale. L'analyse a suggéré que Chemin monotone permettait aux modèles d'utiliser des étiquettes numériques comme ancres symboliques (une autre forme de raccourci), tandis que Labyrinthe manquait de telles ancres, entraînant une faible performance sur les deux topologies.

4. Vérifications de robustesse

• Analyse hors distribution (OOD) : Les interventions par incitation, telles que l'instruction aux modèles de re-mapper les mises en page polaires vers des grilles cartésiennes ou l'utilisation de l'apprentissage en contexte à 5 exemples, n'ont pas permis de combler l'écart de performance. Cela suggère que la dépendance à la structure orthogonale est profondément ancrée dans les mécanismes de traitement des modèles, et non simplement une heuristique superficielle.
• Généralisation : La vulnérabilité s'étend au-delà de la dichotomie cartésien-polaires. Des tests sur des mises en page hexagonales et octogonales ont montré que les mises en page s'éloignant davantage de la grille orthogonale standard induisent un effondrement des performances plus prononcé.

Signification et revendications

Le papier revendique l'exposition d'une déficience critique des MLLM actuels : le manque de capacité de raisonnement visuel invariant à la topologie.

• Réévaluation des benchmarks : Les auteurs soutiennent que les benchmarks existants construits sur des grilles orthogonales surestiment systématiquement les capacités de raisonnement visuel car les modèles peuvent déléguer la logique visuelle à une déduction basée sur le texte.
• Vulnérabilité systémique : Les résultats démontrent que le raccourci cartésien est une limitation universelle à travers diverses familles de modèles, échelles et paradigmes d'entraînement, plutôt qu'un artefact d'architectures spécifiques.
• Outil de diagnostic : Polaris-Bench sert de terrain d'essai contrôlé pour distinguer la véritable compréhension visuelle de l'exploitation d'antériorités structurelles.
• Orientation future : Le travail souligne que le développement d'un raisonnement visuel qui se généralise de manière fiable à travers diverses structures topologiques est essentiel pour une intelligence multimodale véritablement robuste. Les auteurs notent que si le raccourci cartésien reflète des capacités déductives puissantes efficaces dans des scénarios réels riches en grilles, l'incapacité à raisonner de manière invariante à travers les topologies reste un problème ouvert majeur pour la recherche future.

Le papier conclut que les MLLM actuels manquent fondamentalement de la capacité d'effectuer un raisonnement visuel agnostique à la mise en page, et que leurs capacités déclarées sur les benchmarks standards peuvent être systématiquement gonflées par l'exploitation de structures de grilles orthogonales.