🤖 AI

On the Intrinsic Limits of Transformer Image Embeddings in Non-Solvable Spatial Reasoning

Ce papier soutient que les Transformers de vision échouent intrinsèquement dans les tâches de raisonnement spatial non résolubles comme la rotation mentale, car leur architecture à profondeur constante est bornée computationnellement par la classe de complexité $\mathsf{TC^0}$ , laquelle est insuffisante pour résoudre le problème du mot $\mathsf{NC^1}$ -complet requis pour préserver la structure algébrique de groupes non résolubles tels que $\mathrm{SO}(3)$ .

Auteurs originaux : Siyi Lyu, Quan Liu, Feng Yan

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Siyi Lyu, Quan Liu, Feng Yan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Pourquoi l'IA se perd dans l'espace 3D

Imaginez que vous avez un robot très intelligent capable de regarder une photo d'un lapin et de vous dire : « C'est un lapin ! ». Il est incroyable pour reconnaître ce que les choses sont. Mais si vous lui demandez d'imaginer faire tourner ce lapin dans l'espace 3D, ou de déterminer où le lapin se retrouvera après une série complexe de rotations, le robot se perd et fait des erreurs.

Ce document soutient que ce n'est pas parce que le robot n'a pas vu assez de photos de lapins. Ce n'est pas un « problème de données ». Au contraire, le problème est inhérent au cerveau du robot (son architecture) dès le départ. Le cerveau du robot est simplement trop « peu profond » pour effectuer les calculs requis pour des rotations 3D complexes.

Le Problème Central : Le Cerveau « En Une Étape »

Pour comprendre pourquoi, il faut examiner comment ces modèles d'IA (appelés Vision Transformers ou ViT) fonctionnent.

L'Analogie : L'Album Photo Instantané
Pensez à un modèle d'IA standard comme une personne qui regarde une photo et écrit instantanément une description dans un carnet. Elle le fait en un seul coup d'œil rapide. Elle ne s'arrête pas pour réfléchir : « D'accord, si je la tourne à gauche, puis en haut, puis à droite... ». Elle essaie simplement de deviner le résultat final en se basant sur ce qu'elle a vu auparavant.

Le document indique que cette approche « en un coup d'œil » fonctionne très bien pour des choses simples (comme glisser une photo vers la gauche ou la droite), mais elle échoue pour des choses complexes (comme faire tourner un objet 3D).

Les Mathématiques Derrière la Magie : Le Jeu du « Groupe »

Les auteurs utilisent une branche des mathématiques appelée Théorie des Groupes pour expliquer cela. Imaginez un ensemble de règles pour déplacer des objets :

Niveau 1 (Facile) : Glisser une boîte vers la gauche ou la droite. Peu importe si vous la glissez vers la gauche puis la droite, ou la droite puis la gauche ; vous finissez au même endroit. C'est comme un jeu simple et coopératif.
Niveau 2 (Moyen) : Faire tourner une forme 2D. L'ordre compte (tourner puis glisser est différent de glisser puis tourner), mais vous pouvez toujours décomposer les mouvements en étapes simples.
Niveau 3 (Difficile) : Faire tourner un objet 3D (comme un globe). Ici, l'ordre compte énormément, et les mouvements s'emmêlent d'une manière qui ne peut pas être facilement démêlée. En termes mathématiques, on appelle cela des « Groupes Non Résolvables ».

Le document affirme que pour vraiment comprendre le Niveau 3 (la rotation 3D), il faut être capable de suivre une longue chaîne de scénarios « et si » étape par étape.

Le Goulot d'Étranglement : La Limite de « Profondeur »

Voici la partie cruciale de l'argument du document :

L'Analogie : La Chaîne de Montage de l'Usine

L'IA (ViT) : Imaginez une usine où un produit passe par un nombre fixe de postes (disons 12 postes). Peu importe la complexité du produit, il ne traverse ces 12 postes qu'une seule fois. C'est un processus de « profondeur constante ».
La Tâche (Rotation 3D) : Imaginez une tâche qui vous oblige à vérifier une chaîne de dépendances qui s'allonge à chaque fois que vous ajoutez une nouvelle étape. Pour résoudre cela, vous avez besoin d'une usine où le produit peut revenir en boucle à travers les postes plusieurs fois, ou où l'usine peut construire un nouvel ensemble de postes à la volée, selon la longueur de la chaîne.

Le document utilise la théorie avancée de l'informatique (Complexité des Circuits) pour prouver que :

L'usine « 12 postes » de l'IA est mathématiquement incapable de résoudre l'énigme de la « longue chaîne » en un seul passage.
L'énigme nécessite une « profondeur logique » que l'IA ne possède tout simplement pas. C'est comme essayer de résoudre un Rubik's Cube en ne le regardant qu'une seule fois sans tourner aucune face.

L'Expérience : La « Sonde Récursive »

Pour prouver que ce n'est pas juste une théorie, les chercheurs ont créé un test appelé le benchmark d'Algèbre de l'Espace Latent (LSA).

L'Analogie : Le Jeu de Mémoire

Ils ont montré à l'IA une photo d'un objet.
Ils lui ont demandé d'imaginer une séquence de mouvements (par exemple : « Tourne selon X, puis Y, puis Z... »).
Ils ont entraîné l'IA à comprendre un seul mouvement à la fois.
Ensuite, ils ont testé l'IA sur de longues séquences (20 mouvements d'affilée) en lui demandant d'enchaîner ces mouvements individuels dans sa tête.

Le Résultat :

Lorsque les mouvements étaient simples (Niveau 1), l'IA s'en sortait bien.
Lorsque les mouvements étaient des rotations 3D complexes (Niveau 3), la « carte mentale » de l'IA s'effondrait. Plus les mouvements étaient enchaînés, plus la réponse de l'IA s'éloignait de la vérité.
Crucialement : Rendre l'IA plus grande (en ajoutant plus de couches) n'a pas aidé. C'était comme donner un carnet plus grand à une personne ayant une mémoire courte ; elle ne pouvait toujours pas se souvenir de la longue chaîne d'événements parce que la structure de sa mémoire était erronée, et non sa taille.

Ce Que Cela Signifie (Selon le Document)

Le document conclut que :

Ce n'est pas un manque de données : Vous ne pouvez pas résoudre cela en nourrissant l'IA de plus de photos de lapins qui tournent.
C'est une limite structurelle : La conception actuelle de ces modèles d'IA (Vision Transformers) est mathématiquement « trop peu profonde » pour gérer la logique complexe et enchevêtrée de la rotation 3D en un seul coup d'œil.
Le Piège du « Détecteur de Motifs » : Ces modèles sont excellents pour reconnaître des motifs qu'ils ont déjà vus, mais ils ne « raisonnent » pas réellement sur la géométrie du monde comme le font les humains. Ils approximent la réponse, et cette approximation échoue lorsque les mathématiques deviennent trop difficiles.

En bref : le document soutient que la génération actuelle de modèles de vision par IA a un plafond dur concernant sa capacité à comprendre l'espace 3D, non pas parce qu'elle est « bête », mais parce que son cerveau est construit avec un type spécifique de logique « plate » qui ne peut pas gérer des énigmes spatiales profondes et enchevêtrées.

Résumé Technique : Sur les Limites Intrinsèques des Embeddings d'Images par Transformateurs dans le Raisonnement Spatial Non Résoluble

Énoncé du Problème
Les Transformateurs de Vision (ViT) ont atteint des performances de pointe en reconnaissance sémantique, mais présentent des défaillances systématiques dans les tâches de raisonnement spatial, en particulier celles impliquant des transformations géométriques complexes comme la rotation mentale et le positionnement relatif. Bien que ces échecs soient souvent attribués à une échelle de données insuffisante ou à des artefacts d'optimisation, ce travail postule que la limitation est intrinsèque à la complexité computationnelle de l'architecture. Plus précisément, l'article examine si les encodeurs Transformateurs standards à profondeur constante possèdent la profondeur logique requise pour modéliser la structure algébrique des transformations spatiales non résolubles (par exemple, les rotations 3D) au sein d'une seule passe avant.

Méthodologie
L'étude emploie un cadre théorique faisant le pont entre la Théorie des Groupes et la Complexité des Circuits, validé par une nouvelle référence empirique.

Formalisation Théorique :
- Homomorphisme de Groupe : La compréhension spatiale est définie comme l'acquisition d'un Homomorphisme de Groupe, où les embeddings latents doivent préserver la loi de composition du groupe géométrique sous-jacent $G$ (par exemple, $SO(3)$).
- Hiérarchie de Résolubilité : Les tâches sont catégorisées selon la résolubilité de leurs groupes de transformation :
  - Niveau 1 (Abélien) : Opérations commutatives (par exemple, translation 2D).
  - Niveau 2 (Résoluble Non Abélien) : Opérations qui ne commutent pas mais peuvent être décomposées en étapes abéliennes finies (par exemple, mouvement rigide 2D).
  - Niveau 3 (Non Résoluble) : Opérations profondément imbriquées qui ne peuvent être découplées (par exemple, rotation 3D, contenant des sous-groupes isomorphes à $A_5$ ).
- Le Problème du Mot : L'article formalise la dépendance des opérations spatiales séquentielles comme le « Problème du Mot » pour les groupes finis. Pour les groupes non résolubles, résoudre ce problème est NC1-complet, nécessitant une profondeur logique logarithmique ( $O(\log N)$ ) pour résoudre les dépendances sérielles.
- Bornes de Complexité des Circuits : Les ViT standards à profondeur constante et précision polynomiale sont strictement bornés par la classe de complexité TC0. Selon la conjecture standard que TC0 ⊊ NC1, les architectures à profondeur constante manquent de la profondeur logique nécessaire pour résoudre le Problème du Mot pour les groupes non résolubles en une seule passe avant.
Validation Empirique (Référence LSA) :
- Les auteurs proposent la référence Algèbre de l'Espace Latent (LSA) pour tester ces limites théoriques.
- Protocole : Une stratégie de sondage linéaire récursive est utilisée. Les modèles sont entraînés sur des transitions atomiques ( $N=1$ ) et évalués sur des séquences récursives ( $N \in \{2, \dots, 20\}$ ) générées à partir du même espace d'états.
- Contrôles : Pour écarter les artefacts d'optimisation, l'étude emploie l'Analyse Procrustéenne Orthogonale (OPA) comme vérification déterministe de la linéarité intrinsèque dans l'espace latent.
- Ensembles de Données : Des ensembles de données synthétiques sont construits pour les groupes Abéliens ( $Z_2$ ), Résolubles Non Abéliens ($SE(2)$) et Non Résolubles ($SO(3)$) en utilisant des objets 3D asymétriques pour garantir l'injectivité visuelle.
- Modèles : Les expériences évaluent les poids figés de ViT (Base/Grand/Huge), DINOv2 (Base/Grand/Géant) et les backbones ResNet (50/101/152).

Contributions Clés

Formalisation Algébrique : L'article présente la représentation spatiale comme un problème d'homomorphisme de groupe, catégorisant la difficulté des tâches en fonction de la résolubilité du groupe de transformation.
Preuve de la Frontière de Complexité : Il établit formellement que les ViT à profondeur constante sont théoriquement incapables de capturer des structures non résolubles (comme les rotations 3D) sous les conjectures de complexité standard (TC0 ⊊ NC1), car ils ne peuvent résoudre les dépendances sérielles inhérentes au Problème du Mot pour les groupes non résolubles.
Référence Algébrique et Validation : La référence LSA fournit une méthode d'évaluation rigoureuse et guidée par la structure. Les résultats empiriques confirment que les représentations ViT se dégradent considérablement sur les tâches non résolubles à mesure que la profondeur compositionnelle augmente, tout en maintenant leur fidélité pour les tâches abéliennes.

Résultats

Barrière Universelle de Complexité : À travers toutes les architectures (ViT, DINOv2, ResNet) et toutes les échelles, les modèles présentent une dégradation fondamentale dans le suivi des dépendances à long terme pour les groupes non résolubles.
Hiérarchie de l'Erreur : L'erreur de prédiction suit une hiérarchie stricte : Niveau 3 (Non Résoluble) $\gg$ Niveau 2 > Niveau 1. L'erreur absolue sur le Niveau 3 est approximativement 5,73 à 17,72 fois plus élevée que sur le Niveau 1.
Dégradation Structurelle : Les transformations non résolubles déclenchent une augmentation rapide et monotone de l'erreur, approchant significativement plus rapidement la ligne de base (prédicteur trivial) que les tâches résolubles. Cela indique une rupture structurelle de l'application homomorphe plutôt qu'une simple dérive d'erreur cumulative.
Inefficacité de la Mise à l'Échelle de la Profondeur : L'augmentation de la profondeur du modèle (par exemple, de ViT-Base à ViT-Huge) produit des gains de performance négligeables. Les trajectoires d'erreur pour différentes profondeurs au sein d'une même famille d'architectures se chevauchent, confirmant que l'empilement de couches dans un graphe computationnel statique (TC0) ne peut combler le fossé vers la classe de complexité requise (NC1).
Déficit Latent Intrinsèque : Les résultats OPA montrent que si les transformations abéliennes produisent des ajustements linéaires forts dans l'espace latent, les rotations 3D non résolubles échouent systématiquement (produisant souvent un $R^2$ négatif), prouvant que l'espace latent manque de la géométrie nécessaire pour représenter ces générateurs.

Signification et Revendications
L'article revendique d'identifier une limitation théorique fondamentale des architectures de Transformateurs à profondeur constante : elles reposent sur des approximations superficielles plutôt que sur la maîtrise de l'isomorphisme de groupe sous-jacent requis pour le raisonnement spatial non résoluble.

Limite Architecturale : L'échec n'est pas dû à l'échelle des données ou à l'optimisation de l'entraînement, mais est une propriété intrinsèque de la complexité des circuits de l'architecture.
Implications pour l'IA Incarnée : Les résultats servent de mise en garde pour les applications critiques pour la sécurité (robotique, conduite autonome) où la dépendance à des représentations de « correspondance de motifs » pour des transformations compositionnelles à long horizon pourrait entraîner des défaillances imprévisibles.
Efficacité des Ressources : Le travail s'oppose à la futilité de résoudre le raisonnement spatial complexe uniquement par la mise à l'échelle des données ou des paramètres au sein d'architectures à profondeur fixe, suggérant la nécessité de conceptions qui réconcilient la profondeur logique avec la stabilité de l'entraînement, en s'inspirant potentiellement des principes de navigation biologique.