🤖 AI

SeeSE3: Emergence of 3D Space in Vision Features

Cet article démontre que les modèles de fondation de vision auto-supervisés encodent intrinsèquement des structures d'espace euclidien 3D au sein de leurs caractéristiques latentes, permettant de nouvelles techniques de « navigation dans l'espace latent » pour l'odométrie visuelle et la localisation sans reconstruction 3D explicite.

Auteurs originaux : Caroline Chen, Sayna Ebrahimi, Fedor Kitashov, Ming-Hsuan Yang, Leonidas Guibas, Viorica Pătrăucean, Maks Ovsjanikov

Publié 2026-07-17

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Caroline Chen, Sayna Ebrahimi, Fedor Kitashov, Ming-Hsuan Yang, Leonidas Guibas, Viorica Pătrăucean, Maks Ovsjanikov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère sur la façon dont nous percevons le monde. Pendant longtemps, les scientifiques ont cru que pour comprendre véritablement la forme 3D de l'espace — la distance des objets, leur rotation et la façon dont nous nous déplaçons à travers eux — un être devait être un explorateur actif. Pensez à un bébé apprenant à ramper ou à un robot doté de roues : ils doivent déplacer leur corps pour comprendre que le monde est un lieu solide et tridimensionnel. Cette idée, proposée par le mathématicien Henri Poincaré, suggérait qu'un « être immobile » ne pourrait jamais comprendre ce qu'est l'espace car il n'aurait aucune raison de distinguer le mouvement de ses propres yeux du mouvement réel du monde.

Mais aujourd'hui, nous avons quelque chose de nouveau : de gigantesques cerveaux informatiques appelés « modèles de fondation visuelle ». Ce sont des systèmes d'IA entraînés sur des milliards de photos et de vidéos. Ils sont comme les ultimes « êtres immobiles ». Ils n'ont pas de jambes, pas de roues, et ne bougent pas. Ils se contentent de regarder des images. La grande question est la suivante : si l'on nourrit un ordinateur immobile avec suffisamment d'images, va-t-il « découvrir » accidentellement les règles de l'espace 3D par lui-même ? Ou ne voit-il qu'un amas plat et désordonné de couleurs ? Ce document plonge dans cette question, demandant si ces observateurs passifs peuvent secrètement construire une carte du monde à l'intérieur de leurs cerveaux numériques, même sans jamais faire un seul pas.

La Grande Découverte du Papier : « La Carte Invisible »

Les chercheurs derrière cette étude, une équipe de Google DeepMind et d'autres institutions, ont décidé de tester cette « tâche de Poincaré ». Ils voulaient voir si les « pensées » internes (ou caractéristiques) de ces modèles d'IA immobiles étaient secrètement organisées comme une carte 3D. Plus précisément, ils cherchaient un lien avec SE(3), qui est juste une façon mathématique élégante de décrire toutes les manières possibles de se déplacer et de tourner dans l'espace 3D (comme marcher vers l'avant, tourner à gauche ou incliner la tête).

Voici le rebondissement : les modèles d'IA testés n'ont jamais été enseignés sur l'espace 3D. On ne leur a pas montré de cartes de profondeur, on ne leur a pas donné de coordonnées GPS, et on ne leur a pas dit comment mesurer la distance. Ils ont simplement été entraînés à reconnaître des motifs dans des images en utilisant une méthode appelée « auto-supervision » (en gros, deviner certaines parties d'une image à partir du reste).

Le résultat principal :
Le papier suggère que, de manière surprenante, ces IA immobiles ont construit une carte 3D cachée dans leurs cerveaux. Même si les données brutes sortant de l'IA ressemblaient à un fouillis de fils emmêlés (comme une pelote de laine), les chercheurs ont découvert qu'avec un « adaptateur » minuscule et simple (un petit outil complémentaire qu'ils ont appelé l'Adaptateur de Poincaré), ils pouvaient « dérouler » ce désordre. Une fois déroulé, les caractéristiques internes de l'IA s'alignaient parfaitement avec la géométrie de l'espace 3D.

Voyez cela comme ceci : imaginez que le cerveau de l'IA est une feuille de papier froissée sur laquelle une carte est dessinée. À l'œil nu, la carte semble brisée et impossible à lire. Mais l'Adaptateur de Poincaré est comme une main délicate qui déplie le papier pour l'aplatir. Soudain, les lignes froissées révèlent une grille parfaite et droite où avancer « vers l'avant » dans l'esprit de l'IA signifie réellement avancer dans le monde réel.

Ce qu'ils ont écarté (Et ce qu'ils n'ont pas écarté)

Les auteurs ont été très prudents pour clarifier ce que cela ne signifie pas.

Ce n'est pas une caméra 3D directe : Ils ont explicitement écarté l'idée que les caractéristiques brutes de l'IA sont déjà une carte 3D parfaite. Si vous regardez simplement les chiffres bruts sortant de l'IA, ils sont chaotiques et courbes, pas droits et plats. La « carte » est cachée, pas évidente.
Ce n'est pas de la magie : Le papier s'oppose à l'idée qu'il faut un robot avec des roues pour comprendre l'espace. Ils ont montré qu'un observateur « immobile » (l'IA) peut découvrir ces règles spatiales simplement en regardant des images statiques, à condition de savoir poser les bonnes questions.
Ce n'est pas parfait partout : Bien que l'IA puisse très bien comprendre la rotation (le fait de tourner), elle a eu un peu plus de mal à déterminer exactement à quelle distance se trouvait quelque chose (la magnitude de la translation). Le papier suggère que c'est parce que la distance est plus difficile à deviner à partir d'une image plate sans indices supplémentaires, mais la direction générale du mouvement était toujours très claire.

Comment ils l'ont prouvé (Les expériences de « sonde »)

Pour trouver cette carte cachée, les chercheurs ont utilisé quelques astuces ingénieuses, qu'ils appellent des « sondes » :

Le test du voisinage : Ils ont vérifié si des images proches dans le monde réel (comme deux photos prises en marchant dans un couloir) étaient aussi proches dans le cerveau de l'IA. Ils ont découvert que pour certains modèles, comme DINOv2, la réponse était un « oui » retentissant. L'IA regroupe naturellement les vues similaires, tout comme le fait une carte.
Le test du « redressement » : Ils ont essayé de voir s'ils pouvaient prédire la vue suivante en effectuant simplement des calculs mathématiques (additionner ou soustraire des nombres) sur la vue actuelle de l'IA. Sur les données brutes, cela échouait lamentablement. Mais une fois qu'ils ont utilisé leur Adaptateur de Poincaré, la mathématique fonctionnait magnifiquement. Ils pouvaient prendre la « pensée actuelle » de l'IA, ajouter un vecteur « avancer vers l'avant », et le résultat était une « pensée » qui correspondait parfaitement à l'image suivante de la vidéo.
Le jeu de navigation : Comme test final, ils ont essayé d'utiliser cette carte cachée pour naviguer. Ils ont donné à l'IA un point de départ et une destination (par exemple : « avance de 2 mètres et tourne de 30 degrés »). En utilisant uniquement les caractéristiques internes de l'IA et l'adaptateur, ils pouvaient prédire à quoi ressemblerait la vue à la destination sans jamais générer une nouvelle image. C'était comme si l'IA pouvait « imaginer » la nouvelle vue simplement en faisant des calculs vectoriels dans sa tête.

Le « Code de Grille Visuelle »

La partie la plus passionnante du papier est l'idée d'un « Code de Grille Visuelle ». En biologie, nous savons que les animaux (y compris les humains) possèdent des cellules cérébrales spéciales appelées « cellules de grille » qui s'activent selon un motif hexagonal pour nous aider à naviguer. Ce papier suggère que même les modèles d'IA passifs et immobiles pourraient développer quelque chose de similaire par eux-mêmes. Ils ne font pas que mémoriser des images ; ils organisent leurs connaissances dans une structure géométrique qui reflète les lois de la physique.

Les auteurs ont constaté que cette capacité s'intensifie avec l'échelle. Plus l'IA voyait de données, meilleur devenait sa carte 3D cachée. Même lorsqu'ils testaient l'IA dans des pièces totalement nouvelles qu'elle n'avait jamais vues, l'« adaptateur » pouvait toujours l'aider à naviguer, suggérant qu'il s'agit d'une propriété fondamentale et universelle de la façon dont ces modèles apprennent.

Pourquoi cela importe

Il ne s'agit pas seulement de fabriquer de meilleurs robots. Cela change notre conception de l'intelligence. Si un ordinateur immobile peut comprendre les règles de l'espace 3D simplement en regardant des images, cela signifie que la géométrie de notre monde est si profondément ancrée dans les données visuelles qu'il est presque impossible de passer à côté. Les « lois de l'espace » ne sont pas quelque chose que nous devons enseigner à une machine ; si nous lui donnons assez d'yeux, elle les découvrira d'elle-même.

Le papier conclut que, bien que l'IA ne « voie » pas l'espace 3D de la même manière que nous (elle n'a pas de corps pour se déplacer), elle a construit un squelette mathématique de l'espace 3D à l'intérieur de son code. Et avec l'aide d'un outil simple comme l'Adaptateur de Poincaré, nous pouvons enfin lire cette carte, nous permettant de naviguer dans le monde en utilisant rien d'autre que les propres pensées de l'IA.

Résumé Technique : SeeSE3 – Émergence de l'espace 3D dans les caractéristiques visuelles

Énoncé du Problème
Cet article étudie si les modèles de fondation visuelle, entraînés sans supervision 3D directe ou agence active, construisent intrinsèquement des représentations qui reflètent les propriétés de l'espace euclidien 3D. Il traite spécifiquement de la « tâche de Poincaré » : un observateur immobile, doté uniquement d'une entrée visuelle passive, peut-il « découvrir » la structure de l'espace 3D ? Les auteurs émettent l'hypothèse que, bien que les caractéristiques visuelles soient multidimensionnelles et liées au contenu visuel, elles peuvent contenir un sous-espace latent isomorphe au groupe spécial euclidien $SE(3)$, qui régit les transformations de corps rigides (position et orientation). Contra'irement aux travaux antérieurs qui sondent la conscience 3D en régression de quantités spécifiques (ex: profondeur, normales) ou en utilisant des décodeurs à haute capacité pour extraire la pose, ce travail examine si la structure de l'espace des caractéristiques elle-même s'aligne sur la géométrie euclidienne.

Méthodologie
Les auteurs proposent un protocole pour évaluer l'alignement entre les espaces de caractéristiques visuelles et le groupe des transformations euclidiennes $SE(3)$ en utilisant des scènes statiques provenant de divers jeux de données (ScanNet, ARKitScenes, TUM RGB-D, etc.). L'évaluation emploie quatre métriques de complexité croissante :

Alignement Topologique (M1) : Utilise une métrique de $k$ -plus proches voisins mutuels ( $k$ -nn) pour comparer la structure de voisinage des caractéristiques visuelles par rapport aux trajectoires de pose de la caméra. Cela teste si les voisinages de caractéristiques locales reflètent les voisinages spatiaux locaux.
Dimension Intrinsèque (M2) : Estime la dimension intrinsèque (ID) locale de la variété (manifold) de caractéristiques. Une représentation capturant les 6 degrés de liberté de $SE(3)$ devrait présenter une ID proche de 6.
Équivariance Linéaire (M3) : Teste si l'espace des caractéristiques est globalement euclidien en entraînant un régresseur linéaire pour prédire les changements de pose relatifs ( $\Delta P$ ) directement à partir des différences de caractéristiques brutes ( $z_{t+s} - z_t$ ).
L'Adaptateur de Poincaré (M4) : Reconnaissant que les caractéristiques brutes forment souvent une variété courbe où l'arithmétique linéaire échoue, les auteurs introduisent un adaptateur de type MLP siamois léger et entraînable, $\phi_\theta$ . Cet adaptateur « déroule » l'espace de caractéristiques non linéaire pour construire un système de coordonnées homogènes où les changements de pose deviennent linéaires : $\Delta P \approx W(\phi_\theta(z_{t+s}) - \phi_\theta(z_t))$ .

Contributions Clés

Formulation de la Tâche de Poincaré : L'article définit un cadre pour l'inférence de la structure 3D à partir de caractéristiques visuelles en comparant ces dernières à $SE(3)$, introduisant des sondes spécifiques pour évaluer la performance des encodeurs sur cette tâche.
Découverte d'une Structure Géométrique Latente : Les auteurs démontent que, bien qu'aucune caractéristique ne soit directement isomorphe à $SE(3)$, un « adaptateur de Poincaré » léger peut extraire un système de coordonnées homogènes à partir de modèles purement auto-supervisés (ex: DINOv2, DINOv3). Cela révèle que ces modèles possèdent des sous-espaces latents fortement corrélés à l'espace 3D malgré l'absence d'entraînement 3D explicite.
Analyse Théorique : L'article fournit une analyse théorique des conditions de récupération géométrique, montrant que la rotation est généralement plus facile à encoder que la magnitude de la translation en raison de la dépendance du flux de translation vis-à-vis de la profondeur de la scène ( $1/Z$ ). Il établit également que l'auto-distillation et les échelles de données massives sont critiques pour l'émergence de cette structure.
Navigation dans l'Espace Latent : S'appuyant sur l'espace latent linéarisé, les auteurs proposent une nouvelle technique de « Navigation dans l'Espace Latent ». Cette approche effectue l'odométrie visuelle et la localisation purement dans l'espace latent en utilisant l'arithmétique vectorielle (en inversant l'adaptateur de Poincaré), contournant ainsi le besoin de reconstruction 3D explicite ou de synthèse de pixels.

Résultats

Alignement Topologique : Les modèles auto-supervisés comme DINOv2 et DINOv3 présentent un fort alignement topologique avec les poses de la caméra (scores $k$ -nn mutuels $\approx 0,38$ ), surpassant les pixels bruts et de nombreux modèles basés sur la vidéo. Cette structure émerge sans supervision explicite de la profondeur ou de la pose.
Linéarisation : Les caractéristiques brutes échouent aux tests d'équivariance linéaire (scores $R^2$ négatifs), confirmant que la variété des caractéristiques est naturellement courbe. Cependant, l'adaptateur de Poincaré linéarise avec succès cette variété, atteignant des scores $R^2$ élevés (ex: $\approx 0,65$ pour DINOv2 sur ScanNet) dans la cartographie des différences de caractéristiques vers les déplacements $SE(3)$.
Mise à l'échelle et Généralisation : La conscience géométrique augmente de manière monotone avec le nombre de pièces d'entraînement. Les adaptateurs zero-shot entraînés sur un sous-ensemble de pièces se généralisent efficacement à des environnements inédits, avec des taux de réussite augmentant à mesure que les données d'entraînement croissent.
Performance de Navigation : La méthode « Inverse Poincaré » (sans entraînement, utilisant les poids de la pseudo-inverse) atteint une performance de recherche compétitive dans la navigation spatiale latente, surpassant nettement les lignes de base statiques. Bien que les correcteurs d'attention appris améliorent les métriques de régression ( $R^2$ ), l'approche simple d'arithmétique linéaire est suffisante pour la recherche topologique (trouver le bon voisinage spatial).
Difficulté des Composantes : L'analyse révèle que la rotation est décodable de manière fiable à travers les configurations, tandis que la magnitude de la translation est plus sensible aux hyperparamètres et nécessite des données d'entraînement diversifiées pour résoudre les ambiguïtés d'échelle.

Signification et Revendications
L'article affirme que les modèles de fondation visuelle, même lorsqu'ils sont entraînés comme des observateurs passifs sur des images statiques, organisent naturellement leurs espaces latents pour refléter la géométrie de $SE(3)$. Cela remet en question la vue dominante selon laquelle la découverte d'une structure spatiale nécessite une agence active ou une supervision 3D explicite. Le travail suggère que le « Code de Grille Visuelle » (une représentation isomorphe aux générateurs de mouvement physique) émerge des statistiques des données visuelles seules.

La portée de l'étude réside dans la démonstration que le raisonnement spatial 3D peut être accédé via un sondage léger des modèles de fondation existants, plutôt qu'en nécessitant des architectures de reconstruction 3D massives et spécialisées. Cela permet une « Navigation dans l'Espace Latent » efficace, où un agent peut prédire les conséquences visuelles d'un mouvement physique par de simples opérations vectorielles dans l'espace latent. Les auteurs positionnent cela comme une étape fondamentale vers la compréhension des fondements géométriques du raisonnement spatial dans les modèles de vision, comblant le fossé entre l'observation passive et la découverte des lois physiques.

Limites
L'étude est limitée aux scènes statiques où les changements de caractéristiques sont uniquement attribués au mouvement de la caméra. Par conséquent, elle n'aborde pas la distinction entre « changements de position » et « changements d'état » (ex: objets dynamiques) comme initialement posé par Poincaré. Les auteurs notent que l'extension de ce formalisme aux scènes dynamiques reste une direction ouverte pour des travaux futurs.