💻 computer science

Grounded 3D-Aware Spatial Vision-Language Modeling

L'article présente GR3D, un modèle unifié de vision et de langage spatial qui intègre l'ancrage explicite en 2D, l'ancrage implicite en 2D et l'ancrage 3D monoculaire pour décomposer le raisonnement spatial complexe en perception ancrée et inférence 3D, améliorant ainsi considérablement les capacités générales de compréhension spatiale.

Auteurs originaux : An-Chieh Cheng, Yang Fu, Yatai Ji, Ligeng Zhu, Guanqi Zhan, Zhuoyang Zhang, Zhaojing Yang, Song Han, Yao Lu, Pavlo Molchanov, Vidya Nariyambut Murali, Jan Kautz, Xiaolong Wang, Hongxu Yin, Sifei Liu

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : An-Chieh Cheng, Yang Fu, Yatai Ji, Ligeng Zhu, Guanqi Zhan, Zhuoyang Zhang, Zhaojing Yang, Song Han, Yao Lu, Pavlo Molchanov, Vidya Nariyambut Murali, Jan Kautz, Xiaolong Wang, Hongxu Yin, Sifei Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une photographie d'une cuisine en désordre. Vous souhaitez demander à un ordinateur : « À quelle distance se trouve la bouteille de gauche par rapport à la bouteille de droite ? » ou « Quel bâtiment au loin est le plus grand ? »

La plupart des modèles d'IA actuels ressemblent à une personne qui a lu un million de livres sur les cuisines mais qui n'en a jamais réellement vu une. Ils peuvent deviner la réponse en se basant sur des motifs présents dans leurs données d'entraînement, mais ils se trompent souvent sur les distances ou hallucinent des objets qui n'existent pas. Ils peinent à relier les mots que vous tapez aux pixels spécifiques de l'écran, et ils ont du mal à déterminer la profondeur ou la distance des objets simplement en regardant une image plate.

Voici GR3D (Modélisation Visuelle-Linguistique Spatiale 3D Ancrée). Considérez GR3D comme un nouveau type de détective IA qui ne se contente pas de deviner ; il pointe physiquement les objets, les mesure, puis résout l'énigme.

Voici comment cela fonctionne, décomposé en trois super-pouvoirs simples :

1. Le détective « Pointer et Cliquer » (Ancrage 2D Explicite)

Imaginez que vous demandez à l'IA : « Où se trouve la chaise rouge ? »
Les anciens modèles pourraient simplement répondre : « Elle est dans la pièce. »
GR3D est différent. Il dessine réellement un cadre autour de la chaise rouge sur l'écran et dit : « Je l'ai trouvée juste ici. » Il traduit vos mots en un emplacement spécifique de l'image. C'est la fondation : avant de pouvoir mesurer quoi que ce soit, il doit savoir exactement de quoi vous parlez.

2. L'assistant « Penser à voix haute » (Ancrage Implicite)

C'est la plus grande innovation de l'article. Imaginez que vous posez une question complexe : « À quelle distance se trouve la deuxième bouteille sur l'étagère par rapport à l'ours en peluche sur la machine à laver ? »

Une IA normale tente de répondre à cela d'un seul coup, souvent en se perdant. GR3D utilise une technique appelée « Insertion de Région en Flux ».
Pensez-y comme à un détective qui résout un crime tout en discutant avec vous.

Étape 1 : L'IA dit : « D'abord, laissez-moi trouver cette 'deuxième bouteille sur l'étagère'. » Elle trouve instantanément la bouteille, dessine un cadre mental autour d'elle, et insère un « token » (une étiquette numérique) représentant cette bouteille spécifique dans son propre processus de pensée.
Étape 2 : Elle dit ensuite : « Maintenant, laissez-moi trouver l'« ours en peluche ». » Elle trouve l'ours, l'étiquette, et ajoute cela à ses pensées.
Étape 3 : Maintenant qu'elle a les deux objets « étiquetés » et visibles dans son esprit, elle calcule la distance entre eux.

Elle ne se contente pas de deviner la réponse ; elle construit la réponse étape par étape, vérifiant constamment les preuves visuelles au fur et à mesure qu'elle parle. Cela l'empêche d'inventer des faits (hallucinations).

3. Le traducteur « Vision 3D » (Ancrage 3D Monoculaire)

Regarder une photo plate, c'est comme regarder une carte d'une ville ; vous pouvez voir les rues, mais vous ne pouvez pas dire combien sont hauts les bâtiments ou à quelle distance ils se trouvent sans indices supplémentaires. C'est difficile pour l'IA car une petite voiture jouet au loin a la même apparence de taille qu'une vraie grande voiture de près.

GR3D résout ce problème en utilisant une approche « Sollicitée par Région ».

Une fois que l'IA a identifié l'objet en 2D (comme la bouteille de l'étape précédente), elle traite ce cadre 2D comme une « requête » pour interroger le monde 3D.
Elle utilise un tour de passe-passe spécial appelé Normalisation Intrinsèque. Imaginez que l'IA connaît la « distance focale » de l'appareil photo (le niveau de zoom de l'objectif). Elle l'utilise pour « dé-zoomer » mathématiquement l'image dans son esprit, lui permettant d'estimer la taille réelle et la distance de l'objet.
Elle émet ensuite un cadre 3D avec des coordonnées (centre, largeur, hauteur, profondeur) tout comme le ferait un moteur de jeu vidéo.

Pourquoi est-ce une grande avancée ?

L'article affirme qu'en combinant ces trois capacités, GR3D devient bien meilleur pour comprendre l'espace que les modèles précédents.

Il est plus précis : Il surpasse les autres modèles sur les tests mesurant la détection d'objets 3D (trouver où se trouvent les choses dans l'espace 3D).
Il est plus fiable : Parce qu'il « pointe » vers les objets avant de répondre, il fait moins d'erreurs concernant l'emplacement des objets.
C'est un généraliste : Il fonctionne sur des scènes intérieures (comme les cuisines), des scènes extérieures (comme les rues), et même des scénarios multi-vues complexes (regarder une scène sous différents angles).

La conclusion

GR3D, c'est comme donner à une IA une paire de lunettes 3D et un mètre ruban. Au lieu de simplement lire une description d'une pièce, il apprend à regarder l'image, pointer les objets spécifiques que vous mentionnez, mesurer leur taille et leur distance dans le monde réel, puis répondre à vos questions avec des faits qu'il a « vus » plutôt qu'avec des devinettes qu'il a mémorisées.

Les auteurs ont testé cela sur de nombreux ensembles de données différents (comme Omni3D, qui est une immense collection de scènes 3D) et ont constaté que GR3D battait systématiquement les autres modèles d'IA de pointe, prouvant que l'« ancrage » (relier les mots à la réalité visuelle) est la sauce secrète pour permettre à l'IA de comprendre véritablement le monde physique.

Résumé technique : Modélisation vision-langage spatiale 3D ancrée (GR3D)

Énoncé du problème

Les modèles vision-langage (VLM) ont évolué en systèmes de perception polyvalents, mais manquent souvent d'un ancrage spatial fiable, ce qui est crucial pour l'intelligence incarnée (par exemple, la navigation, la manipulation). Bien que des avancées récentes aient amélioré la compréhension spatiale 2D et la perception 3D, deux défis spécifiques restent insuffisamment traités :

Rareté de l'ancrage 2D implicite : La plupart des systèmes prennent en charge un ancrage explicite du type « pointer vers X », mais manquent de mécanismes pour détecter automatiquement les entités mentionnées dans un texte libre et intégrer leurs preuves visuelles correspondantes lors de la génération. La construction d'une supervision pour cela est difficile car elle nécessite d'aligner les mentions textuelles sur des régions visuelles latentes et d'intercaler les informations de région dans le flux linguistique.
Ancrage 3D monoculaire mal posé : L'inférence de la structure 3D à partir d'une seule vue est intrinsèquement ambiguë en raison de l'entrelacement de l'échelle de l'objet, de la profondeur et des paramètres intrinsèques de la caméra. Les approches existantes contournent souvent l'étape intermédiaire d'identification de quelle instance le texte désigne avant d'estimer l'étendue 3D, ou elles s'appuient sur une supervision multi-vues ou sur des annotations de boîtes 3D rares.

Méthodologie

Les auteurs introduisent GR3D, un VLM spatial qui intègre trois capacités d'ancrage complémentaires au sein d'un cadre unifié : l'ancrage 2D explicite, l'ancrage 2D implicite et l'ancrage 3D monoculaire.

1. VLM spatial fondamental

GR3D est construit sur l'architecture NVILA-8B-Lite.

Configuration mono-vue : L'encodeur visuel extrait des tokens denses augmentés d'embeddings de position 2D (coordonnées de pixels) et d'indices de profondeur relative. Ces tokens conservent l'arrangement spatial et sont transmis à un projecteur multimodal.
Extension multi-vues : Le cadre s'étend aux entrées multi-vues en imbriquant tous les tokens d'image avec des indices de position basés sur la profondeur et les pixels dans un espace de caractéristiques spatial unifié, transformant les vues subséquentes dans le système de coordonnées de la première image.
Conception de la requête de région : Des régions d'image spécifiques peuvent être encodées comme des tokens de requête individuels en regroupant les caractéristiques à l'intérieur d'une boîte englobante, permettant aux modules en aval de référencer du contenu localisé.

2. Mécanismes d'ancrage

Ancrage 2D explicite :
Le modèle prédit des boîtes englobantes 2D directement dans un format textuel structuré de style HTML (par exemple, <bbox>[x1, y1, x2, y2]</bbox>) en utilisant la tête de génération de langage standard, sans branches de détection supplémentaires.

Ancrage 2D implicite (Insertion de région en flux) :
Ce mécanisme permet au modèle d'associer des mentions linguistiques à des preuves visuelles pendant la génération.

Processus : Au fur et à mesure que le modèle génère une réponse de type Chaîne de Pensée (CoT), lorsqu'une entité est mentionnée, il prédit d'abord les coordonnées de la boîte englobante 2D.
Insertion : La région d'image correspondante est encodée en un token de région, qui est immédiatement inséré dans le flux de texte.
Inférence : La génération continue conditionnée à la fois au contexte textuel et au token de région inséré dynamiquement. Cela permet au raisonnement d'évoluer sur la base de preuves visuelles ancrées sans phase de détection séparée.

Ancrage 3D monoculaire via requête de région :
Ceci étend l'ancrage 2D au 3D en traitant une région 2D ancrée comme une requête pour l'inférence 3D.

Formulation de la requête de région : Le modèle mappe une région ancrée à sa représentation 3D (centre, taille, orientation) directement, évitant une localisation explicite en plusieurs étapes.
Représentation de la boîte 3D : Les boîtes sont paramétrées par le centre $(x_c, y_c, z_c)$ , la taille $(w, h, l)$ et les angles d'Euler normalisés. Les orientations sont standardisées pour minimiser l'écart angulaire entre les axes PCA locaux et les axes globaux.
Normalisation intrinsèque : Pour atténuer l'ambiguïté échelle/profondeur, les images sont redimensionnées en fonction de la distance focale ( $W' = \frac{1000}{f_x} \cdot W$ ), assurant un champ de vision cohérent à travers les jeux de données sans régresser explicitement les intrinsèques.
Supervision : Le modèle est entraîné avec :
- Région $\to$ 3D : Prédire des boîtes 3D à partir de requêtes de région 2D.
- Texte $\to$ 3D : Localiser des entités via un ancrage textuel et régresser des boîtes 3D.
- Supervision dense par points : Une tâche auxiliaire où le modèle prédit des coordonnées 3D pour des points de surface échantillonnés aléatoirement conditionnés par des requêtes de région, étendant la supervision au-delà des étiquettes de boîtes 3D éparses.

3. Construction des données

Le pipeline d'entraînement utilise :

Corpus d'ancrage implicite : Dérivé de RefSpatial, utilisant Florence-2 pour générer des boîtes 2D candidates pour les mentions textuelles, suivi d'une vérification par VLM et d'une reformulation pour assurer un alignement un-à-un.
Données d'entraînement : Composées de 97K échantillons CoT ancrés, 780K échantillons de détection 3D (Omni3D, EmbodiedScan) et 272K échantillons de reconstruction de carte de points (DepthLM). Aucune donnée propriétaire n'est utilisée.

4. Stratégie d'entraînement

Étape 1 (Pré-entraînement spatial) : Initialisation de l'encodeur visuel, du projecteur et du LLM à partir de NVILA-Lite. L'encodeur visuel est figé tandis que les modules spatiaux sont entraînés sur un mélange de données d'ancrage 2D et de région-à-3D.
Étape 2 (Affinage CoT de détection) : Affinage uniquement du LLM sur des données de détection orientées CoT (curées à partir d'Omni3D) pour apprendre la structure de raisonnement et le format de prédiction 3D autorégressif.

Contributions clés

Cadre unifié : GR3D est le premier à intégrer l'ancrage 2D explicite, l'ancrage 2D implicite (via l'insertion de région en flux) et l'ancrage 3D monoculaire dans une seule architecture VLM.
Mécanisme d'ancrage implicite : Introduit une technique novatrice d'« insertion de région en flux » permettant au modèle de référencer dynamiquement des preuves visuelles pendant la génération CoT, alignant le comportement du modèle sur le raisonnement visuel humain (identifier puis raisonner).
Ancrage 3D par requête de région : Propose une formulation qui conditionne l'inférence 3D sur des régions 2D ancrées, soutenue par une normalisation consciente des intrinsèques et une supervision géométrique dense, déliant efficacement les ambiguïtés linguistiques et géométriques.
Biais inductif pour la compréhension spatiale : Démontre que l'incorporation de l'ancrage dans l'architecture du modèle sert de biais inductif efficace, améliorant la compréhension spatiale générale même au-delà des tâches d'ancrage spécifiques.

Résultats

GR3D réalise des améliorations constantes sur les benchmarks spatiaux ancrés et non ancrés :

Détection d'objets 3D (Omni3D) : GR3D-8B surpasse tous les VLM récents (par exemple, Qwen3-VL-8B) et les modèles spécialisés en vision (par exemple, DetAny3D, Cube R-CNN) sur plusieurs domaines, en particulier dans les scènes intérieures. Il atteint un mAP de 25,40 sur le benchmark Omni3D, dépassant significativement le meilleur VLM suivant (Qwen3-VL-8B).
Ancrage 2D : Sur le benchmark Omni3D, GR3D dépasse les propositions de régions de Cube R-CNN et de Qwen3-VL. Sur RefCOCO/RefCOCO+/RefCOCOg, il se situe au niveau des meilleurs VLM et des modèles spécialisés en vision.
Raisonnement spatial (CVBench, ERQA, SAT) : Le modèle montre des gains significatifs sur les benchmarks de raisonnement spatial, l'ancrage implicite améliorant la précision du CoT et la cohérence spatiale.
Compréhension au niveau des points (BLINK-Depth) : GR3D dépasse les précédents Region-VLM qui nécessitent des masques annotés manuellement, atteignant de meilleures performances avec un ancrage automatique.
Compréhension multi-vues (VSI-Bench) : Lorsqu'il est étendu aux configurations multi-vues, GR3D obtient un score moyen de 67,6, surpassant toutes les références de l'état de l'art, y compris SR-3D.

Importance

L'article affirme que GR3D démontre que l'ancrage est un biais inductif efficace pour renforcer la compréhension spatiale dans les VLM. En décomposant des problèmes spatiaux complexes en une perception 2D ancrée suivie d'une inférence 3D, le modèle apprend à localiser, référencer et raisonner sur la structure spatiale de manière unifiée. Le travail met en évidence que :

L'ancrage améliore la compréhension spatiale générale même sans tâches de localisation explicites.
La supervision géométrique dense fournit des indices de structure évolutifs.
La combinaison de l'ancrage implicite avec l'inférence 3D par requête de région débloque un pipeline polyvalent supportant l'ancrage 3D d'instances de référence, la détection au niveau de la catégorie et l'ancrage de scènes multi-objets.

Les auteurs positionnent GR3D comme un cadre flexible pour les agents incarnés, comblant le fossé entre les instructions de haut niveau et l'interaction physique en fournissant un ancrage spatial fiable.