💻 computer science

3D Primitives are a Spatial Language for VLMs

Ce papier introduit des primitives géométriques 3D exprimées sous forme de code comme un langage spatial puissant pour les modèles vision-langage, démontrant grâce à l'benchmark SpatialBabel, la stratégie d'inférence Code-CoT sans entraînement et la méthode d'affinement auto-supervisée S $^{3}$ -FT que cette représentation intermédiaire améliore considérablement le raisonnement spatial et se généralise à travers diverses architectures de VLM sans nécessiter d'étiquettes humaines.

Auteurs originaux : Junze Liu, Kun Qian, Florian Dubost, Kai Zhong, Arvind Srinivasan, Nan Chen, Anping Wang, Sam Zhang, Alejandro Mottini, Qingjun Cui, Tian Wang

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junze Liu, Kun Qian, Florian Dubost, Kai Zhong, Arvind Srinivasan, Nan Chen, Anping Wang, Sam Zhang, Alejandro Mottini, Qingjun Cui, Tian Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot très intelligent et artistique capable d'examiner une photo d'une pièce et de vous la décrire. Mais voici l'étrangeté : si vous demandez à ce robot « Combien de chaises y a-t-il sur cette photo ? », il pourrait se tromper et répondre « cinq » alors qu'il n'y en a que trois. Il semble confus.

Cependant, si vous demandez au même robot de rédiger un programme informatique pour construire cette pièce exacte à l'aide de formes simples (comme des cubes, des sphères et des cylindres), il réalise un travail formidable. Il écrit un code qui place exactement trois cubes aux bons endroits. Il connaît parfaitement la réponse, mais il ne parvient simplement pas à l'exprimer en anglais courant.

Ce papier, intitulé « 3D Primitives are a Spatial Language for VLMs » (Les primitives 3D sont un langage spatial pour les modèles vision-langage), explore cette contradiction étrange et l'utilise pour rendre ces robots plus intelligents.

Voici la décomposition de leur découverte et de leur solution, à l'aide d'analogies simples :

1. Le Problème : Le Robot « Bilingue »

Les chercheurs ont découvert que les modèles vision-langage (VLM) sont comme des personnes qui parlent couramment un langage secret (le code) mais qui peinent avec un langage courant (l'anglais) lorsqu'il s'agit de l'espace.

Le Paradoxe : Le robot peut construire un modèle 3D parfait d'une scène en utilisant du code (comme des instructions LEGO), mais si vous lui posez une question simple sur cette même scène, il hallucine (il invente des choses).
Le Test (SpatialBabel) : Ils ont créé un test géant appelé SpatialBabel. Imaginez donner la même photo au robot et lui demander de la reconstruire en utilisant six « langues » différentes (comme Three.js, Unity, ou même un format JSON spécial).
Le Choc : Les performances du robot variaient considérablement selon la langue qu'il devait utiliser. Dans une langue, il était un maître constructeur ; dans une autre, un amateur maladroit. Cela a prouvé que le « cerveau spatial » du robot était emmêlé avec ses « habitudes de codage ».

2. La Première Correction : « Code-CoT » (Penser en Code d'Abord)

Puisque le robot est meilleur pour écrire du code que pour répondre à des questions, les chercheurs ont essayé une nouvelle astuce appelée Code-CoT (Chaîne de Pensée par Code).

L'Analogie : Imaginez que vous essayez de résoudre un problème de mathématiques verbeux et difficile. Au lieu d'essayer de deviner la réponse immédiatement, vous écrivez d'abord l'équation sur un papier. Une fois l'équation écrite, la réponse devient évidente.
Fonctionnement : Lorsqu'on lui pose une question comme « Le cube rouge est-il à gauche de la sphère bleue ? », le robot est contraint d'écrire d'abord le code pour construire la scène. Une fois le code écrit, le robot « lit » son propre code pour trouver la réponse.
Le Résultat : Cela a fonctionné comme un charme pour les robots qui étaient déjà bons en codage. Cela a considérablement augmenté leur précision car cela les a forcés à utiliser leur fort « cerveau de code » pour résoudre la « question en anglais ».

3. La Deuxième Correction : « S3-FT » (Le Robot Auto-Enseignant)

Que faire des robots qui ne sont pas encore bons en codage ? Ils ne peuvent pas utiliser l'astuce « écrire le code d'abord » car leur code est désordonné.

Les chercheurs ont inventé une méthode appelée S3-FT (Affinage Spatial Auto-Supervisé).

L'Analogie : Imaginez un élève qui est mauvais en dessin. Au lieu d'embaucher un professeur, l'élève dessine une image, puis regarde immédiatement son propre dessin pour voir ce qu'il a fait de bien et de mal, avant d'essayer de le dessiner à nouveau. Il est son propre professeur.
Fonctionnement :
1. Le robot regarde une image simple de formes géométriques (cubes, sphères).
2. Il tente d'écrire du code pour reconstruire cette image.
3. Les chercheurs prennent ce code et le transforment automatiquement en une « feuille de triche » (une liste structurée de faits : « Il y a un cube rouge à la position X »).
4. Ils nourrissent cette feuille de triche au robot comme une leçon, lui apprenant à répondre correctement aux questions en se basant sur son propre code.
Le Résultat : Le robot a appris à comprendre l'espace sans aucun professeur humain ni étiquettes coûteuses. Il a pris les « connaissances spatiales » qu'il avait cachées dans sa capacité de codage et les a transférées à ses compétences générales de conversation.

4. La Grande Conclusion

Le papier conclut que les formes géométriques 3D (primitives) exprimées en code agissent comme un « traducteur universel » pour ces robots.

Comme Outil de Diagnostic : Si un robot échoue à répondre à une question spatiale mais réussit à écrire du code, nous savons que le problème n'est pas qu'il « ne voit pas » les objets ; c'est simplement qu'il ne parvient pas à traduire sa vision en mots.
Comme Vocabulaire : En forçant le robot à penser en termes de « cubes, sphères et cylindres » via le code, nous lui donnons un vocabulaire structuré pour comprendre le monde.

En bref : Les chercheurs ont découvert que ces modèles d'IA en savent plus sur l'espace qu'ils ne le laissent paraître. En les faisant « parler » dans la langue des blocs de construction 3D (le code), ils peuvent débloquer cette connaissance cachée et répondre correctement à des questions simples, le tout sans qu'un humain ait besoin de leur apprendre les réponses.

Résumé Technique : Les Primitives 3D comme Langage Spatial pour les VLM

Énoncé du Problème

Les Modèles Vision-Langage (VLM) présentent un paradoxe frappant concernant le raisonnement spatial. Alors qu'ils échouent souvent à répondre à des questions spatiales simples en langage naturel (par exemple, compter des objets ou identifier des relations) lorsqu'ils sont confrontés à une image, ces mêmes modèles peuvent fréquemment générer du code exécutable (par exemple, Three.js, Unity C#) qui reconstruit la scène 3D avec des comptes d'objets, des classes et des positions approximatives corrects. Cela suggère que les VLM possèdent une connaissance spatiale latente qui n'est pas accessible par une requête directe en langage naturel. L'article postule que cette divergence représente un « échec d'acheminement de tâche », où la capacité du modèle à externaliser sa compréhension spatiale via du code structuré n'est pas efficacement transférée à la réponse directe aux questions. De plus, les benchmarks existants confondent souvent la compétence spatiale avec la familiarité à un format de sortie spécifique (langage naturel ou un seul langage de code), échouant à isoler les véritables capacités de raisonnement spatial.

Méthodologie

Les auteurs proposent un cadre centré sur les primitives géométriques 3D (cubes, sphères, cylindres, etc.) exprimées en code exécutable comme outil de diagnostic et représentation intermédiaire. La méthodologie se compose de trois composants principaux :

1. Benchmark SPATIALBABEL

Pour découpler la compréhension spatiale de la familiarité avec le format, les auteurs introduisent SPATIALBABEL, un benchmark évaluant les VLM sur deux domaines de scènes et six langages de code de scène.

Domaines de Scènes :
- Division Primitive : 1 000 scènes générées procéduralement dans Blender contenant 3 à 20 primitives géométriques sans occlusion majeure. Cela fournit une vérité terrain exacte avec zéro bruit d'étiquetage.
- Division Hypersim : 405 scènes intérieures photoréalistes avec des géométries complexes et une occlusion substantielle, servant de domaine de validation plus difficile.
Langages de Code de Scène : Le benchmark évalue la reconstruction sur six formats distincts : Three.js (JavaScript), Unity C#, Blender Python, Open3D Python, JSON Canonique (un schéma déclaratif introduit dans ce travail) et un DSL de langage de scène.
Tâches :
- Reconstruire : Générer du code exécutable pour recréer la scène.
- QA : Répondre à des questions en langage naturel sur la scène (localisation, relation, comptage, existence, comparaison).
Métriques : Un SpatialBabel-Reconstruct-Score composite agrégeant le taux d'analyse, le F1 (appariement d'objets apparié par l'algorithme hongrois), la précision des classes, la fidélité de la position et la fidélité de l'échelle.

2. Code-CoT (Chaîne de Pensée par Code)

Une stratégie d'inférence sans entraînement conçue pour combler l'écart au moment de l'inférence.

Mécanisme : Au lieu de répondre directement à une question spatiale, le modèle est d'abord invité à reconstruire la scène sous forme de code exécutable basé sur des primitives. Il répond ensuite à la question spatiale en se conditionnant sur sa propre sortie structurée.
Raison d'être : Cela force le modèle à acheminer son raisonnement à travers le « langage spatial » du code, où il a démontré une compétence supérieure, avant de traduire cette compréhension de nouveau en langage naturel.

3. S3-FT (Affinement Spatial Auto-Supervisé)

Une intervention au moment de l'entraînement pour distiller la connaissance spatiale dans le raisonnement visuel général, ciblant spécifiquement les modèles avec des capacités de codage plus faibles.

Pipeline :
1. Génération de Pseudo-Vérité Terrain : Le VLM de base génère du code de reconstruction Three.js pour des scènes primitives. Un filtre de qualité syntaxique garantit que le code est valide.
2. Extraction d'Annotations : Le code généré est analysé de manière déterministe pour extraire des annotations spatiales structurées (comptes d'objets, classes, poses 3D, relations). Ceux-ci sont combinés avec des paires de questions-réponses en langage naturel générées par règles et des descriptions de scènes.
3. Affinement : Le même VLM est affiné (en utilisant LoRA) sur ce mélange multi-tâches.
Caractéristique Clé : Le processus est entièrement auto-supervisé ; il ne nécessite aucune étiquette humaine ni aucun modèle « enseignant » externe, car le signal de supervision est dérivé de la génération de code haute fidélité du modèle lui-même.

Résultats Clés

Résultats du Benchmark (SPATIALBABEL)

Performance Dépendante du Langage : La performance des VLM varie considérablement selon les langages de code de scène. Pour le même modèle sur les mêmes images, les scores F1 de détection d'objets peuvent varier jusqu'à 5,7 fois selon le langage cible.
Corrélation Faible : Il existe une faible corrélation (Pearson $r \approx 0,12$ ) entre le score F1 de reconstruction d'un modèle et sa précision directe en réponse aux questions. Un modèle peut être très précis dans la génération de code mais mauvais pour répondre à des questions directes, confirmant l'échec d'acheminement de tâche.
Efficacité du Code-CoT : Le Code-CoT améliore les scores de QA sur les scènes primitives jusqu'à +6,4 % (par exemple, Gemini-2.5-Pro) et augmente la précision sur CV-Bench-3D pour les photos réelles de +5,0 % pour les modèles dotés de fortes capacités de codage. Cependant, il montre des rendements décroissants ou une régression sur des scènes encombrées et photoréalistes où le vocabulaire des primitives est insuffisant.

Performance de S3-FT

Gains In-Distribution : L'entraînement uniquement sur des images primitives améliore considérablement la performance sur la tâche SpatialBabel-Primitive-QA. Pour Qwen3-VL-8B, S3-FT produit des améliorations de +4,6 % à +8,6 % à travers les modes d'inférence.
Transfert Out-of-Distribution : Crucialement, l'entraînement uniquement sur des scènes primitives se transfère aux benchmarks de raisonnement visuel général.
- HallusionBench : +17 % d'amélioration.
- CV-Bench-2D : +9,7 % d'amélioration.
- CV-Bench-3D : +3,3 % d'amélioration.
Généralisation : La recette se transfère à travers différentes familles de modèles (Qwen, InternVL, LLaVA) et échelles, bien que les gains dépendent de la capacité.

Signification et Revendications

L'article établit que les primitives géométriques 3D dans le code exécutable servent à la fois d'outil de diagnostic et de vocabulaire spatial transférable pour les VLM.

Outil de Diagnostic : Le benchmark SPATIALBABEL révèle que la compréhension spatiale est souvent enchevêtrée avec des priors spécifiques de génération de code. Les grandes écarts de performance entre les langues indiquent que les benchmarks standards peuvent mesurer la familiarité avec le format plutôt que le véritable raisonnement spatial.
Vocabulaire Transférable : Le succès du Code-CoT et du S3-FT suggère que les VLM ont implicitement « tokenisé » l'espace 3D à travers des primitives géométriques lors du pré-entraînement. En exploitant cette représentation structurée, les modèles peuvent accéder à une connaissance spatiale latente autrement inaccessible via l'encouragement direct en langage naturel.
Distillation Auto-Supervisée : S3-FT démontre qu'un raisonnement spatial de haute qualité peut être distillé dans des VLM généraux sans annotation humaine ni modèles enseignants, à condition que le modèle de base puisse générer des reconstructions primitives suffisamment précises. Cela abaisse la barrière pour améliorer les capacités spatiales dans les modèles à poids ouverts.

Les auteurs concluent que, bien que l'approche montre des limites claires sur des scènes photoréalistes hautement complexes et occluses (où l'approximation par primitives échoue), elle fournit une voie robuste pour améliorer le raisonnement spatial dans les VLM grâce à la représentation intermédiaire du code 3D exécutable.