Imaginez que vous regardiez une photographie d'un salon en désordre. À vos yeux, ce n'est qu'une image plate de couleurs et de formes. Mais pour un ordinateur essayant de comprendre le monde, cette image est un puzzle. Il doit déterminer à quelle distance se trouve le canapé, où la caméra se trouvait lorsqu'elle a pris la photo, et comment les objets bougeraient si vous marchiez autour d'eux. Ce domaine de la science est appelé la « perception spatiale », et c'est la différence entre un robot qui se cogne contre les murs et un robot qui peut naviguer avec grâce dans une pièce. Pendant longtemps, les scientifiques ont traité les différentes parties de ce puzzle comme des tâches distinctes. Une équipe a construit des robots excellents pour mesurer les distances (la géométrie), tandis qu'une autre équipe a construit des modèles excellents pour répondre à des questions telles que « qu'est-ce qui se trouve à gauche de la lampe ? » (le raisonnement). Mais tout comme le cerveau humain ne possède pas de centres distincts pour la « distance » et la « logique » qui ne communiqueraient jamais entre eux, ces modèles informatiques passaient à côté de l'occasion d'apprendre les uns des autres.

Entrez en scène SPARGen, une nouvelle approche qui tente d'apprendre à un seul modèle informatique à tout faire à la fois. Considérez cela comme un artiste surdoué qui ne se contente pas de dessiner un tableau, mais qui écrit aussi une histoire à son sujet et calcule la physique exacte de la façon dont les objets du dessin tomberaient si la gravité changeait. Au lieu d'utiliser des outils différents pour mesurer la profondeur, suivre le mouvement ou répondre à des questions, SPARGen utilise un « cerveau » unifié qui apprend à générer toutes ces réponses simultanément. Il traite le monde non pas comme une collection de tâches séparées, mais comme une histoire unique et connectée où la géométrie et le langage ne sont que différentes manières de décrire une même scène.

Le Problème : Le goulot d'étranglement du « Spécialiste »

Pendant des années, la manière standard d'enseigner l'espace aux ordinateurs consistait à embaucher un « spécialiste » pour chaque tâche. Si vous vouliez savoir quelle était la profondeur d'une scène, vous demandiez à un modèle de mesure de profondeur. Si vous vouliez savoir où se trouvait la caméra, vous demandiez à un modèle d'estimation de pose. Si vous vouliez savoir ce qui se trouvait derrière le canapé, vous demandiez à un modèle de langage.

Le problème avec cette approche est que ces spécialistes se parlent rarement. Le modèle qui connaît la profondeur de la pièce n'aide pas nécessairement le modèle qui essaie de répondre à une question sur la pièce. C'est comme avoir un chef qui est incroyable pour couper les légumes mais qui n'a jamais rencontré le boulanger qui fait le pain ; ils ne peuvent pas collaborer pour préparer un repas parfait. De plus, beaucoup de ces modèles reposaient sur des ajouts supplémentaires et lourds pour effectuer leurs calculs, ce qui les rendait lents et complexes.

La Solution : Le « Conteur Universel »

SPARGen change la donne en agissant comme un générateur multimodal natif. Au lieu d'être un spécialiste, c'est un généraliste qui parle couramment deux langues : les images et le texte.

Voici le tour de magie : SPARGen traite tout comme une tâche de « génération ».

1. Pour le côté « Image » : Lorsqu'il doit déterminer la profondeur, les nuages de points (une carte 3D de points) ou le flux optique (comment les pixels bougent entre les images), il « génère » une nouvelle image. Il ne se contente pas de calculer un nombre ; il peint un tableau où la luminosité d'un pixel vous indique à quelle distance se trouve un objet.
2. Pour le côté « Texte » : Lorsqu'il doit répondre à une question telle que « Qu'est-ce qui est à droite de la table blanche ? », il génère une séquence de mots, tout comme un chatbot.

L'article appelle cela une architecture Mixture-of-Transformer-Experts (MoT). Imaginez une immense bibliothèque où vivent différents « experts » (des cerveaux d'IA spécialisés) dans le même bâtiment. Un expert est excellent pour lire du texte, un autre est excellent pour comprendre des images, et un autre est excellent en mathématiques. SPARGen permet à tous ces experts de s'asseoir à la même table et de discuter. Lorsque vous posez une question, ils contribuent tous avec leurs connaissances à la conversation, plutôt que de travailler de manière isolée.

Comment ça marche : Le système à deux voies

SPARGen est construit sur une fondation appelée Bagel, un modèle qui était déjà bon pour comprendre les images et le texte. Les chercheurs l'ont amélioré pour gérer les aspects « spatiaux » sans ajouter de nouveau matériel étrange ou de modules mathématiques distincts.

• La voie du Texte (le chemin autoregressif) : Lorsque le modèle doit donner une réponse structurée, comme la position d'une caméra (rotation et distance) ou une phrase décrivant la pièce, il l'écrit mot par mot (ou jeton par jeton). C'est comme un dactylo qui tape une phrase lettre par lettre, en utilisant le contexte de ce qui précède pour décider de ce qui vient ensuite.
• La voie de l'Image (le chemin du flux rectifié) : Lorsque le modèle doit produire une carte dense (comme une carte de profondeur complète pour chaque pixel), il utilise une technique appelée flux rectifié (rectified flow). Voyez cela comme un sculpteur partant d'un bloc de bruit (statique) et le taillant lentement pour en faire une forme claire. Le modèle part d'une image floue et aléatoire et la fait « couler » vers une carte de profondeur ou un nuage de points précis, guidé par l'instruction que vous lui avez donnée.

La beauté de ce système est qu'on ne lui dit pas « maintenant fais des maths » ou « maintenant fais du langage ». Il regarde simplement l'instruction (par exemple, « Estime la profondeur » ou « Qu'est-ce qui est à droite ? ») et sait quelle « voie » utiliser pour générer la réponse.

Ce qu'ils ont trouvé : Un modèle pour tous les régner

Les chercheurs ont testé SPARGen sur une grande variété de tâches, allant de la mesure de la profondeur d'une pièce à la compréhension du mouvement d'une voiture dans une vidéo, jusqu'à la réponse à des questions spatiales complexes.

Les Résultats :

• C'est un jongleur : SPARGen a réussi à performer de manière compétitive sur toutes ces tâches différentes en utilisant un seul modèle. Il n'avait pas besoin d'un « modèle de profondeur » séparé ou d'un « modèle de flux » distinct.
• Battre les spécialistes : Sur de nombreux benchmarks, SPARGen a performé aussi bien, voire mieux, que des modèles construits spécifiquement pour l'une de ces tâches. Par exemple, sur le jeu de données KITTI (un test standard pour évaluer la capacité d'un modèle à suivre le mouvement dans la vue d'une voiture), SPARGen a obtenu une Erreur de Point Final (EPE) de 4,09 et un score F1-all de 13,34, battant des modèles spécialisés comme RAFT (5,03 EPE) et FlowFormer (4,10 EPE).
• Le Roi du Raisonnement : Dans le domaine du raisonnement spatial (répondre à des questions comme « Si je me tiens ici, qu'est-ce qui est à ma droite ? »), SPARGen a écrasé la concurrence. Sur le benchmark SPAR, il a obtenu une moyenne de 79,25, surpassant nettement d'autres modèles open-source comme Qwen2.5-VL-72B (44,80) et même le géant propriétaire GPT-4o (43,27).
• Le pouvoir du mélange : L'article suggère que ces tâches s'entraident réellement. Lorsqu'ils ont supprimé l'entraînement de la « géométrie » (l'enseignement des formes 3D), le modèle est devenu moins performant pour répondre aux questions. Lorsqu'ils ont supprimé l'entraînement au « raisonnement », le modèle est devenu légèrement moins performant pour comprendre les formes 3D. Cela implique que apprendre à voir le monde en 3D aide le modèle à comprendre le langage, et apprendre le langage aide le modèle à comprendre l'espace 3D.

Le Bémol : Ce n'est pas encore parfait

Bien que les résultats soient impressionnants, les auteurs notent prudemment une limite. Comme SPARGen utilise un VAE (Autoencodeur Variationnel) pour compresser et générer des images, il doit condenser le monde 3D dans un format compressé plus petit. Cette compression peut parfois rendre les bords très nets des objets flous ou rendre difficile l'obtention de mesures physiques exactes (comme « cette table est exactement à 1,23 mètre »). Il est excellent pour comprendre la structure et l'agencement, mais il n'est peut-être pas l'outil idéal pour un menuisier qui a besoin d'une précision au millimètre près.

La Vue d'Ensemble

SPARGen suggère que nous n'avons pas besoin de construire un cerveau de robot différent pour chaque tâche spatiale. Au lieu de cela, nous pouvons construire un cerveau génératif flexible qui apprend à « imaginer » la géométrie du monde et à en « parler » en même temps. En unifiant ces capacités, le modèle acquiert une compréhension plus riche et plus cohérente de l'espace, prouant que le chemin vers une véritable intelligence spatiale consiste peut-être à cesser de séparer les mathématiques du sens.