💻 computer science

GeoWAM: Visual Geometry World Action Models for Autonomous Driving

Ce document présente GeoWAM, un modèle d'action du monde pour la conduite autonome qui remplace la prédiction future basée sur les pixels par une prévision de géométrie future utilisant des nuages de points afin de mieux capturer la structure spatiale et le mouvement, ce qui se traduit par des politiques de conduite nettement plus performantes que les alternatives basées sur l'image.

Auteurs originaux : Yiren Lu, Xin Ye, Jiaming Liu, Jin Yao, Yi-chung Chen, Liam Merino, Dhruva Dixith Kurra, Min Cai, Tom Lampo, Yu Yin, Danhua Guo, Burhan Yaman

Publié 2026-08-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yiren Lu, Xin Ye, Jiaming Liu, Jin Yao, Yi-chung Chen, Liam Merino, Dhruva Dixith Kurra, Min Cai, Tom Lampo, Yu Yin, Danhua Guo, Burhan Yaman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La conduite autonome est fondamentalement un jeu d'anticipation. Pour naviguer en toute sécurité, un véhicule doit faire plus que simplement voir la route devant lui ; il doit comprendre comment cette route et les objets qui s'y trouvent vont changer dans les secondes à venir. Il doit prédire où un piéton pourrait faire un pas, comment une voiture devant lui va ralentir, et comment sa propre trajectoire va se modifier à travers l'environnement. Pendant des années, des chercheurs ont tenté d'enseigner cette compétence aux ordinateurs en leur montrant des flux interminables de vidéos, espérant que les machines apprendraient à deviner l'image suivante d'un film. Ces systèmes, connus sous le nom de modèles de monde (world models), sont puissants car ils peuvent simuler le futur, mais ils se heurtent souvent à un défaut spécifique : ils voient le monde comme une image plate. Ils se concentrent sur les couleurs, les textures et l'éclairage, ce qui peut occulter la véritable forme tridimensionnelle et le mouvement des objets. Lorsqu'un ordinateur tente de comprendre comment une voiture tourne en se basant uniquement sur des pixels changeants, c'est comme essayer de comprendre la mécanique d'une horloge en regardant les ombres qu'elle projette sur un mur ; l'information est là, mais elle est indirecte et difficile à démêler.

Une équipe de chercheurs d'Uber AV Labs et de l'Université Case Western Reserve a proposé une approche différente, une approche qui délaisse totalement l'image plate pour regarder directement la forme du monde. Ils ont introduit un nouveau système appelé GeoWAM, qui traite l'environnement de conduite non pas comme une vidéo à prédire, mais comme une collection de points 3D qui se déplacent et se transforment au fil du temps. Au lieu de chercher à générer une image réaliste du futur d'une rue, le système est entraîné à prévoir la géométrie future de cette rue — l'emplacement précis de chaque bordure, arbre et véhicule dans l'espace tridimensionnel. En se concentrant sur cette structure spatiale, les chercheurs ont découvert qu'ils pouvaient donner au véhicule autonome une compréhension bien plus claire de l'évolution du monde. Leurs travaux suggèrent que lorsqu'un agent de conduite apprend à prédire la forme physique du futur plutôt que son apparence visuelle, il devient nettement plus apte à planifier des trajectoires sûres et fluides.

L'idée centrale derrière cette nouvelle méthode est que les pixels sont un mauvais langage pour décrire le mouvement. Un modèle de monde basé sur la vidéo standard apprend à prédire comment la lumière et la couleur vont changer d'un instant à l'autre. Bien que cela puisse produire des résultats visuellement convaincants, les mouvements physiques sous-jacents — la rotation réelle d'une roue ou la translation d'une voiture dans l'espace — restent cachés à l'intérieur de ces couleurs changeantes. Le nouveau système, GeoWAM, contourne cette confusion en travaillant directement avec des nuages de points. Imaginez une carte 3D composée de millions de petits points, où chaque point représente un endroit spécifique d'une voiture, d'un bâtiment ou de la route. Ce système prend une séquence de vues passées provenant des caméras du véhicule et apprend à prédire où ces points se trouveront dans le futur. Il ne se soucie pas de savoir si la voiture est rouge ou si le soleil brille ; il se soucie uniquement de savoir où se trouve la voiture et comment elle se déplace dans l'espace. Cette représentation directe s'aligne parfaitement avec la tâche de conduite, qui consiste fondamentalement à naviguer dans un monde tridimensionnel.

Pour construire cette capacité, les chercheurs ont entraîné le système en deux étapes distinctes. D'abord, ils ont appris au modèle à être un géomètre. En utilisant une vaste collection de données de conduite provenant de multiples caméras, le système a appris à observer une séquence de scènes passées et à prédire avec précision la structure 3D de la scène plusieurs secondes dans le futur. On ne lui demandait pas de recréer l'aspect du ciel ou la texture de l'asphalte, mais seulement de cartographier la position des objets. Une fois que le système a maîtrisé cette capacité à prévoir la forme du futur, les chercheurs ont ajouté une seconde étape : le planificateur d'actions. Ce nouveau composant prend la carte 3D prédite et pose une question simple : étant donné la façon dont le monde va changer, que doit faire la voiture ensuite ? Comme le système pense déjà en termes de mouvement 3D, la réponse vient naturellement. Il déduit le mouvement futur de la voiture directement de l'évolution de la géométrie, créant un plan ancré dans la réalité physique de la route plutôt que dans les motifs visuels d'une vidéo.

Les résultats de cette approche ont été testés rigoureusement sur des bancs d'essai de conduite standards. Lorsqu'on lui a demandé de prédire la forme future d'une scène, le nouveau système a surpassé les méthodes précédentes qui reposaient sur la génération de vidéos. Il était plus précis pour placer les objets dans le bon espace 3D, même lorsque l'horizon temporel s'étendait plus loin dans le futur. Plus important encore, lorsque cette prévoyance géométrique a été utilisée pour contrôler un véhicule dans un environnement simulé, les performances de conduite se sont considérablement améliorées. Dans les tests en boucle ouverte (open-loop), où le système planifie un chemin sans interagir avec l'environnement, et dans les tests en boucle fermée (closed-loop), où le système doit réagir à ses propres erreurs en temps réel, GeoWAM a systématiquement produit des trajectoires plus sûres et plus fiables que ses homologues basés sur l'image. Le système a démontré une force particulière dans des scénarios complexes, tels que la navigation dans des virages serrés ou l'évitement d'obstacles, où la compréhension de l'aménagement spatial réel est critique.

Les chercheurs soutiennent que ce passage de la prédiction visuelle à la prédiction géométrique représente une manière plus naturelle pour les machines d'apprendre la conduite. En éliminant la distraction de l'apparence et en se concentrant sur la structure, le système apprend les règles du mouvement de manière plus directe. Il n'a pas besoin de deviner comment la lumière se reflète sur une route mouillée pour savoir qu'une voiture glisse ; il voit simplement la position de la voiture changer d'une manière qui indique une glissade. Cette clarté permet au véhicule de prendre des décisions qui sont robustes et cohérentes. L'étude confirme que, bien que la génération de vidéo soit un outil puissant pour de nombreuses tâches, elle n'est pas le fondement idéal pour la conduite autonome. Au contraire, un modèle qui comprend le monde comme une structure dynamique et tridimensionnelle est mieux équipé pour naviguer dans le monde réel, offrant une voie prometteuse pour le développement de véhicules véritablement autonomes.

Résumé Technique : GeoWAM

Problématique

La conduite autonome exige que les agents anticipent non seulement la scène actuelle, mais aussi son évolution future afin de contraindre efficacement les actions. Bien que des modèles récents de type World Action Models (WAMs) soient apparus pour modéliser conjointement la dynamique de la scène et les actions de l'ego, la plupart des approches existantes reposent sur des représentations dans l'espace des pixels (génération de vidéos futures). Les auteurs soutiennent que les pixels sont une représentation d'état indirecte pour la dynamique de conduite car ils entremêlent la géométrie et le mouvement avec l'apparence, la texture et l'illumination. Par conséquent, les modèles basés sur la vidéo doivent inférer des transformations 3D à partir d'observations 2D, laissant souvent la dynamique physique sous-jacente implicite et difficile à récupérer. Ce désalignement entre la représentation visuelle et l'espace 3D dans lequel les actions de conduite sont exécutées limite l'efficacité des politiques apprises.

Méthodologie : GeoWAM

Les auteurs introduisent GeoWAM, un Modèle d'Action de Géométrie Visuelle qui déplace la représentation de l'état des pixels vers la géométrie métrique (nuages de points). Le cadre opérationnel fonctionne en deux étapes :

1. Pré-entraînement du Modèle de Monde de Géométrie Visuelle

Au lieu de prédire des images futures, GeoWAM est pré-entraîné pour prévoir la géométrie future de la scène à partir d'observations multi-vues historiques.

Encodage : Un encodeur de géométrie (basé sur DVGT-2) traite une séquence d'images multi-vues pour produire des jetons (tokens) historiques à plusieurs niveaux, comprenant à la fois des jetons de géométrie (structure spatiale) et des jetons d'ego (contexte de mouvement).
Décodage : Un décodeur de géométrie futur utilise des requêtes apprises pour prédire les jetons de géométrie futurs. Il emploie une auto-attention temporelle causale pour modéliser l'évolution à travers les étapes futures et une attention croisée pour récupérer le contexte des observations historiques.
Sortie : Le modèle décode ces jetons en cartes de points futures denses et en cartes de confiance à l'aide d'une tête de géométrie partagée (Point DPT).
Supervision : L'entraînement implique un alignement au niveau des caractéristiques (distance cosinus) avec les caractéristiques cibles dérivées des images futures et une régression de carte de points dense (perte euclidienne, perte sensible à la confiance et cohérence des normales de surface) par rapport à la géométrie réelle (ground-truth).

2. GeoWAM : Le Modèle d'Action

Le modèle de géométrie pré-entraîné est étendu en un modèle d'action de monde via une formulation de type dynamique inverse :

Décodage des Jetons d'Ego Futurs : Une branche dédiée infère le mouvement futur de l'ego à partir de l'évolution prédite de la scène. Elle utilise des graines de requête d'ego apprises qui effectuent une attention croisée à la fois sur la mémoire historique et sur les jetons de géométrie futurs prédits. Crucialement, une opération de stop-gradient est appliquée aux jetons de géométrie prédits, garantissant que la supervision de la trajectoire ne remodèle pas le signal de conditionnement géométrique, préservant ainsi les capacités de pré-entraînement.
Génération de Trajectoire : Une tête d'action concatène les jetons d'ego historiques et futurs prédits, les affine via un transformeur temporel causal, et régresse une trajectoire future unique (position et cap) directement, sans ancres de trajectoire ni classification de mode.
Objectif d'Entraînement : Le modèle est affiné avec une fonction de perte combinée incluant les objectifs de géométrie du pré-entraînement, une perte de régression de trajectoire $\ell_1$ , et une perte auxiliaire de prédiction de pose.

Principales Contributions

Représentation d'État Native : L'article motive et démontre que la géométrie (nuages de points) sert d'espace d'état natif pour les modèles d'action de monde, alignant explicitement la dynamique de la scène avec l'espace de coordonnées 3D des actions de conduite.
Pré-entraînement de Géométrie Visuelle : Les auteurs pré-entraînent un modèle de monde de géométrie visuelle pour prévoir la géométrie future de la scène à partir d'images multi-vues, capturant la structure spatiale et la dynamique temporelle sans nécessure d'annotations d'occupation.
Formulation de Dynamique Inverse : GeoWAM introduit un mécanisme pour inférer le mouvement futur de l'ego à partir des dynamiques géométriques prédites, mappant ces représentations vers des trajectoires d'ego via une tête d'action conditionnée par la géométrie.
Validation Empirique : Le modèle est validé par la prédiction de géométrie future et par des benchmarks de planification en boucle ouverte et en boucle fermée, établissant la modélisation de la géométrie visuelle comme un objectif de pré-entraînement efficace.

Résultats Expérimentaux

Les auteurs évaluent GeoWAM sur le jeu de données nuScenes pour la prédiction de géométrie et NAVSIM v2 pour la planification.

Prédiction de la Géométrie Future (nuScences) : GeoWAM surpasse les modèles de référence, y compris les modèles basés sur la vidéo (Epona, Cosmos 3) qui reconstruisent la géométrie à partir de trames RGB générées, et les modèles de prédiction de géométrie directe (VGGT-World). Il atteint l'erreur relative absolue (Abs Rel) la plus faible sur tous les horizons (1s–4s) et la précision de seuil la plus élevée ( $\delta < 1.25$ ).
Planification en Boucle Ouverte (NAVSIM navtest) : GeoWAM atteint le meilleur EPDMS global (Extended Predictive Driver Model Score) de 90.2, surpassant des modèles de référence solides comme DVGT-2, EponaV2 et divers planificateurs VLA. Il égale les meilleurs scores en respect de la direction de conduite et des feux de signalisation.
Planification en Boucle Fermée (NAVSIM navhard) : Dans un benchmark de pseudo-boucle fermée à deux étapes particulièrement exigeant, GeoWAM atteint un EPDMS de 36.6, surpassant toutes les méthodes concurrentes, y compris celles entraînées par apprentissage par renforcement ou par supervision directe du score PDMS.
Analyse Qualitative : Les visualisations montrent que GeoWAM préserve des structures de scène cohérentes (ex: arbres, poteaux, marquages au sol) et capture la dynamique des agents environnants (ex: autres véhicules suivant l'ego) sur l'horizon de prédiction.

Signification et Revendications

L'article affirme que la prédiction de la géométrie future est un objectif de pré-entraînement supérieur pour la conduite autonome par rapport à la génération d'images futures. En plaçant la modélisation du monde et la prédiction d'action dans un espace géométrique partagé, GeoWAM fournit aux politiques de conduite des représentations explicitement organisées autour de la structure 3D et du mouvement. Les auteurs soutiennent que cette approche produit des politiques de conduite substantiellement plus fortes que les alternatives basées sur l'image car elle ancre directement la politique dans l'espace physique où les actions de conduite sont exécutées, évitant l'ambiguïté de l'inférence de la dynamique 3D à partir des variations de pixels 2D. Ce travail établit que l'apprentissage de la prédiction de la géométrie métrique permet un transfert efficace vers la planification de mouvement sans nécessole de synthèse d'images futures.