Geo-VLA: Geometry-Aware Vision-Language-Action Planning via Internalization of Map Semantics

Conduire une voiture exige plus que de simplement voir la route devant soi ; cela demande une compréhension des règles invisibles qui régissent le mouvement. Un véhicule doit savoir où la voie se termine, comment un virage va s'infléchir et comment différentes routes se rejoignent à une intersection. Pendant des décennies, les ingénieurs ont tenté d'apprendre aux ordinateurs à conduire en leur montrant des caméras, mais les caméras ne capturent que ce qui est visible à l'instant présent. Elles peinent à saisir la structure permanente de la route, comme le tracé exact qu'une voie prend autour d'un virage ou les règles spécifiques d'une intersection complexe. Ce fossé entre voir le monde et comprendre sa géométrie a empêché la conduite entièrement autonome de devenir une réalité fiable dans des environnements complexes. Les chercheurs se tournent désormais vers une nouvelle approche qui combine la vision et le langage, utilisant de grands modèles capables de « lire » et de « raisonner » sur des images pour prendre des décisions de conduite. Cependant, même ces systèmes avancés échouent souvent lorsque la route tourne brusquement ou lorsqu'une intersection est difficile, car ils dépendent trop de l'apparence visuelle de la route plutôt que de sa forme et de sa connectivité sous-jacentes.

Une équipe de chercheurs de l'Université de science et technologie de Pékin a développé une nouvelle méthode appelée Geo-VLA pour résoudre ce problème spécifique. Leur objectif était d'apprendre à ces modèles de conduite à comprendre la géométrie de la route sans les contraindre à transporter de lourdes cartes numériques pré-établies qui nécessitent des mises à jour constantes et un matériel complexe pour être lues. Au lieu de donner à la voiture une carte à consulter pendant qu'elle conduit, les chercheurs ont appris à la voiture à « intérioriser » la carte durant sa phase d'entraînement. Ils ont créé un ensemble de données spécial appelé Geo-QA, qui associe des images de caméras de conduite à des questions et des réponses dérivées de données cartographiques hors ligne. Ces questions se concentrent sur la structure statique de la route, demandant par exemple comment une voie courbe ou où une zone carrossable se termine. En apprenant au modèle à répondre à ces questions, le système apprend à reconnaître les formes et les connexions routières comme s'il lisait une carte, même s'il ne voit qu'une image de caméra lors de la conduite réelle.

Le processus fonctionne en deux étapes distinctes. Premièrement, le modèle est exposé à des milliers de paires image-question-réponse. Il apprend à relier les détails visuels d'une scène routière aux faits géométriques précis trouvés dans les données de la carte. Cette étape agit comme une leçon approfondie sur la structure de la route, permettant au modèle de construire une représentation mentale de la façon dont les routes sont disposées. Une fois cet apprentissage terminé, les chercheurs verrouillent cette nouvelle compréhension et l'utilisent pour apprendre au modèle comment diriger la voiture. Crucialement, lorsque la voiture est mise à l'épreuve sur la route, elle n'a besoin d'aucune donnée cartographique, d'aucun capteur supplémentaire, ni d'un logiciel complexe pour rechercher des informations routières. Elle regarde simplement à travers sa caméra frontale, comme elle le faisait auparavant, mais son raisonnement interne est désormais guidé par la connaissance géométrique absorbée pendant l'entraînement. Cela signifie que le système reste simple et rapide, évitant les délais et les erreurs qui surviennent lors de la tentative de faire correspondre une vidéo en direct à une carte numérique en temps réel.

Les résultats de cette approche ont été testés sur une plateforme de simulation de conduite standard connue sous le nom de NAVSIM v1. Les chercheurs ont comparé leur nouvelle méthode à des systèmes existants qui s'appuient sur des cartes haute définition ou d'autres entrées complexes. Le système Geo-VLA a systématiquement surpassé ses prédécesseurs, atteignant un score de 92,1 sur une métrique complète qui mesure la sécurité, le confort et la progression. Ce score représente un nouveau sommet pour les planificateurs de conduite à caméra unique, dépassant les records précédents d'une marge petite mais significative. Le système s'est avéré particulièrement efficace pour naviguer dans les virages et les intersections, là où les modèles plus anciens déviaient souvent de leur trajectoire ou échouaient à suivre le bon chemin. En apprenant les règles de la route par le langage et les questions plutôt que par des données cartographiques brutes, le modèle a généré des trajectoires qui restaient plus proches de la voie prévue et respectaient les limites physiques de la route.

L'étude a également révélé que l'enseignement au modèle des structures routières statiques était bien plus important que l'enseignement des objets mobiles comme les autres voitures ou les piétons. Lorsque les chercheurs ont testé une version du système qui se concentrait uniquement sur les éléments dynamiques, la performance ne s'est pas améliorée. Cela suggère que si le modèle peut déjà bien voir les choses en mouvement, il peine à comprendre la géométrie fixe de la route sans une guidance spécifique. La méthode Geo-VLA comble ce fossé en fournissant cette guidance pendant l'entraînement, permettant au système de prendre des décisions plus sûres et plus efficaces. Les chercheurs notent que leur approche dépend de la qualité des données cartographiques utilisées pour créer les questions d'entraînement, et que les travaux futurs devront tester comment le système se comporte dans un trafic interactif avec d'autres conducteurs humains. Pour l'instant, cependant, l'étude démontre qu'une voiture peut apprendre la forme de la route à travers la conversation et les questions, emportant cette connaissance avec elle comme un guide silencieux et invisible.