🤖 AI

TerraTransfer: Learning End-to-End Driving Policies Without Expert Demonstrations

TerraTransfer introduit un cadre de conduite autonome de bout en bout qui élimine le besoin de démonstrations d'experts en découplant l'apprentissage de la politique de la perception visuelle, en utilisant l'auto-apprentissage dans des simulateurs vectorisés pour générer une politique de conduite qui est ensuite alignée avec une dorsale de vision pré-entraînée en utilisant uniquement des données appariées (image, état de la scène).

Auteurs originaux : Zikang Xiong, Weixin Li, Zhouchonghao Wu, Akshay Rangesh, Saarth Bonde, Grantland Hall, Chen Tang, Yihan Hu, Wei Zhan

Publié 2026-06-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zikang Xiong, Weixin Li, Zhouchonghao Wu, Akshay Rangesh, Saarth Bonde, Grantland Hall, Chen Tang, Yihan Hu, Wei Zhan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à une voiture autonome comment conduire. Habituellement, la norme de l'industrie revient à embaucher un instructiel de conduite humain qui a parcouru des millions de kilomètres. Vous enregistrez chacun de ses mouvements, vous étiquetez les données (ce qu'il a vu, ce qu'il a fait), puis vous essayez d'apprendre à l'IA à le copier. C'est coûteux, lent, et l'IA n'apprend qu'à partir de moments humains « parfaits », manquant ainsi les situations confuses et dangereuses, comme les quasi-collisions, qui surviennent réellement sur la route.

TerraTransfer propose une manière totalement différente d'apprendre à une voiture à conduire, qui ne nécessite aucun journal de conduite humain. Voyez cela comme un processus en deux étapes : Premièrement, apprendre à conduire dans un jeu vidéo. Deuxièmement, apprendre à voir le monde réel.

Voici comment cela fonctionne, en utilisant des analogies simples :

Phase 1 : Le conducteur de « Jeu Vidéo » (Auto-apprentissage)

Imaginez un jeu vidéo où des milliers de voitures circulent dans une ville virtuelle. Dans ce jeu, les voitures ne sont pas contrôlées par des humains ; elles sont contrôlées par un seul cerveau d'IA qui apprend en jouant contre lui-même, encore et encore.

Le Superpouvoir : Parce qu'il s'agit d'un jeu vidéo (un « simulateur vectorisé »), l'IA peut conduire à 2 millions d'étapes par seconde. Elle peut s'écraser, se rétablir et apprendre de quasi-collisions des millions de fois dans le temps qu'il faut à un humain pour parcourir un mile.
Le Résultat : Cette IA devient un maître de la conduite. Elle sait exactement quoi faire dans chaque situation parce qu'elle a vécu tous les désastres et tous les succès possibles dans la simulation.
Le Piège : Ce maître conducteur est « aveugle » au monde réel. Il ne regarde pas d'images de caméras ; il voit seulement une liste de nombres (comme « la voiture devant est à 50 mètres »). C'est comme un grand maître d'échecs qui ne peut jouer aux échecs que si l'on lui donne les coordonnées de l'échiquier, mais qui ne peut pas réellement voir l'échiquier.

Phase 2 : Les « Yeux » (Alignement de la Vision)

Maintenant, nous devons apprendre à une vraie voiture (qui possède des caméras) à conduire comme ce maître joueur de jeu vidéo. Habituellement, vous devriez montrer à la vraie voiture des millions d'heures de conduite humaine pour lui apprendre. TerraTransfer fait quelque chose de plus intelligent.

La Configuration : Nous prenons le maître conducteur « aveugle » de la Phase 1 et nous gelons son cerveau. Il ne peut plus apprendre ; il agit simplement comme l'« Enseignant ».
L'Élève : Nous construisons une nouvelle IA qui possède des caméras (des yeux) mais aucune expérience de conduite.
La Leçon : Nous montrons à l'Élève une image de la route et l'Enseignant (qui voit la même route sous forme de liste de nombres) lui dit : « Si je voyais cette liste de nombres, je tournerais à gauche. Toi, regardant cette image, tu devrais aussi tourner à gauche. »
Le Tour de Magie : Le document introduit une « perte structurelle » spéciale. Imaginez que le cerveau de l'Enseignant organise les situations de conduite comme une bibliothèque. Au lieu de forcer l'Élève à mémoriser chaque titre de livre (chaque nombre spécifique), l'Élève apprend l'agencement de la bibliothèque. Il apprend qu'une « journée pluvieuse avec un camion lent » ressemble à une « journée brumeuse avec un camion lent » dans l'esprit de l'Enseignant. En faisant correspondre ce plan de relations internes, l'Élève apprend à conduire correctement sans jamais avoir besoin de voir le journal de conduite d'un humain.

Pourquoi est-ce une avancée majeure ?

Pas besoin de journaux humains : Vous n'avez pas besoin d'embaucher des conducteurs, d'enregistrer leurs miles ou de payer pour un étiquetage de données coûteux. L'« Enseignant » a appris entièrement en jouant dans une simulation.
Moins cher et plus rapide : L'entraînement de l'« Enseignant » a pris 96 heures sur des ordinateurs puissants. L'alignement de l'« Élève » (la voiture avec caméras) n'a pris que 10 heures.
Meilleur pour les situations atypiques : Comme l'Enseignant a appris en s'écrasant et en se rétablissant dans le jeu, il est naturellement bon pour gérer les situations rares et dangereuses (la « longue traîne » de la conduite) que les journaux humains omettent souvent.

Les Résultats

Lorsqu'ils ont testé cette nouvelle voiture « Élève » dans une simulation réaliste et photoréaliste (utilisant le 3D Gaussian splatting, ce qui rend le monde virtuel aussi réel qu'une vidéo), elle a performé aussi bien, voire mieux, que les meilleurs systèmes de conduite autonome existants qui reposent sur des données humaines.

Les Limites Actuelles

Le document est honnête sur ce qu'il ne peut pas encore faire :

Détails Visuels : Puisque l'Enseignant a appris à partir de formes simples (des boîtes), l'Élève pourrait manquer des indices visuels subtils comme la main d'un conducteur qui fait signe ou le clignotement de feux de freinage.
Piétons et Cyclistes : La simulation traite principalement des voitures, donc l'IA n'a pas beaucoup appris à partager la route avec des personnes à vélo ou à pied.
Feux de Signalisation : Elle n'a pas encore pleinement maîtrisé les règles complexes des intersections.

En bref : TerraTransfer enseigne à une voiture à conduire en la laissant jouer à un jeu vidéo ultra-rapide pour devenir un maître, puis en apprenant à une voiture équipée de caméras à imiter la logique de ce maître, sautant ainsi l'étape coûteuse et lente de la copie des conducteurs humains.

Résumé Technique : TerraTransfer

Problématique

La conduite autonome de bout en bout a atteint des performances de pointe, mais elle repose sur une recette d'entraînement multi-étapes coûteuse. L'approche standard implique une pré-formation par imitation à grande échelle sur des données de conduite enregistrées, suivie de diverses étapes de fine-tuning (adaptation supervisée, RL en boucle ouverte ou RL en boucle fermée). Ce flux de travail est limité par :

Coûts des données : La collecte et l'étiquetage de millions de trames de conduite et de centaines de milliers d'heures de journaux multi-caméras.
Coûts de calcul : L'apprentissage par renforcement (RL) en boucle fermée sur des images nécessite un rendu photoréaliste et des passages vers l'avant à travers des backbones de vision lourds à chaque étape, ce qui crée une charge de calcul significative.
Écarts de distribution : L'apprentissage par imitation est limité par la qualité des démonstrations d'experts et peine face aux états rares et critiques pour la sécurité (collisions, quasi-collisions) qui sont absents des données de trafic enregistrées.

Bien que l'auto-jeu (self-play) dans des simulateurs vectorisés offre une alternative moins coûteuse en générant des comportements de conduite naturalistes et des événements rares sans données humaines, ces politiques consomment des états de scène vectorisés (boîtes englobantes, cinématique) plutôt que des entrées de capteurs bruts, ce qui les rend non déployables dans des systèmes de bout en bout réels.

Méthodologie

Les auteurs proposent TerraTransfer, un paradigme en deux phases qui découple « apprendre à conduire » de « apprendre à voir », éliminant le besoin de démonstrations d'experts à n'importe quelle étape.

Phase 1 : Pré-formation par Auto-jeu (Apprendre à Conduire)

Une politique de planification ( $\pi_\theta$ ) est entraînée à partir de zéro (tabula rasa) via un auto-jeu multi-agents dans TerraZero, un simulateur de conduite vectorisé.

Architecture : La politique utilise un ensemble de paramètres unique pour contrôler tous les agents d'une scène. Elle traite l'état de l'ego, les éléments de la route et les agents partenaires en utilisant des encodeurs DeepSets et un MLP partagé.
Entraînement : La politique est optimisée via l'Optimisation de Politique Proximale (PPO) avec une fonction de récompense comprenant des termes pondérés de qualité de conduite (atteinte de l'objectif, évitement de collision, confort, etc.).
Randomisation de Domaine : Les préférences des conducteurs sont randomisées par épisode et exposées comme faisant partie de l'observation de l'ego, permettant à la politique d'apprendre un continuum de styles de conduite.
Résultat : Cela produit une politique « enseignante » qui conduit de manière robuste en état vectoriel mais ne peut pas traiter d'images.

Phase 2 : Alignement de la Vision (Apprendre à Voir)

La politique enseignante gelée est utilisée pour superviser une politique de vision sans jamais faire référence à des trajectoires humaines enregistrées.

Architecture : L'étudiant hérite de l'encodeur ego gelé, du MLP partagé et de la tête d'acteur de l'enseignant. Les encodeurs de l'enseignant (pour la route et les partenaires) sont remplacés par des encodeurs conditionnés par l'image, construits sur un backbone DINOv3 pré-entraîné avec des adaptateurs linéaires.
Signal de Supervision : L'étudiant est entraîné sur un jeu de données appariées de trames (image, état de la scène). La cible est la distribution d'actions de l'enseignant et ses représentations de caractéristiques dérivées de l'état vectoriel correspondant.
Fonctions de Perte :
1. Alignement d'Action : Minimise la divergence KL entre la distribution d'action de l'étudiant et celle de l'enseignant.
2. Alignement Structurel : Une nouvelle perte structurelle de bas rang relationnelle par lot (batch-relational low-rank structural loss). L'analyse empirique révèle que les caractéristiques de l'enseignant sont de faible rang et redondantes. Au lieu de faire correspondre les coordonnées absolques des caractéristiques, l'étudiant est entraîné à reproduire la géométrie relationnelle (similitudes de scène par paires) des caractéristiques de l'enseignant au sein d'un sous-espace principal de faible rang. Cela évite de forcer l'étudiant à s'ajuster au bruit dans les directions de faible variance.

Contributions Clés

Recette sans Démonstration : Un cadre pour la conduite de bout en bout qui ne nécessite aucune trajectoire humaine enregistrée pour la supervision. Il repose uniquement sur l'auto-jeu pour la compétence de conduite et sur des données appariées (image, état) pour l'alignement.
Apprentissage Découplé : La séparation de l'entraînement de la politique de conduite (dans l'espace vectoriel) de l'entraînement de la perception (dans l'espace image) permet de réutiliser un enseignant d'auto-jeu unique pour divers frontends de vision et piles de capteurs.
Perte Structurelle de Bas Rang Relationnelle par Lot : Une méthode pour aligner les caractéristiques de vision avec les caractéristiques vectorielles en faisant correspondre les structures relationnelles au sein d'un sous-espace de faible rang, motivée par la découverte empirique que les caractéristiques de l'enseignant sont hautement redondantes.
Performance en Boucle Fermée : La politique résultante obtient des résultats compétitifs sur des benchmarks de Gaussian Splatting 3D photoréalistes, égalant ou dépassant les méthodes de bout en bout précédentes entraînées sur de massifs jeux de données d'experts.

Résultats Expérimentaux

La méthode a été évaluée sur HUGSim, un benchmark en boucle fermée photoréaliste dérivé de scénarios nuScenes, en utilisant le HD-Score agrégé.

Performance vs Baselines : La politique TerraTransfer a atteint un HD-Score agrégé de 0,490, surpassant la meilleure baseline d'imitation (LTF, 0,360) et la variante ECO publiée la plus forte (0,452). Elle s'est approchée de la performance de son propre enseignant d'auto-jeu (0,520), qui opère sur un état vectoriel privilégié.
Efficacité des Données : La phase d'alignement n'a nécessité que 1,83 million de trames appariées (environ 51 heures de données) du jeu de données nuPlan. C'est environ 40 % des données utilisées par la baseline ECO pour le fine-tuning, pourtant TerraTransfer a surpassé les performances de ECO.
Généralisation Inter-Datasets : La politique a été alignée sur des données nuPlan mais évaluée sur des scénarios dérivés de nuScenes, démontant une forte généralisation sans étiquettes de trajectoire in-distribution.
Limitations : Le papier note que l'approche actuelle manque certains indices visuels fins (ex: feux de stop) en raison de l'entraînement sur des boîtes englobantes, possède une exposition limitée aux piétons/cyclistes, et manque d'un support complet pour les intersections signalisées.

Signification et Revendications

Le papier affirme que TerraTransfer offre une voie extrêmement efficace et économique en données pour la conduite autonome de bout en bout. En déplaçant le coût de « l'apprentissage de la conduite » vers une phase d'auto-jeu scalable et ponctuelle en simulation, l'approche élimine la dépendance aux démonstrations d'experts coûteuses et curatées. La politique résultante démontre qu'une compétence de conduite robuste et naturaliste peut être transférée d'une perception basée sur des vecteurs vers une perception d'image brute, atteignant des performances de boucle fermée de pointe avec des exigences de données et de calcul nettement réduites par rapport aux pipelines conventionnels d'apprentissage par imitation.