💻 computer science

Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving

Drive-JEPA établit un nouveau état de l'art dans la conduite autonome de bout en bout en intégrant l'architecture V-JEPA (Video Joint-Embedding Predictive Architecture) pour l'apprentissage de représentations prédictives avec un planificateur centré sur les propositions qui distille les trajectoires multimodales générées par simulateur afin de surmonter les limites de la supervision à trajectoire unique.

Auteurs originaux : Linhan Wang, Zichong Yang, Chen Bai, Guoxiang Zhang, Xiaotong Liu, Xiaoyin Zheng, Xiao-Xiao Long, Chang-Tien Lu, Cheng Lu

Publié 2026-07-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Linhan Wang, Zichong Yang, Chen Bai, Guoxiang Zhang, Xiaotong Liu, Xiaoyin Zheng, Xiao-Xiao Long, Chang-Tien Lu, Cheng Lu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous n'appreniez pas à une voiture autonome seulement en lui montrant quelques exemples de conduite humaine, mais en lui donnant une bibliothèque massive de films de conduite à étudier, puis en la laissant s'entraîner dans un simulateur de jeu vidéo ultra-perfectionné. C'est essentiellement ce que fait Drive-JEPA.

Voici une décomposition du fonctionnement de ce nouveau système, en utilisant des analogies simples :

1. Le Problème : Le piège de la « voie unique »

La plupart des voitures autonomes d'aujourd'hui apprennent en observant un conducteur humain. Mais il y a un piège : dans une situation donnée (comme l'approche d'un feu jaune), un humain ne prend généralement qu'une seule action spécifique. Pourtant, dans le monde réel, il existe souvent de nombreuses façons sûres de gérer une situation (par exemple, vous pourriez ralentir doucement, ou vous arrêter complètement).

Si une voiture apprend uniquement à partir de ce chemin humain unique, elle se retrouve « coincée » en pensant qu'il n'y a qu'une seule façon de conduire. Elle devient rigide et pourrait manquer d'autres options sûres et confortables. C'est ce qu'on appelle l'effondrement de mode (mode collapse) : la voiture oublie qu'il existe plusieurs façons de résoudre un problème.

2. La Solution : Drive-JEPA

Les chercheurs ont construit un système en trois parties pour corriger cela, agissant comme un maître instructeur de conduite doté d'une machine à remonter le temps et d'une console de jeux vidéo.

Partie A : Le pré-entraînement du « Cinéphile » (V-JEPA)

Au lieu de simplement mémoriser des virages spécifiques, la voiture regarde d'abord des milliers d'heures de vidéos de conduite brutes.

L'analogie : Imaginez un étudiant qui regarde des milliers d'heures de films de conduite sans qu'on lui dise quoi faire pour l'instant. Il apprend la « grammaire » de la conduite : comment les voitures se déplacent, comment le trafic circule et comment le monde change au fil du temps.
La technologie : Ils utilisent une technique appelée V-JEPA. Voyez cela comme un jeu de « texte à trous » pour les vidéos. L'ordinateur cache un morceau de la vidéo et demande à l'IA de prédire ce qui se passe ensuite. En faisant cela des millions de fois, l'IA construit une compréhension profonde et intuitive du fonctionnement du monde de la conduite sans avoir besoin d'étiqueter chaque objet. Cela donne à la voiture un « cerveau » solide avant même qu'elle ne commence à apprendre à diriger.

Partie B : Le « Coach Simulateur » (Distillation de trajectoire multimodale)

Une fois que l'IA possède son « cerveau », elle doit apprendre à prendre des décisions. Habituellement, elle ne voit que le chemin unique emprunté par un humain. Drive-JEPA change la donne en introduisant un Coach Simulateur.

L'analogie : Imaginez un étudiant en conduite s'entraînant dans un jeu vidéo. Le jeu peut générer des milliers de scénarios de type « et si ». Peut-être que dans une version de la simulation, la voiture dévie à gauche ; dans une autre, elle freine brusquement ; dans une troisième, elle se faufile dans le trafic. Toutes ces options sont sûres et légales.
La Technologie : Le système utilise un simulateur basé sur des règles pour générer de nombreux chemins sûrs (trajectoires) pour chaque scène. Il enseigne ensuite à l'IA à reconnaître et à valoriser toutes ces différentes options, et pas seulement le chemin unique pris par l'humain. C'est ce qu'on appelle la Distillation de trajectoire multimodale. C'est comme dire à l'IA : « Il n'y a pas qu'une seule bonne réponse ; voici cinq façons différentes de gérer cette intersection. »

Partie C : Le « Filtre de fluidité » (Sélection sensible à l'élan)

Maintenant, l'IA a un tas de chemins différents à choisir. Comment choisit-elle le meilleur ?

L'analogie : Imaginez que vous marchez dans un couloir. Si vous donnez soudainement un coup de corps vers la gauche, puis vers la droite, puis vers la gauche, vous vous sentez étourdi et inconfortable. Vous voulez bouger de manière fluide.
La Technologie : Le système inclut un module de Sélection sensible à l'élan (Momentum-Aware Selection). Il examine le chemin emprunté par la voiture une fraction de seconde auparavant et vérifie les nouvelles options. Si une option nécessite un changement de direction soudain et saccadé, le système la pénalise. Il choisit le chemin qui est non seulement sûr, mais aussi fluide et naturel pour les passagers, évitant ainsi une conduite « saccadée ».

Les Résultats

Lorsqu'ils ont testé ce système sur des bancs d'essai de conduite standards (comme NAVSIM et Bench2Drive), les résultats ont été impressionnants :

Des décisions plus intelligentes : Il a surpassé les méthodes de pointe précédentes, établissant de nouveaux records de sécurité et de fluidité.
Moins, c'est mieux : Même lorsqu'ils ont supprimé tous les capteurs de « perception » sophistiqués (comme le LiDAR) pour n'utiliser qu'une seule caméra frontale, le système a tout de même mieux performé que les autres. Cela prouve que le pré-entraînement du « Cinéphile » a donné à la voiture une base vraiment solide.
Des trajets plus fluides : En utilisant le filtre d'élan, la voiture conduit de manière plus confortable, évitant les mouvements soudains et brusques.

En résumé

Drive-JEPA, c'est comme prendre un étudiant de conduite autonome, lui donner un doctorat en théorie de la conduite en regardant des milliers de films, le laisser s'entraîner dans un jeu vidéo où il voit chaque issue sûre possible, puis lui apprendre à choisir le chemin le plus fluide et le plus confortable. Le résultat est une voiture qui conduit plus comme un humain expérimenté qui comprend le flux du trafic, plutôt qu'un robot qui se contente de copier une ligne unique sur une carte.

Résumé Technique : Drive-JEPA

Problématique

La conduite autonome de bout en bout vise à mapper les observations brutes des capteurs directement vers des actions de conduite en utilisant un modèle neuronal unifié. Cependant, le domaine est confronté à deux goulots d'étranglement principaux :

Utilité limitée du préentraînement vidéo : Bien que le préentraînement vidéo auto-supervisé soit de plus en plus utilisé pour apprendre des représentations transférables, les approches existantes (par exemple, les modèles génératifs au niveau du pixel ou les modèles de monde latents) n'ont apporté que des améliorations limitées. Les objectifs au niveau du pixel sont coûteux en calcul et peuvent se concentrer sur des détails visuels non pertinents, tandis que les approches latentes souffrent souvent d'effondrement de représentation ou ne parviennent pas à démontrer de réels bénéfices lors du passage à l'échelle.
Ambiguïté multimodale et goulot d'étranglement de la supervision : Les scénarios de conduite sont intrinsèquement multimodaux, pourtant les jeux de données standards ne fournissent qu'une seule trajectoire humaine par scène. Cette rareté limite l'apprentissage de comportements diversifiés. Les solutions existantes reposent soit sur des vocabulaires discrets fixes (limitant la généralisation aux scénarios hors vocabulaire), soit sur des méthodes basées sur la diffusion qui restent contraintes par une supervision à trajectoire unique, entraînant un effondrement de mode ou une diversité limitée.

Méthodologie : Drive-JEPA

Les auteurs proposent Drive-JEPA, un cadre qui intègre l'architecture V-JEPA (Video Joint-Embedding Predictive Architecture) avec une distillation de trajectoire multimodale pour répondre à ces goulots d'étranglement. Le cadre se compose de trois composantes clés :

1. Préentraînement Vidéo de Conduite (Adaptation de V-JEPA)

Pour apprendre des représentations prédictives alignées sur la planification, les auteurs adaptent V-JEPA au domaine de la conduite.

Architecture : Un encodeur Vision Transformer (ViT) est préentraîné sur un large jeu de données de vidéos de conduite (curatées à partir de CoVLA, DrivingDojo et OpenScene).
Objectif : Le modèle apprend à prédire la représentation latente d'une vue cible masquée à partir d'une vue source masquée. Cet objectif auto-supervisé inclut un opérateur de stop-gradient et un encodeur à moyenne mobile exponentielle (EMA) pour éviter l'effondrement de la représentation.
Mise à l'échelle (Scaling) : Contrairement aux modèles de monde latents précédents, cette approche parvient à mettre à l'échelle le préentraînement sur 330 heures de vidéo avec un coût de calcul moindre, produisant des caractéristiques intrinsèquement alignées avec la planification de trajectoire.

2. Distillation de Trajectoire Multimodale

Pour surmonter le goulot d'étranglement de la supervision à trajectoire unique, le cadre distille les connaissances de simulateurs basés sur des règles vers un planificateur centré sur les propositions.

Génération de Propositions : Au lieu d'un vocabulaire fixe, le modèle génère des propositions de trajectoires en ligne via une attention déformable ancrée sur des points de passage (waypoints). Ces propositions sont affinées de manière itérative en agrégeant les caractéristiques de vue aérienne (Bird's-Eye-View - BEV) autour des points de passage prédits.
Distillation par Pseudo-Enseignant : Un vocabulaire de trajectoires est construit via un clustering k-means des données historiques. Pour chaque scène, un simulateur basé sur des règles (basé sur les protocoles NAVSIM v2) évalue les trajectoires de ce vocabulaire par rapport aux contraintes de sécurité et de confort (score EPDMS). Les trajectoires performantes et diverses sont sélectionnées comme « pseudo-enseignants ».
Perte d'Entraînement : Le générateur de propositions est entraîné pour minimiser la distance par rapport à la trajectoire humaine réelle (ground-truth) et à l'ensemble des trajectoires diverses générées par le simulateur (pseudo-enseignants), encourageant ainsi une sortie multimodale sans dépendre d'une seule démonstration humaine.

3. Sélection de Trajectoire Sensible au Momentum

Pour sélectionner la trajectoire finale parmi l'ensemble diversifié de propositions, un scoreur neural évalue les candidats en fonction du risque de collision, de la conformité aux règles de circulation et du confort.

Mécanisme de Confort : Pour atténuer l'incohérence temporelle (jitter) souvent introduite par des propositions diverses, le module de sélection incorpore une pénalité sensible au momentum. Il compare les propositions actuelles à la trajectoire sélectionnée dans la trame précédente ( $t-1$ ) et pénalise les distorsions importantes.
Sélection Finale : La trajectoire ayant le score recalibré le plus élevé (combinant le scoreur appris et le terme de confort) est sélectionnée pour l'exécution.

Contributions Clés

Préentraînement V-JEPA pour la Conduite : L'article introduit l'application de V-JEPA à la conduite de bout en bout, démontrant que le préentraînement vidéo à grande échelle avec des objectifs prédictifs améliore significativement les performances dans les contextes basés sur la perception et sans perception.
Distillation de Trajectoire Multimodale : Une stratégie de supervision novatrice qui distille des trajectoires diverses générées par simulateur dans un cadre centré sur les propositions, brisant efficacement la limitation de la supervision à une trajectoire humaine unique.
Sélection Sensible au Momentum : Un module de sélection léger qui améliore le confort de conduite et la stabilité temporelle en pénalisant la distorsion de trajectoire entre les trames.
Performances de l'État de l'Art : La méthode atteint de nouveaux résultats de pointe sur les principaux benchmarks sans dépendre d'annotations de perception complexes.

Résultats Expérimentaux

Le cadre a été évalué sur NAVSIM v1, NAVSIM v2 et Bench2Drive.

NAVSIM v1 (Sans Perception) : En utilisant uniquement une caméra frontale et un décodeur transformer léger avec des caractéristiques préentraînées par V-JEPA, le modèle a atteint 89.0 PDMS, surpassant nettement les méthodes antérieures sans perception (ex: Epona à 86.1, LAW à 83.8).
NAVSIM v1 (Cadre Complet) : Avec le cadre complet Drive-JEPA (incluant la distillation et la sélection), le modèle a atteint 93.7 PDMS (backbone ViT/L), dépassant le précédent meilleur (DriveSuprim à 93.5).
NAVSIM v2 : La méthode a atteint 87.8 EPDMS, établissant un nouvel état de l'art. Notamment, elle a bien performé sur le confort étendu (EC) et d'autres métriques de conformité aux règles là où les méthodes précédentes peinaient.
Bench2Drive : Dans les simulations en boucle fermée sur CARLA, Drive-JEPA a obtenu un score de conduite (DS) de 64.52, surpassant les autres méthodes centrées sur les propositions comme iPad (60.52) de 4 points, validant l'efficacité de la distillation multimodale.

Signification et Revendications

L'article affirme que Drive-JEPA réussit à unifier le préentraînement vidéo auto-supervisé avec la génération de trajectoires multimodales pour répondre aux limitations fondamentales des systèmes de conduite de bout en bout actuels.

Efficacité du Préentraînement : Les résultats soulignent que le préentraînement V-JEPA fournit des représentations robustes et transférables qui permettent même à des décodeurs simples de surpasser des pipelines complexes basés sur la perception dans des contextes sans perception.
Diversité vs Stabilité : Le travail démontre que la distillation guidée par simulateur peut générer des trajectoires diverses et sûres sans sacrifier la stabilité temporelle, à condition d'utiliser un mécanisme de sélection sensible au momentum.
Évolutivité (Scalability) : L'approche prouve que le passage à l'échelle du préentraînement vidéo avec une prédiction latente efficace (V-JEPA) est une voie viable, évitant les coûts de calcul de la génération de pixels tout en évitant les problèmes d'effondrement des modèles latents naïfs.

Les auteurs soulignent que leur méthode établit un nouveau jalon pour la conduite de bout en bout, particulièrement dans les scénarios où la dépendance aux annotations de perception explicites est minimisée, et que l'intégration des connaissances du simulateur offre une voie robuste pour apprendre des comportements de conduite multimodaux.