💻 computer science

Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving

Drive-JEPA vestigt een nieuwe staat van de kunst in end-to-end autonoom rijden door Video Joint-Embedding Predictive Architecture (V-JEPA) te integreren voor predictieve representatieleer met een voorstel-gecentreerde planner die door de simulator gegenereerde multimodale trajecten destilleert om de beperkingen van enkelvoudige traject-supervisie te overwinnen.

Oorspronkelijke auteurs: Linhan Wang, Zichong Yang, Chen Bai, Guoxiang Zhang, Xiaotong Liu, Xiaoyin Zheng, Xiao-Xiao Long, Chang-Tien Lu, Cheng Lu

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Linhan Wang, Zichong Yang, Chen Bai, Guoxiang Zhang, Xiaotong Liu, Xiaoyin Zheng, Xiao-Xiao Long, Chang-Tien Lu, Cheng Lu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zelfrijdende auto niet alleen leert door een paar voorbeelden te laten zien van hoe een mens rijdt, maar door het een enorme bibliotheek aan rijfilms te geven om te bestuderen, en het vervolgens te laten oefenen in een supergeavanceerde videogame-simulator. Dat is in essentie wat Drive-JEPA doet.

Hier is een uitsplitsing van hoe dit nieuwe systeem werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Eén-Pad-Valstrik"

De meeste zelfrijdende auto's van nu leren door te kijken naar een menselijke bestuurder. Maar er is een addertje onder het gras: in een specifieke situatie (zoals het naderen van een geel licht) neemt een mens meestal slechts één specifieke actie. Er zijn echter in de echte wereld vaak veel veilige manieren om een situatie af te handelen (bijv. je kunt rustig afremmen, of je kunt volledig stoppen).

Als een auto alleen leert van dat enkele menselijke pad, raakt hij "vast" in het denken dat er slechts één manier is om te rijden. De auto wordt rigide en kan andere veilige, comfortabele opties missen. Dit wordt mode collapse genoemd — de auto vergeet dat er meerdere manieren zijn om een probleem op te lossen.

2. De Oplossing: Drive-JEPA

De onderzoekers hebben een driesluikend systeem gebouwd om dit op te lossen, dat fungeert als een meesterlijke rijinstructeur met een tijdmachine en een spelcomputer.

Deel A: De "Filmliefhebber" Pre-training (V-JEPA)

In plaats van alleen specifieke bochten te onthouden, kijkt de auto eerst duizenden uren aan pure rijvideo's.

De Analogie: Stel je een student voor die duizenden uren aan rijfilms kijkt, maar nog niet verteld krijgt wat hij moet doen. Ze leren de "grammatica" van het rijden: hoe auto's bewegen, hoe het verkeer stroomt en hoe de wereld verandelt in de loop van de tijd.
De Techniek: Ze gebruiken een techniek genaamd V-JEPA. Zie dit als een "invulspelletjes"-game voor video's. De computer verbergt een stukje van de video en vraagt de AI om te voorspellen wat er daarna gebeurt. Door dit miljoenen keren te doen, bouwt de AI een diep, intuïtief begrip op van hoe de rijwereld werkt, zonder dat elk object gelabeld hoeft te worden. Dit geeft de auto een sterke "hersenen" voordat hij zelfs maar begint met leren sturen.

Deel B: De "Simulator Coach" (Multimodale Traject Distillatie)

Zodra de AI zijn "hersenen" heeft, moet hij leren beslissingen te nemen. Meestal ziet hij alleen het ene pad dat een mens heeft genomen. Drive-JEPA verandert het spel door een Simulator Coach in te zetten.

De Analogie: Stel je een rijstudent voor die oefent in een videogame. De game kan duizenden verschillende "wat als"-scenario's genereren. Misschien swerveert de auto in de ene versie van de simulatie naar links; in een andere remt hij hard; in een derde manoeuvreert hij door het verkeer. Al deze opties zijn veilig en legaal.
De Techniek: Het systeem gebruikt een op regels gebaseerde simulator om veel verschillende veilige paden (trajecten) te genereren voor elke scène. Het leert de AI vervolgens om al deze verschillende opties te herkennen en te waarderen, niet alleen het enkele pad dat de mens nam. Dit wordt Multimodale Traject Distillatie genoemd. Het is alsof je tegen de AI zegt: "Er is niet slechts één goed antwoord; hier zijn vijf verschillende veilige manieren om deze kruising af te handelen."

Deel C: De "Gladheid-Filter" (Momentum-Bewuste Selectie)

Nu heeft de AI een reeks verschillende paden om uit te kiezen. Hoe kiest hij de beste?

De Analogie: Stel je voor dat je door een gang loopt. Als je plotseling je lichaam naar links, dan naar rechts, en dan weer naar links beweegt, voel je je duizelig en oncomfortabel. Je wilt vloeiend bewegen.
De Techniek: Het systeem bevat een Momentum-Bewuste Selectie module. Het kijkt naar het pad dat de auto een fractie van een seconde geleden nam en controleert de nieuwe opties. Als een optie een plotselinge, schokkerige verandering van richting vereist, straft het systeem dit af. Het kiest het pad dat niet alleen veilig is, maar ook vloeiend en natuurlijk aanvoelt voor de passagiers, waardoor "schokkerig" rijgedrag wordt vermeden.

De Resultaten

Toen ze dit systeem testten op standaard rij-benchmarks (zoals NAVSIM en Bench2Drive), waren de resultaten indrukwekkend:

Slimere Beslissingen: Het presteerde beter dan eerdere state-of-the-art methoden en vestigde nieuwe records voor veiligheid en vloeiendheid.
Minder is Meer: Zelfs toen ze alle fancy "perceptie"-sensoren (zoals LiDAR) verwijderden en alleen een enkele camera aan de voorzijde gebruikten, presteerde het systeem nog steeds beter dan anderen. Dit bewijst dat de "Filmliefhebber"-pre-training de auto een echt sterke fundering heeft gegeven.
Vloeiendere Ritten: Door de momentumfilter te gebruiken, rijdt de auto comfortabeler en vermijdt hij plotselinge, schokkerige bewegingen.

Samenvattend

Drive-JEPA is als het nemen van een zelfrijdende auto-student, het geven van een PhD in rijtheorie door duizenden films te laten kijken, het laten oefenen in een videogame waar hij elke mogbare veilige uitkomst ziet, en hem vervolgens te leren om het meest vloeiende, meest comfortabele pad te kiezen. Het resultaat is een auto die rijdt als een bekwame mens die de flow van het verkeer begrijpt, in plaats van een robot die simpelweg een enkele lijn op een kaart kopieert.

Technische Samenvatting: Drive-JEPA

Probleemstelling

End-to-end autonoom rijden streeft ernaar om ruwe sensoraanwijzingen direct te mappen naar rijacties met behulp van een verenigd neuraal model. Het vakgebied staat echter voor twee primaire knelpunten:

Beperkt nut van video-pretraining: Hoewel zelfgesuperviseerde video-pretraining steeds vaker wordt gebruikt om overdraagbare representaties te leren, hebben bestaande benaderingen (bijv. pixelgebaseerde generatieve modellen of latente wereldmodellen) slechts beperkte verbeteringen opgeleverd. Pixelgebaseerde doelstellingen zijn computationeel duur en kunnen zich richten op irrelevante visuele details, terwijl latente benaderingen vaak lijden onder representatie-instorting (representation collapse) of er niet in slagen duidelijke voordelen te tonen bij opschaling.
Multimodale ambiguïteit en supervisie-knelpunt: Rijscenario's zijn inherent multimodaal, maar standaard datasets bieden slechts één menselijke traject per scène. Deze schaarste beperkt het leren van diverse gedragingen. Bestaande oplossingen vertrouwen ofwel op vaste discrete vocabulaires (wat de generalisatie naar scenario's buiten de vocabulaire beperkt) of op diffusie-gebaseerde methoden die beperkt blijven door single-trajectory supervisie, wat leidt tot mode collapse of beperkte diversiteit.

Methodologie: Drive-JEPA

De auteurs stellen Drive-JEPA voor, een framework dat Video Joint-Embedding Predictive Architecture (V-JEPA) integreert met multimodale traject-distillatie om deze knelpunten aan te pakken. Het framework bestaat uit drie kerncomponenten:

1. Driving Video Pretraining (V-JEPA Adaptatie)

Om planning-gealigneerde voorspellende representaties te leren, passen de auteurs V-JEPA aan voor het domein van het rijden.

Architectuur: Een Vision Transformer (ViT) encoder wordt gepre-traind op een grootschalige dataset van rijvideo's (gecureerd uit CoVLA, DrivingDojo en OpenScene).
Doelstelling: Het model leert de latente representatie van een gemaskeerde doelview te voorspellen vanuit een gemaskeerde bronview. Deze zelfgesuperviseerde doelstelling bevat een stop-gradient operator en een exponential moving average (EMA) encoder om representatie-instorting te voorkomen.
Opschaling: In tegenstelling tot eerdere latente wereldmodellen, slaagt deze benadering erin om pretraining op te schalen naar 330 uur aan videodata met lagere computationele kosten, wat resulteert in features die inherent gealigneerd zijn met trajectplanning.

2. Multimodale Traject-distillatie

Om het knelpunt van single-trajectory supervisie te overwinnen, distilleert het framework kennis van regelgebaseerde simulators naar een proposal-centrische planner.

Proposal Generatie: In plaats van een vaste vocabulaire, genereert het model online traject-proposals met behulp van waypoint-verankerde deformable attention. Deze proposals worden iteratief verfijnd door BEV-features (Bird's-Eye-View) rond voorspelde waypoints te aggregeren.
Pseudo-Teacher Distillatie: Een traject-vocabulaire wordt geconstrueerd via k-means clustering van historische data. Voor elke scène evalueert een regelgebaseerde simulator (gebaseerd op NAVSIM v2 protocollen) trajecten uit deze vocabulaire op basis van veiligheids- en comfortrestricties (EPDMS score). Hoog scorende, diverse trajecten worden geselecteerd als "pseudo-teachers".
Trainingsverlies: De proposal generator wordt getraind om de afstand te minimaliseren tot zowel het grondwaarheid menselijke traject als de set diverse, door de simulator gegenereerde pseudo-teacher trajecten, waardoor multimodale output wordt aangemoedigd zonder te vertrouwen op een enkele menselijke demonstratie.

3. Momentum-bewuste Trajectselectie

Om het uiteindelijke traject te selecteren uit de diverse set aan proposals, evalueert een neurale scorer kandidaten op basis van botsingsrisico, naleving van verkeersregels en comfort.

Comfort Mechanisme: Om temporele inconsistentie (jitter) te mitigeren die vaak wordt geïntroduceerd door diverse proposals, bevat de selectiemodule een momentum-bewuste penalty. Het vergelijkt de huidige proposals met het traject dat in het vorige frame ( $t-1$ ) is geselecteerd en straft grote distorties af.
Uiteindelijke Selectie: Het traject met de hoogste gerekalibreerde score (combinatie van de geleerde scorer en de comfortterm) wordt geselecteerd voor uitvoering.

Belangrijkste Bijdragen

V-JEPA Pretraining voor Rijden: Het artikel introduceert de toepassing van V-JEPA op end-to-end rijden en demonstreert dat grootschalige video-pretraining met voorspellende doelstellingen de prestaties aanzienlijk verbetert in zowel perceptie-gebaseerde als perceptie-vrije settings.
Multimodale Traject-distillatie: Een nieuwe supervisiestrategie die simulator-gegenereerde, diverse trajecten distilleert naar een proposal-centrisch framework, waarmee de beperking van single-human-trajectory supervisie effectief wordt doorbroken.
Momentum-bewuste Selectie: Een lichtgewicht selectiemodule die het rijcomfort en de temporele stabiliteit verbetert door frame-naar-frame traject-distortie af te straffen.
State-of-the-Art Prestaties: De methode bereikt nieuwe state-of-the-art resultaten op belangrijke benchmarks zonder te vertrougen op complexe perceptie-annotaties.

Experimentele Resultaten

Het framework werd geëvalueerd op NAVSIM v1, NAVSIM v2 en Bench2Drive.

NAVSIM v1 (Perception-Free): Gebruikmakend van alleen een front-view camera en een lichtgewicht transformer decoder met V-JEPA gepre-trainde features, behaalde het model 89.0 PDMS, waarmee het eerdere perception-free methoden (zoals Epona met 86.1, LAW met 83.8) met een aanzienlijke marge versloeg.
NAVSIM v1 (Volledig Framework): Met het volledige Drive-JEPA framework (inclusclusief distillatie en selectie) behaalde het model 93.7 PDMS (ViT/L backbone), waarmee het de vorige beste (DriveSuprim met 93.5) overtrof.
NAVSIM v2: De methode behaalde 87.8 EPDMS, waarmee een nieuwe state-of-the-art werd gevestigd. Opvallend genoeg presteerde het goed op Extended Comfort (EC) en andere metrieken voor regelnaleving waar eerdere methoden moeite mee hadden.
Bench2Drive: In closed-loop CARLA-simulaties behaalde Drive-JEPA een Driving Score (DS) van 64.52, waarmee het andere proposal-centrische methoden zoals iPad (60.52) met 4 punten versloeg, wat de effectiviteit van de multimodale distillatie valideert.

Betekenis en Claims

Het artikel claimt dat Drive-JEPA er succesvol in is geslaagd om zelfgesuperviseerde video-pretraining te verenigen met multimodale trajectgeneratie om de fundamentele beperkingen van huidige end-to-end rij-systemen aan te pakken.

Effectiviteit van Pretraining: De resultaten benadrukken dat V-JEPA pretraining sterke, overdraagbare representaties biedt die ervoor zorgen dat zelfs eenvoudige decoders beter presteren dan complexe perceptie-gebaseerde pipelines in perception-free settings.
Diversiteit vs. Stabiliteit: Het werk demonstreert dat simulator-gestuurde distillatie diverse, veilige trajecten kan genereren zonder de temporele stabiliteit op te offeren, mits een momentum-bewust selectiemechanisme wordt gebruikt.
Schaalbaarheid: De benadering bewijst dat het opschalen van video-pretraining met efficiënte latente voorspelling (V-JEPA) een levensvatbaar pad vooruit is, waarbij de computationele kosten van pixelgebaseerde generatie worden vermeden terwijl de problemen van naïeve latente modellen worden voorkomen.

De auteurs benadrukken dat hun methode een nieuwe benchmark zet voor end-to-end rijden, met name in scenario's waar de afhankelijkheid van expliciete perceptie-annotaties tot een minimum wordt beperkt, en dat de integratie van simulator-kennis een robuust pad biedt voor het leren van multimodale rijgedragingen.