Zelfrijdende auto's vertrouwen al lang op een modulaire aanpak, waarbij één deel van de software de weg ziet, een ander beslist wat er moet gebeuren, en een derde het voertuig stuurt. Deze scheiding leidt vaak tot een opeenstapeling van fouten, zoals een spelletje telefoontje waarbij de boodschap bij elke beurt wordt vervormd. Om dit op te lossen, hebben onderzoekers end-to-end systemen ontwikkeld die direct leren rijden van camerabeelden naar stuurcommando's, vergelijkbaar met een menselijke bestuurder die een situatie ziet en reageert zonder dit bewust in stappen op te splitsen. Deze systemen hebben echter vaak moeite met zeldzame of complexe scenario's omdat ze niet het vermogen hebben om echt "vooruit te denken" over wat er hierna zal gebeuren. Ze zien het heden helder, maar hebben moeite met het voorstellen van de toekomst, wat essentieel is voor veilige navigatie.

Een veelbelovende nieuwe richting betreft "wereldmodellen", wat computerprogramma's zijn die getraind zijn om te voorspellen hoe een scène in de loop van de tijd verandert. Door te leren de volgende paar seconden van een video te voorspellen, kunnen deze modellen de dynamiek van het verkeer begrijpen en deze vooruitziendheid gebruiken om hun eigen bewegingen te plannen. Toch is er een aanzienlijke kloof gebleven tussen de krachtige videovoorspellingstechnieken die in onderzoek worden gebruikt en de specifieke behoeften van autonoom rijden. Veel bestaande methoden proberen ontbrekende delen van een video willekeurig in te vullen, wat goed is voor het begrijpen van het verleden, maar slecht voor het voorspellen van de toekomst. Andere methoden vertrouwen op vereenvoudigde, gecomprimeerde representaties van de wereld die te veel detail verliezen om nuttig te zijn voor complexe besluitvorming. De uitdaging is geweest om een systeem te creëren dat zowel de rijke, gedetailleerde realiteit van de weg kan begrijpen als betrouwbaar plausibele toekomsten kan genereren om acties te sturen.

Onderzoekers van Afari Intelligent Drive en verschillende universiteiten hebben dit aangepakt door een specifieke architectuur genaamd Video Joint Embedding Predictive Architecture, of V-JEPA, te heroverwegen. Deze technologie is ontworpen om diepe, betekenisvolle patronen uit video te leren zonder menselijke labels nodig te hebben, maar in zijn oorspronkelijke vorm was het gebouwd om ontbrekende stukjes van een video aan te vullen in plaats van vooruit te kijken in de tijd. Het team realiseerde zich dat een auto om zelfstandig te kunnen rijden, vooruit moet kijken, en niet alleen gaten moet opvullen. Ze ontwikkelden een nieuw systeem genaamd WA-JEPA, dat de krachtige leervermogens van V-JEPA specifiek aanpast aan de taak van het rijden. In plaats van willekeurig ontbrekende delen van een video te raden, is hun model getraind om de huidige weg te observeren en precies te voorspellen hoe de scène er in de toekomst uit zal zien, terwijl het tegelijkertijd beslist wat de auto moet doen.

De kern van hun innovatie ligt in de manier waarop ze het model leren om over tijd na te denken. In de eerste fase van de training krijgt het systeem een sequentie van videokaders van meerdere camera's op een auto te zien. Vervolgens krijgt het de opdracht om de toekomstige kaders te verbeelden die volgen op het laatste zichtbare moment. In tegen afzetting van eerdere methoden die wellicht een ontbrekend frame in het midden van een video proberen te raden, wordt dit model gedwongen strikt vooruit te kijken, waardoor het de oorzaak-gevolgrelaties van het verkeer leert. Om deze voorspellingen realistischer te maken, hebben de onderzoekers een standaard wiskundige benadering vervangen door een techniek genaamd flow matching. Dit stelt het model in staat om een vloeiend, continu pad van toekomstige mogelijkheden te genereren, in plaats van slechts één enkele statische uitkomst te raden. Dit is cruciaal omdat de toekomst zelden een enkel vast punt is; het is een reeks mogelijkheden waar de auto doorheen moet navigeren.

In de tweede fase verbonden de onderzoekers dit vermogen om de toekomst te zien direct met de besturing van de auto. Ze bouwden een enkel, verenigd systeem dat zowel het toekomstige uiterlijk van de weg als de toekomstige acties van de auto tegelijkertijd voorspelt. Door deze twee taken samen te trainen, leert het model dat de manier waarop de wereld verandert direct verbonden is met hoe de auto beweegt. Als de auto draait, verandert het uitzicht op een specifieke manier; als de auto stopt, gedraagt de wereld zich anders. Deze nauwe koppeling betekent dat het model de wereld niet alleen ziet, maar ook begrijpt hoe zijn eigen acties die wereld vormgeven. Het resultaat is een systeem dat over complexe verkeerssituaties kan redeneren door de toekomst in zijn geest te simuleren voordat het een zet doet.

Het team testte hun nieuwe systeem op een standaard benchmark genaamd NAVSIM, die real-world rijdata gebruikt om te evalueren hoe goed autonome voertuigen kunnen navigeren. Op de NAVSIM-v2 test behaalde WA-JEPA een score van 91,7, waarmee het de beste bestaande end-to-end rijmethoden en andere wereldmodel-benaderingen overtrof. Deze verbetering geeft aan dat het systeem beter is in het vermijden van botsingen en het volgen van verkeersregels. Misschien nog indrukwekkender is dat de onderzoekers het model testten op een volledig andere, closed-loop simulator genaamd HUGSIM, zonder het extra training te geven voor die specifieke omgeving. In deze zero-shot test, waarbij de auto continu moest rijden en in realtime moest reageren op zijn eigen fouten, behaalde WA-JEPA een hoge score van 0,4462, waarmee het alle andere methoden met een aanzienlijke marge versloeg. Dit suggereert dat het vermogen om de toekomst te voorspellen en acties te plannen samen een robuust begrip van rijden creëert dat goed overdraagbaar is naar nieuwe en onbekende situaties.

De bevindingen suggereren dat de sleutel tot beter autonoom rijden wellicht niet ligt in het toevoegen van meer sensoren of complexere regels, maar in het aanleren van het systeem om de toekomst nauwkeuriger te verbeelden. Door de focus te verschuiven van het simpelweg aanvullen van ontbrekende videodata naar het actief voorspellen van wat er daarna komt, en door die voorspelling direct te koppelen aan de beslissingen van de auto, hebben de onderzoekers een model gecreëerd dat rijdt met een meer menselijke mate van vooruitziendheid. Deze aanpak overbrugt de kloof tussen het begrijpen van de visuele wereld en het ondernemen van actie, en biedt een pad naar voertuigen die de onvoorspelbare aard van echte wegen met meer vertrouwen en veiligheid kunnen aanpakken.