Latent Chain-of-Thought World Modeling for End-to-End Driving

Autorijden is een voortdurende daad van voorspellen. Voordat een menselijke bestuurder het stuur draait, stelt hij zich al voor wat er hierna zal gebeuren: de auto voor hen kan remmen, een voetganger zou van de stoeprand kunnen stappen, of een gat in het verkeer zou kunnen sluiten. Deze mentale simulatie van de toekomst is wat ons veilig houdt. Decennialang hebben ingenieurs geprobeerd computers hetzelfde te leren, door systemen te bouwen die naar de weg kunnen kijken en kunnen beslissen waar ze naartoe moeten sturen. De meest geavanceerde van deze systemen, bekend als end-to-end autonoom rijden, proberen dit hele proces in één keer te leren, waarbij ruwe camerabeelden direct worden gekoppeld aan stuurcommando's zonder menselijke regels. Onlangs hebben onderzoekers geprobeerd deze systemen te verbeteren door ze een "stem" te geven, waardoor de computer hardop kan nadenken in natuurlijke taal voordat hij een beweging maakt, net zoals een menselijke bestuurder zijn gedachten becommentarieert.

Echter, een nieuwe studie suggereert dat voor een machine spreken in zinnen niet de meest efficiënte manier van denken is. De onderzoekers, die werkten met gegevens van NVIDIA en de University of Texas at Austin, ontdekten dat het dwingen van een zelfrijdende auto om een stroom van tekst te genereren om zijn redenering uit te leggen, het proces vertraagt en zelfs tot fouten kan leiden. In plaats daarvan ontwikkelden zij een systeem genaamd LCDrive dat denkt in een stille, interne taal van getallen en patronen. Dit systeem schrijft geen woorden op zoals "de auto voor ons remt af". In plaats daarvan simuleert het onmiddellijk de toekomstige gevolgen van zijn acties in een compacte, wiskundige ruimte, waardoor het snellere en veiligere beslissingen kan nemen.

De kern van dit werk is het vervangen van de praatgrage, woordenrijke redenering van traditionele kunstmatige intelligentie door een gestroomlijnd, stil proces. In het verleden probeerden onderzoekers zelfrijdende auto's te helpen door een keten van tekst te laten genereren, een "denkproces" geschreven in het Engels, voordat er een beslissing werd genomen over een rijmanoeuvre. Hoewel dit de menselijke conversatie nabootst, stellen de onderzoekers dat het slecht geschikt is voor de fractie-van-een-seconde eisen van het rijden. Natuurlijke taal is traag om te genereren en slaagt er vaak niet in om de precieze geometrie van de weg of de complexe dans van meerdere interagerende voertuigen vast te leggen. Een zin die een bocht beschrijft, komt mogelijk niet perfect overeen met de werkelijke stuurhoek die de auto moet nemen, wat een kloof creëert tussen wat de computer zegt en wat hij doet.

Om dit op te lossen, creëerde het team een model dat redeneert in een "latente" ruimte, een verborgen laag van de hersenen van de computer waar informatie wordt opgeslagen als dichte patronen in plaats van woorden. In dit nieuwe systeem schrijft de auto geen verhaal over de weg. In plaats daarvan doorloopt het razendsnel een reeks interne stappen: het stelt een mogelijke actie voor, zoals een lichte draai, en simuleert onmiddellijk hoe de wereld er één seconde later uit zou zien als die actie zou worden ondernomen. Vervolgens stelt het een andere actie voor en simuleert het die toekomst ook. Dit gebeurt in een fractie van een seconde, waarbij de computer deze stille simulaties vergelijkt om te beslissen welk pad het veiligst is. Het systeem is getraind om deze toekomstige uitkomsten direct vanuit de huidige scène te voorspellen, waardoor het effectief leert om over de weg vooruit te "dromen" zonder ooit te hoeven spreken.

De onderzoekers testten deze aanpak op een enorme dataset van echte rijlogs, bestaande uit meer dan 1.700 uur aan beelden uit complexe stedelijke omgevingen. Ze vergeleken hun stille, latent-denkende model met twee andere soorten systemen: één die beslissingen nam zonder enige vorm van redenering, en een andere die gebruik maakte van de traditionele tekstgebaseerde redenering. De resultaten toonden aan dat het stille model aanzienlijk sneller en nauwkeuriger was. Het produceerde rijpaden die dichter bij hoe een menselijke expert zou rijden lagen, met minder fouten in positie en een veel lager percentage waarbij de auto de rijbaan verliet of botste met andere voertuigen.

Misschien wel het belangrijkste is dat het stille redeneringssysteem bewezen meer aanpasbaar was wanneer het werd getraind met een techniek genaamd reinforcement learning (versterkend leren). In deze fase oefent de computer het rijden in een lus, waarbij hij feedback ontvangt over hoe hij heeft gepresteerd en zijn interne logica aanpast om het de volgende keer beter te doen. Het tekstgebaseerde systeem had moeite om met deze oefening te verbeteren, omdat het vaak faalde om de gesproken gedachten te verbinden met de werkelijke rijacties. In contrast hiermee bloeide het stille systeem juist op, door zijn interne simulaties te gebruiken om zijn beslissingen te verfijnen en merkbaar veiliger en nauwkeuriger te worden. De studie vond dat deze aanpak de gemiddelde afstand tussen het pad van de auto en het ideale pad met een aanzienlijke marge verminderde, vooral in moeilijke situaties zoals invoegen in het verkeer of het navigeren door drukke kruispunten.

Het succes van deze methode suggereert dat voor machines de meest effectieve manier van denken niet is om te praten. Door de inefficiënties van taal weg te strippen en direct te redeneren in de taal van de eigen voorspellingen van de machine, bereikt het systeem een niveau van coördinatie tussen gedachte en actie dat tekstgebaseerde modellen niet kunnen evenaren. De onderzoekers merken op dat hoewel hun systeem zeer effectief is, het momenteel vertrouwt op een trainingsproces dat precieze gegevens vereist over de posities van andere voertuigen, wat op grote schaal moeilijk te verzamelen is. Ze erkennen ook dat omdat de redenering plaatsvindt in een verborgen wiskundige ruimte, het voor mensen moeilijker is om in het systeem te kijken en precies te zien wat het denkt, in tegen tegenstelling tot een tekstgebaseerd systeem dat zijn rationale kan printen.

Ondanks deze beperkingen bieden de bevindingen een duidelijke richting voor de toekomst van autonoom rijden. De studie laat zien dat de meest geavanceerde redenering voor zelfrijdende auto's er misschien helemaal niet uitziet als een menselijk gesprek. In plaats daarvan lijkt het op een snelle, stille berekening van mogelijkheden, waarbij het voertuig zijn eigen toekomst voortdurend controleert tegen de realiteit van de weg. Deze verschuiving van spreken naar simuleren stelt de auto in staat om te reageren met een snelheid en precisie die de instinctieve aard van het menselijk rijden weerspiegelt, wat bewijst dat de beste manier om een complex probleem op te lossen soms is om te stoppen met praten en te beginnen met denken in de enige taal die er echt toe doet: de toekomst zelf.