💻 computer science

Test-Time Trajectory Optimization for Autonomous Driving

TOAD is een plug-and-play, test-tijd trajectoptimalisatiemethode die de Cross-Entropy Method gebruikt om geleerde trajectniveau-beloningen te zoeken en te maximaliseren, wat de prestaties van bestaande end-to-end autonome rij planners aanzienlijk verbetert zonder dat hertraining vereist is.

Oorspronkelijke auteurs: Yihong Xu, Eloi Zablocki, Yuan Yin, Elias Ramzi, Ellington Kirby, Alexandre Boulch, Matthieu Cord

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yihong Xu, Eloi Zablocki, Yuan Yin, Elias Ramzi, Ellington Kirby, Alexandre Boulch, Matthieu Cord

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zelfrijdende auto leert hoe hij door een drukke stad moet navigeren. In de huidige "state-of-the-art" aanpak werkt het brein van de auto als een haastige personeelsmanager.

Zo werkt het oude systeem:

De CV-pool: Het neurale netwerk van de auto genereert snel een vaste lijst van, zeg, 100 mogelijke rijpaden (trajecten) die hij zou kunnen nemen.
De Interviewer: Een apart "scorer"-programma bekijkt deze 100 paden en kiest de beste op basis van veiligheid en comfort.
Het Probleem: Als de initiële lijst van 100 paden verschrikkelijk is (bijvoorbeeld als ze allemaal betrokken zijn bij een botsing met een muur), is de "interviewer" gedwongen om de "minst slechte" optie te kiezen. Het systeem zit vast met een slechte set keuzes, ongeacht hoe goed de interviewer ook is.

Het Nieuwe Idee: TOAD (Test-Time Trajectory Optimization)

De auteurs van dit paper, werkend met Valeo.ai, introduceerden een nieuwe methte: TOAD. In plaats van alleen de beste CV uit een stapel te kiezen, laat TOAD de interviewer ter plekke op zoek gaan naar betere kandidaten.

Denk hieraan als volgt:

De Oude Manier: Je vraagt een vriend om 10 receptideeën, kiest het beste en kookt het. Als je vriend alleen weet hoe hij verbrand brood moet maken, eet je verbrand brood.
De TOAD-Manier: Je vraagt een vriend om 10 ideeën om je op weg te helpen. Daarna neem je dat "beste idee" en begin je het te verfijnen—je voegt hier een snufje zout toe, zet daar het vuur wat lager—terwijl je constant proeft om te zien of het beter wordt. Je blijft het recept verfijnen totdat je een heerlijke maaltijd hebt gevonden die je vriend oorspronkelijk niet eens had bedacht.

Hoe TOAD Werkt (De "Cross-Entropy" Zoektocht)

Het paper gebruikt een wiskundig hulpmiddel genaamd de Cross-Entropy Method (CEM). Hier is de analogie:

Warm Start: TOAD neemt het "beste" pad dat de auto oorspronelijk voorstelde en gebruikt dat als startpunt (het anker).
De Zoeklus:
- Stel je voor dat de auto in een mistig veld staat. Hij tekent een cirkel rond zijn huidige positie.
- Hij genereert veel nieuwe paden nabij die cirkel (sampling).
- Hij haalt deze nieuwe paden door zijn "scorer" (de proever).
- Hij houdt de top paar paden die het hoogst scoorden (de "elites").
- Hij verkleint de cirkel iets en centreert deze op die elite-paden, en herhaalt het proces.
Het Resultaat: Na een paar snelle lussen (die in milliseconden gebeuren), heeft de auto een pad gevonden dat vloeiender en veiliger is dan alles in zijn oorspronkelijke lijst.

Het Geheime Ingrediënt: De "Generaliserende" Scorer

Het paper maakt een cruciale ontdekking: Niet alle interviewers kunnen deze baan doen.

De Slechte Interviewer: Sommige scorers zijn getraind om alleen een specifieke, vaste lijst van vooraf geschreven paden te rangschikken. Als je hen vraagt om een nieuw pad te beoordelen dat ze nog nooit hebben gezien, raken ze in de war en geven ze slecht advies. Het gebruik van deze scorers met TOAD maakt de auto zelfs slechter rijden.
De Goede Interviewer: Het paper vond dat ze een specifiek type scorer nodig hadden (uit een systeem genaamd DrivoR) die getraind is om elk pad te beoordelen, niet alleen een vaste lijst. Deze "generaliserende" scorer werkt als een echte expert die een nieuw gerecht kan proeven en direct weet of het goed is, zelfs als het een recept is dat hij nog nooit heeft gezien.

De Resultaten

Het team heeft TOAD getest op zes verschillende zelfrijdende systemen met behulp van real-world rijsimulaties (NAVSIM en HUGSIM).

Plug-and-Play: Ze hoefden de auto's niet opnieuw te trainen. Ze koppelden TOAD simpelweg aan de bestaande systemen.
Grote Winsten: Voor zwakkere rijsystemen verbeterde TOAD hun prestaties met enorme marges (tot wel 43% beter).
State-of-the-Art: Zelfs voor het sterkste bestaande systeem (DrivoR) haalde TOAD nog een beetje extra prestatie uit, waardoor het bijna net zo goed werd als een "privileged" systeem dat toegang heeft tot perfecte, grondwaarheidsinformatie (zoals precies weten waar elk ander voertuig zich bevindt).
Veiligheid: In closed-loop tests (waarbij de auto daadwerkelijk rijdt in een simulator), werden de auto's veiliger en comfortabeler, hoewel ze soms iets voorzichtiger werden (langzamer rijden om risico's te vermijden).

De Kern van het Verhaal

Het paper beargumenteert dat de bottleneck in zelfrijdende auto's niet de "scorer" (de rechter) is, maar de lijst met kandidaten die de auto genereert. Door een slim zoekalgoritme (TOAD) te gebruiken om die kandidaten in real-time te verfijnen, en een rechter te gebruiken die goed is in het evalueren van nieuwe ideeën, kunnen zelfrijdende auto's betere, veiligere paden vinden zonder vanaf nul opnieuw getraind te hoeven worden.

Kortom: TOAD verandert een "kies het beste uit een vaste lijst" systeem in een "blijf verbeteren tot het perfect is" systeem, terwijl de auto gewoon aan het rijden is.

Technische Samenvatting: Test-Time Trajectory Optimization for Autonomous Driving (TOAD)

1. Probleemstelling

End-to-end (E2E) autonome rij-planners volgen doorgaans een "generate-and-select" paradigma: ze produceren een eindige set kandidaat-trajecten (ofwel uit een vooraf berekende vocabulaire, ofwel on-the-fly gegenereerd) en gebruiken een geleerde scorer om deze te rangschikken, waarbij de optie met de hoogste score wordt teruggegeven.

De auteurs identificeren een kritieke bottleneck in deze pijplijn: de scorer wordt pas toegepast na de generatie en kan de set kandidaten niet beïnvloeden. Als de initiële set voorstellen suboptimal is (bijv. als alle kandidaten onveilig of inefficiënt zijn), is de planner gedwongen om de "beste van een slechte set" terug te geven, ongeacht de kwaliteit van de scorer. Huidige methoden behandelen de scorer louter als een rangschikkingsmechanisme voor een vaste set, waardoor de kans wordt gemist om de scorer te gebruiken als een objectieve functie om actief naar betere trajecten te zoeken.

Bovendien wijst het artikel op een verborgen zwakte in veel bestaande scorers: die getraind zijn om vaste vocabularia te evalueren, falen vaak bij het generaliseren naar trajecten buiten hun trainingsdistributie. Wanneer ze worden gebruikt als beloningsfunctie voor zoekopdrachten, kunnen deze scorers leiden tot "reward hacking" of prestatievermindering omdat ze onnauwkeurig zijn bij nieuwe, vrij gedecodeerde trajecten.

2. Methodologie: TOAD

De auteurs stellen TOAD voor (Test-time Optimization for Autonomous Driving), een plug-and-play procedure die de bevroren E2E-scorer herkadert als een geleerde beloningsfunctie en tijdens de inferentie een zoekopdracht uitvoert over de trajectruimte.

Kernalgoritme: Cross-Entropy Method (CEM)

TOAD omvat een bevroren basisplanner in een inferentie-loop gebaseerd op de Cross-Entropy Method (CEM):

Warm-start & Trust Region: De zoekopdracht wordt geïnitialiseerd met het door de basisplanner geselecteerde traject ( $\tau_{base}$ ) en de bijbehorende kandidaatenset. Dit beperkt de zoekopdracht tot een "trust region" rond de voorstellen van de planner, wat ervoor zorgt dat de zoekopdracht binnen de distributie blijft waar de scorer betrouwbaar is.
Control Space Search: In plaats van direct te samplen in de pose-ruimte (wat dynamisch onhaalbare trajecten oplevert), samplet TOAD in de control space. Trajecten worden in kaart gebracht naar sequenties van longitudinale acceleratie ( $a_t$ ) en yaw rate ( $\omega_t$ ) met behulp van een invers kinematisch fietsmodel. Dit garandeert dat alle gesamplede trajecten vloeiend en kinematisch haalbaar zijn.
Doelfunctie: De CEM maximaliseert een samengestelde doelfunctie $J(u)$ $J (u)$ :
$J(u) = S(\text{BM}(u, v_0); o, g) - \lambda_a C_{anchor}(u) - \lambda_c C_{comf}(u)$
- $S$ (Scorer): De geleerde beloning van de bevroren planner.
- $C_{anchor}$ : Een regularisator die afwijking van het anker-traject van de basisplanner bestraft om de trust region te handhaven.
- $C_{comf}$ : Een gesloten vorm comfort-regularisator (die acceleratie, jerk, etc. bestraft) om een signaal te bieden dat de geleerde scorer wellicht grofmatig inschat.
Iteratieve Verfijning: In elke iteratie worden $M$ control-sequenties gesampled uit een Gaussische distributie, uitgerold naar trajecten, gescoord, en worden de top- $E$ "elite" sequenties gebruikt om de Gaussische parameters ( $\mu, \sigma$ ) opnieuw aan te passen.
Definitieve Selectie: Na $K$ iteraties wordt het traject geïnduceerd door het geconvergeerde gemiddelde vergeleken met het oorspronkelijke basisvoorstel. De optie met de hogere definitieve score (inclusief comfort-strafpunten) wordt geselecteerd.

Cruciale Ontwerpkeuze: De Scorer

Een cruciale bevinding is dat niet alle scorers werken voor TOAD.

Fixed-Vocabulary Scorers: Scorers die alleen getraind zijn om vooraf berekende trajecten te rangschikken (bijv. Hydra-MDP, GTRS), falen wanneer ze als beloning voor zoekopdrachten worden gebruikt. Hun prestaties nemen scherp af bij trajecten buiten hun specifieke vocabulaire.
Disentangled Scorers: TOAD vereist een scorer die getraind is om vrij gedecodeerde trajecten te evalueren (bijv. de scorer van DrivoR). Deze scorer blijft accuraat buiten de voorstel-distributie, wat hem een geldige beloningsfunctie maakt voor de CEM-loop.

3. Belangrijkste Bijdragen

Herformulering van de Scorer: De auteurs stellen voor om de E2E-trajectscorer niet alleen te zien als een rangschikkingsinstrument voor een vaste set, maar als een geleerde beloningsfunctie die in staat is om een zoekopdracht naar optimale trajecten te sturen.
TOAD-framework: Een test-time zoekalgoritme dat inplugt in elke bestaande basisplanner zonder hertraining. Het gebruikt CEM om trajecten in de control space te optimaliseren, waarbij het warm-gestart wordt vanuit de voorstellen van de planner.
Identificatie van Scorer-beperkingen: Het werk legt bloot dat standaard rangschikkingsevaluaties de onmogelijkheid van een scorer om te generaliseren niet onthullen. TOAD toont aan dat succesvolle optimalisatie tijdens de testtijd een scorer vereist die generaliseert buiten zijn trainingsvoorstellen, een eigenschap die ontbreekt bij fixed-vocabulary benaderingen.
Plug-and-Play Prestaties: TOAD verbetert de prestaties van zes diverse basisplanners (zowel vocabulaire-gebaseerde als on-the-fly generatoren) op meerdere benchmarks met verwaarloosbare computationele overhead en zonder modelupdates.

4. Experimentele Resultaten

De methode werd geëvalueerd op NAVSIM-v1, NAVSIM-v2 en de closed-loop HUGSIM simulator.

NAVSIM-v2 (Nieuwe State of the Art):
- TOAD toegepast op DrivoR bereikte 56.3 EPDMS, een nieuwe state-of-the-art resultaat dat bijna overeenkomt met de geprivilegieerde PDM-Closed baseline (56.6) die gebruikmaakt van ground-truth perceptie.
- Significante winsten werden waargenomen bij alle planners. Zo verbeterde iPad met +43.6% (van 34.7 naar 49.8 EPDMS), terwijl DrivoR verbeterde met +3.1%.
- De zoekopdracht verkleinde effectief de prestatiekloof tussen zwakke en sterke planners, waarbij de zwakkere planners de meeste winst boekten.
NAVSIM-v1:
- Consistente verbeteringen werden gezien, waarbij DrivoR + TOAD een score van 94.7 PDMS bereikte, slechts 0.1 punt onder de menselijke bestuurder-baseline (94.8).
HUGSIM (Closed-Loop):
- TOAD verbeterde veiligheidsmetrieken (No-Collision, Drivable Area, Time-to-Collision) en comfort in fotorealistische scènes.
- Hoewel Route Completion (RC) soms afnam (wat duidt op voorzichtiger rijgedrag), verbeterde de algemene Driving Score (HDS), met name op nuScenes en KITTI360.
Ablatie-studies:
- Search vs. Re-ranking: Het simpelweg opnieuw rangschikken van de voorstellen van de basisplanner met de scorer leverde inconsistente resultaten op (soms verslechterde het de prestaties). De winst kwam specifiek voort uit de zoekopdracht die nieuwe trajecten ontdekte buiten de oorspronkelijke set.
- Noodzaak van de Scorer: Het gebruiken van niet-generaliserende scorers (bijv. GTRS) als beloningen zorgde ervoor dat de prestaties onder de baseline zakten, wat de noodzaak bevestigt voor een gedisentangled, generaliserende scorer.
- Control Space: Optimalisatie in de control space presteerde beter dan directe sampling in de trajectruimte.
Computationele Kosten:
- De overhead is minimaal. De zoekopdracht voegt slechts 1.9 ms tot 20.4 ms toe per sample (afhankelijk van het aantal iteraties $K$ ).
- Wanneer de scorer deel uitmaakt van de basisplanner (en de perceptie-backbone deelt), is de kosten bijna nul. Wanneer de scorer extern is, wordt de kosten gedomineerd door de redundante perceptie-backbone (~100 ms), maar de zoekopdracht zelf blijft lichtgewicht.

5. Betekenis en Claims

Het artikel claimt dat de primaire bottleneck in de huidige E2E-planning vaak de kandidaatenset is, en niet de scorer. Door de scorer te behandelen als een optimaliseerbare beloningsfunctie, ontsluit TOAD prestaties die voorheen onbereikbaar waren voor de planner.

De auteurs benadrukken dat TOAD een bescheiden, plug-and-play verbetering is die geen hertraining vereist. Het succes ervan hangt af van de beschikbaarheid van een generaliserende scorer. Het werk suggereert een duidelijke richting voor toekomstig planner-ontwerp: het bouwen van scorers die gedisentangled zijn van de trajectgenerator en getraind zijn om vrij gedecodeerde trajecten te evalueren. Dit zou ervoor zorgen dat sterke test-time zoekopdrachten "gratis" komen, wat de veiligheid en het comfort aanzienlijk verhoogt zonder architecturale wijzigingen aan het generatienetwerk.

Het artikel concludeert dat hoewel TOAD momenteel een basisplanner nodig heeft voor initialisatie, een voldoende nauwkeurige en generaliserende scorer uiteindelijk een zoekopdracht vanaf nul zou kunnen mogelijk maken, wat potentieel de noodzaak voor een basisgenerator volledig wegneemt. Dit blijft echter een toekomstige richting die afhankelijk is van de opschaling van de capaciteit van de scorer.