💻 computer science

Test-Time Trajectory Optimization for Autonomous Driving

TOAD ist eine Plug-and-Play-Methode zur Trajektorienoptimierung zur Testzeit, die die Cross-Entropy-Methode nutzt, um gelernte Trajektorien-Belohnungen zu suchen und zu maximieren, wodurch die Leistung bestehender End-to-End-Planer für das autonome Fahren ohne erneutes Training signifikant verbessert wird.

Ursprüngliche Autoren: Yihong Xu, Eloi Zablocki, Yuan Yin, Elias Ramzi, Ellington Kirby, Alexandre Boulch, Matthieu Cord

Veröffentlicht 2026-06-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yihong Xu, Eloi Zablocki, Yuan Yin, Elias Ramzi, Ellington Kirby, Alexandre Boulch, Matthieu Cord

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem selbstfahrenden Auto bei, wie man durch eine belebte Stadt navigiert. Im aktuellen „State-of-the-Art“-Ansatz arbeitet das Gehirn des Autos wie ein hastiger Personalverwalter.

So funktioniert das alte System:

Der Lebenslauf-Pool: Das neuronale Netz des Autos erstellt schnell eine feste Liste von, sagen wir, 100 möglichen Fahrwegen (Trajektorien), die es nehmen könnte.
Der Interviewer: Ein separates „Scorer“-Programm (Bewertungsprogramm) schaut sich diese 100 Wege an und wählt den besten basierend auf Sicherheit und Komfort aus.
Das Problem: Wenn die ursprüngliche Liste von 100 Wegen schrecklich ist (vielleicht führen sie alle gegen eine Wand), ist der „Interviewer“ gezwungen, die „am wenigsten schlechte“ Option zu wählen. Das System ist mit einer schlechten Auswahl gefangen, egal wie gut der Interviewer auch sein mag.

Die neue Idee: TOAD (Test-Time Trajectory Optimization)

Die Autoren dieser Arbeit, in Zusammenarbeit mit Valeo.ai, haben eine neue Methode namens TOAD eingeführt. Anstatt nur das beste Lebenslauf aus einem Stapel auszuwählen, lässt TOAD den Interviewer vor Ort nach besseren Kandidaten suchen.

Denken Sie an Folgendes:

Der alte Weg: Sie fragen einen Freund nach 10 Rezeptideen, wählen die beste aus und kochen sie. Wenn Ihr Freund nur weiß, wie man verbranntes Toast macht, essen Sie verbranntes Toast.
Der TOAD-Weg: Sie fragen Ihren Freund nach 10 Ideen, um einen Anfang zu haben. Dann nehmen Sie diese „beste Idee“ und fangen an, sie zu verfeinern – Sie fügen hier eine Prise Salz hinzu, drehen dort die Hitze etwas runter – während Sie ständig probieren, um zu sehen, ob es besser wird. Sie verfeinern das Rezept so lange, bis Sie eine köstliche Mahlzeit gefunden haben, die Ihr Freund ursprünglich gar nicht im Sinn hatte.

Wie TOAD funktioniert (Die „Cross-Entropy“-Suche)

Das Paper verwendet ein mathematisches Werkzeug, die Cross-Entropy Method (CEM). Hier ist die Analogie:

Warm Start: TOAD nimmt den „besten“ Pfad, den das Auto ursprünglich vorgeschlagen hat, und nutzt ihn als Ausgangspunkt (den Anker).
Die Suchschleife:
- Stellen Sie sich vor, das Auto steht in einem nebligen Feld. Es zeichnet einen Kreis um seine aktuelle Position.
- Es generiert viele neue Pfade nahe diesem Kreis (Sampling).
- Es jagt diese neuen Pfade durch seinen „Scorer“ (den Geschmackstester).
- Es behält die obersten Pfade, die am höchsten bewertet wurden (die „Elite“).
- Es verkleinert den Kreis ein wenig und zentriert ihn auf diesen Elite-Pfaden, dann wiederholt es den Vorgang.
Das Ergebnis: Nach ein paar schnellen Schleifen (die in Millisekunden ablaufen) hat das Auto einen Pfad gefunden, der glatter und sicherer ist als alles, was in seiner ursprünglichen Liste vorhanden war.

Die geheime Zutat: Der „generalisierende“ Scorer

Das Paper macht eine entscheidende Entdeckung: Nicht alle Interviewer können diesen Job erledigen.

Der schlechte Interviewer: Einige Scorer sind darauf trainiert, nur eine spezifische, feste Liste von vorgeschriebenen Pfaden zu bewerten. Wenn man sie nach einem neuen Pfad fragt, den sie noch nie gesehen haben, werden sie verwirrt und geben schlechte Ratschläge. Die Verwendung solcher Scorer mit TOAD macht das Auto tatsächlich schlechter fahren.
Der gute Interviewer: Das Paper fand heraus, dass sie einen speziellen Typ von Scorer benötigten (aus einem System namens DrivoR), der darauf trainiert wurde, jeden Pfad zu bewerten, nicht nur eine feste Liste. Dieser „generalisierende“ Scorer fungiert wie ein echter Experte, der ein neues Gericht probieren und sofort wissen kann, ob es gut ist, selbst wenn er das Rezept noch nie gesehen hat.

Die Ergebnisse

Das Team testete TOAD auf sechs verschiedenen selbstfahrenden Systemen unter Verwendung von realen Fahrsimulationen (NAVSIM und HUGSIM).

Plug-and-Play: Sie mussten die Autos nicht neu trainieren. Sie haben TOAD einfach an die bestehenden Systeme angehängt.
Große Siege: Für schwächere Fahrsysteme verbesserte TOAD deren Leistung um enorme Margen (bis zu 43 % besser).
State-of-the-Art: Selbst für das stärkste bestehende System (DrivoR) holte TOAD noch ein wenig zusätzliche Leistung heraus und machte es fast so gut wie ein „privilegiertes“ System, das Zugang zu perfekten Ground-Truth-Informationen hat (wie zum Beispiel genau zu wissen, wo sich jedes andere Auto befindet).
Sicherheit: In Closed-Loop-Tests (wo das Auto tatsächlich in einem Simulator fährt) wurden die Autos sicherer und komfortabler, obwohl sie manchmal etwas vorsichtiger wurden (sie fuhren langsamer, um Risiken zu vermeiden).

Das Fazit

Das Paper argumentt, dass der Flaschenhals beim selbstfahrenden Fahren nicht der „Scorer“ (der Richter) ist, sondern die Liste der Kandidaten, die das Auto generiert. Indem man einen smarten Suchalgorithmus (TOAD) nutzt, um diese Kandidaten in Echtzeit zu verfeinern, und dabei einen Richter verwendet, der gut darin ist, neue Ideen zu bewerten, können selbstfahrende Autos bessere, sicherere Pfade finden, ohne von Grund auf neu trainiert werden zu müssen.

Kurz gesagt: TOAD verwandelt ein „Wähle das Beste aus einer festen Liste“-System in ein „Verbessere es so lange, bis es perfekt ist“-System – und das alles, während das Auto fährt.

Technisches Resümee: Test-Time Trajectory Optimization for Autonomous Driving (TOAD)

1. Problemstellung

End-to-End (E2E) autonome Fahrplaner folgen typischerweise einem „Generate-and-Select“-Paradigma: Sie erzeugen eine endliche Menge an Kandidatentrajektorien (entweder aus einem vordefinierten Vokabular oder on-the-fly generiert) und verwenden einen gelernten Scorer, um diese zu ranken, wobei die Option mit dem höchsten Score zurückgegeben wird.

Die Autoren identifizieren einen kritischen Engpass in dieser Pipeline: Der Scorer wird erst nach der Generierung angewendet und kann den Satz der Kandidaten nicht beeinflussen. Wenn die ursprüngliche Menge der Vorschläge suboptimal ist (z. B. wenn alle Kandidaten unsicher oder ineffizient sind), ist der Planer gezwungen, das „beste aus einer schlechten Menge“ zurückzugeben, unabhängig von der Qualität des Scorers. Aktuelle Methoden behandeln den Scorer lediglich als Ranking-Mechanismus für eine feste Menge und verpassen dabei die Gelegenheit, ihn als Zielfunktion zur aktiven Suche nach besseren Trajektorien zu nutzen.

Darüber hinaus hebt das Paper eine verborgene Schwäche vieler bestehender Scorers hervor: Solche, die darauf trainiert wurden, feste Vokabulare zu bewerten, versagen oft bei der Generalisierung auf Trajektorien außerhalb ihrer Trainingsverteilung. Wenn sie als Belohnungsfunktion für eine Suche verwendet werden, können diese Scorers zu „Reward Hacking“ oder Leistungsdegradierung führen, da sie bei neuartigen, frei dekodierten Trajektorien ungenau sind.

2. Methodik: TOAD

Die Autoren schlagen TOAD (Test-time Optimization for Autonomous Driving) vor, ein Plug-and-Play-Verfahren, das den eingefrorenen E2E-Scorer als gelernte Belohnungsfunktion (Reward Function) umformt und eine Suche über den Trajektorienraum zur Laufzeit der Inferenz durchführt.

Kernalgorithmus: Cross-Entropy Method (CEM)

TOAD kapselt einen eingefrorenen Basis-Planer in einer Inferenz-Schleife basierend auf der Cross-Entropy Method (CEM):

Warm-Start & Trust Region: Die Suche wird mit der vom Basis-Planer ausgewählten Trajektorie ( $\tau_{base}$ ) und deren Kandidatenset initialisiert. Dies begrenzt die Suche auf eine „Trust Region“ (Vertrauensbereich) um die Vorschläge des Planers, um sicherzustellen, dass die Suche innerhalb der Verteilung bleibt, in der der Scorer zuverlässig ist.
Kontrollraum-Suche: Anstatt direkt im Pose-Raum zu sampeln (was dynamisch unzulässige Trajektorien ergeben würde), sampelt TOAD im Kontrollraum. Trajektorien werden mittels eines inversen kinematischen Fahrradmodells auf Sequenzen von longitudinaler Beschleunigung ( $a_t$ ) und Gierrate ( $\omega_t$ ) abgebildet. Dies stellt sicher, dass alle gesampelten Trajektorien glatt und kinematisch machbar sind.
Zielfunktion: Die CEM maximiert eine zusammengesetzte Zielfunktion $J(u)$ $J (u)$ :
$J(u) = S(\text{BM}(u, v_0); o, g) - \lambda_a C_{anchor}(u) - \lambda_c C_{comf}(u)$
- $S$ (Scorer): Die gelernte Belohnung des eingefrorenen Planers.
- $C_{anchor}$ : Ein Regularisierer, der die Abweichung von der Anker-Trajektorie des Basis-Planers bestraft, um die Trust Region einzuhalten.
- $C_{comf}$ : Ein geschlossener Komfort-Regularisierer (der Beschleunigung, Ruck usw. bestraft), um ein Signal bereitzustellen, das der gelernte Scorer möglicherweise nur grob schätzt.
Iterative Verfeinerung: In jeder Iteration werden $M$ Kontrollsequenzen aus einer Gaußschen Verteilung gesampelt, in Trajektorien gerollt, bewertet und die Top- $E$ „Elite“-Sequenzen werden verwendet, um die Parameter der Gaußschen Verteilung ( $\mu, \sigma$ ) neu anzupassen.
Finale Auswahl: Nach $K$ Iterationen wird die durch den konvergierten Mittelwert induzierte Trajektorie mit dem ursprünglichen Basis-Vorschlag verglichen. Diejenige mit dem höheren finalen Score (einschließlich der Komfort-Strafen) wird ausgewählt.

Entscheidendes Design-Element: Der Scorer

Eine kritische Erkenntnis ist, dass nicht alle Scorers für TOAD funktionieren.

Fixed-Vocabulary Scorers: Scorers, die nur darauf trainiert wurden, vordefinierte Trajektorien zu ranken (z. B. Hydra-MDP, GTRS), versagen, wenn sie als Belohnung für eine Suche verwendet werden. Ihre Leistung sinkt drastisch bei Trajektorien außerhalb ihres spezifischen Vokabulars.
Disentangled Scorers: TOAD erfordert einen Scorer, der darauf trainiert wurde, frei dekodierte Trajektorien zu bewerten (z. B. der Scorer von DrivoR). Dieser Scorer bleibt auch außerhalb der Vorschlagsverteilung genau, was ihn zu einer validen Belohnungsfunktion für die CEM-Schleife macht.

3. Wichtigste Beiträge

Umformulierung des Scorers: Die Autoren schlagen vor, den E2E-Trajektorien-Scorer nicht nur als Ranking-Werkzeug für eine feste Menge zu betrachten, sondern als gelernte Belohnungsfunktion, die eine Suche nach optimalen Trajektorien leiten kann.
TOAD-Framework: Ein Test-Time-Suchalgorithmus, der in jeden bestehenden Basis-Planer ohne Retraining eingebunden werden kann. Er nutzt CEM, um Trajektorien im Kontrollraum zu optimieren, wobei er durch die Vorschläge des Planers „warmgestartet“ wird.
Identifikation von Scorer-Limitierungen: Die Arbeit zeigt auf, dass die Standard-Ranking-Evaluierung nicht die Unfähigkeit eines Scorers offenbart, zu generalisieren. TOAD demonstriert, dass erfolgreiche Test-Time-Optimierung einen Scorer erfordert, der über seine Trainingsvorschläge hinaus generalisiert – eine Eigenschaft, die festen Vokabular-Ansätzen fehlt.
Plug-and-Play-Leistung: TOAD verbessert die Leistung über sechs verschiedene Basis-Planer hinweg (sowohl Vokabular-basierte als auch On-the-fly-Generatoren) auf mehreren Benchmarks bei vernachlässigbarem Rechenaufwand und ohne Modell-Updates.

4. Experimentelle Ergebnisse

Die Methode wurde auf NAVSIM-v1, NAVSIM-v2 und dem Closed-Loop-Simulator HUGSIM evaluiert.

NAVSIM-v2 (Neuer State of the Art):
- TOAD angewandt auf DrivoR erreichte 56,3 EPDMS, ein neues State-of-the-Art-Ergebnis, das fast das privilegierte PDM-Closed-Baseline-Ergebnis (56,6) erreicht, welches Ground-Truth-Perzeption nutzt.
- Signifikante Gewinne wurden bei allen Planern beobachtet. Beispielsweise verbesserte sich iPad um +43,6 % (von 34,7 auf 49,8 EPDMS), während DrivoR um +3,1 % zulegte.
- Die Suche verringerte effektiv die Leistungslücke zwischen schwachen und starken Planern, wobei schwächere Planer die größten Zuwächse erzielten.
NAVSIM-v1:
- Es zeigten sich konsistente Verbesserungen, wobei DrivoR + TOAD 94,7 PDMS erreichte, nur 0,1 Punkte unter der Human-Driver-Baseline (94,8).
HUGSIM (Closed-Loop):
- TOAD verbesserte Sicherheitsmetriken (No-Collision, Drivable Area, Time-to-Collision) sowie den Komfort in fotorealistischen Szenen.
- Während die Routenabschlussrate (Route Completion, RC) manchmal sank (was auf vorsichtigeres Fahren hindeutet), verbesserte sich der gesamte Driving Score (HDS), insbesondere bei nuScenes und KITTI360.
Ablationsstudien:
- Search vs. Re-ranking: Das bloße Re-Ranking der Basis-Planner-Vorschläge mit dem Scorer lieferte inkonsistente Ergebnisse (schadete der Leistung teilweise). Die Gewinne resultierten spezifisch aus der Suche, die neue Trajektorien außerhalb des ursprünglichen Sets entdeckte.
- Notwendigkeit des Scorers: Die Verwendung von nicht-generalisierenden Scorers (z. B. GTRS) als Belohnung führte zu einem Leistungsabfall unter die Baseline, was die Notwendigkeit eines generalisierenden, disentangled Scorers bestätigt.
- Kontrollraum: Die Optimierung im Kontrollraum übertraf das direkte Sampling im Trajektorienraum.
Rechenaufwand:
- Der Overhead ist minimal. Die Suche fügt pro Sample nur 1,9 ms bis 20,4 ms hinzu (abhängig von der Anzahl der Iterationen $K$ ).
- Wenn der Scorer Teil des Basis-Planers ist (gemeinsame Perception-Backbone), ist der Aufwand nahezu null. Wenn er extern ist, wird der Aufwand durch die redundante Perception-Backbone (~100 ms) dominiert, aber die Suche selbst bleibt leichtgewichtig.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass der primäre Engpass im aktuellen E2E-Planning oft das Kandidaten-Set ist, nicht der Scorer. Indem TOAD den Scorer als optimierbare Belohnungsfunktion behandelt, erschließt es eine Leistung, die dem Planner zuvor nicht zugänglich war.

Die Autoren betonen, dass TOAD eine modeste Plug-and-Play-Verbesserung ist, die kein Retraining erfordert. Sein Erfolg hängt von der Verfügbarkeit eines generalisierenden Scorers ab. Die Arbeit weist auf eine klare Richtung für das zukünftige Planner-Design hin: den Bau von Scorern, die vom Trajektorien-Generator entkoppelt sind und darauf trainiert wurden, frei dekodierte Trajektorien zu bewerten. Dies würde es ermöglichen, dass starke Test-Time-Suche quasi „kostenlos“ kommt und die Sicherheit und den Komfort signifikant steigert, ohne architektonische Änderungen am Generierungsnetzwerk vorzunehmen.

Das Paper schließt damit, dass TOAD derzeit zwar auf einen Basis-Planer zur Initialisierung angewiesen ist, eine ausreichend genaue und generalisierende Scorer-Kapazität jedoch letztlich eine Suche von Grund auf ermöglichen könnte, was die Notwendigkeit eines Basis-Generators potenziell vollständig aufheben würde. Dies bleibt jedoch eine zukünftige Forschungsrichtung, die von der Skalierung der Scorer-Kapazität und der Daten abhängt.