💻 computer science

Addressing the Waypoint-Action Gap in End-to-End Autonomous Driving via Vehicle Motion Models

Dieses Paper schlägt ein differenzierbares Fahrzeugbewegungs-Framework vor, das die Lücke zwischen waypoint-basiertem und action-basiertem End-to-End-autonomen Fahren schließt, indem es ermöglicht, action-basierte Policies innerhalb standardisierter waypoint-basierter Benchmarks zu trainieren und zu evaluieren, wodurch eine State-of-the-Art-Performance auf NAVSIM erreicht wird.

Ursprüngliche Autoren: Jorge Daniel Rodríguez-Vidal, Gabriel Villalonga, Diego Porres, Antonio M. López Peña

Veröffentlicht 2026-02-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jorge Daniel Rodríguez-Vidal, Gabriel Villalonga, Diego Porres, Antonio M. López Peña

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Autofahren bei. Es gibt zwei Hauptwege, wie man dem Roboter sagen kann, was er tun soll:

Die „Lenkrad“-Methode (Aktionsbasiert): Sie sagen dem Roboter: „Drehe das Lenkrad 5 Grad nach links, drücke das Gaspedal ein wenig und bremse nicht.“ Das ist so, als würde man einem Piloten spezifische, niedrigschwellige Befehle geben.
Die „Routen-Wegpunkt“-Methode (Wegpunktbasiert): Sie sagen dem Roboter: „Fahre zu diesem spezifischen Punkt auf der Karte, dann zu jenem, dann zum nächsten.“ Das ist wie die Übergabe einer Liste von Zielen an ein GPS.

Das Problem: Die Sprachbarriere
Lange Zeit wurde die „Routen-Wegpunkt“-Methode zum Goldstandard. Die meisten Tests, Wettbewerbe und Trainingsprogramme für selbstfahrende Autos sind darauf ausgelegt, zu prüfen, ob der Roboter diese spezifischen Wegpunkte auf der Karte trifft.

Viele Forscher bevorzugen jedoch die „Lenkrad“-Methode, weil sie flexibler ist und keine perfekten GPS-Karten benötigt (ideal für ländliche Gebiete). Das Problem dabei? Man kann einen „Lenkrad“-Roboter nicht einfach in einem „Routen-Wegpunkt“-Wettbewerb testen. Es ist, als würde man versuchen, an einem Schachturnier teilzunehmen, obwohl man nur weiß, wie man Dame spielt; die Regeln passen nicht zu den eigenen Zügen. Dies schuf eine „Lücke“, durch die gute „Lenkrad“-Roboter nicht beweisen konnten, dass sie gut waren, weil die Tests für „Routen-Wegpunkt“-Roboter gebaut wurden.

Die Lösung: Der „Universelle Übersetzer“
Die Autoren dieser Arbeit haben einen cleveren „Übersetzer“ oder eine Brücke gebaut, um dies zu beheben.

Sie haben ein spezielles, mathematisches Werkzeug (ein differenzierbares Fahrzeugmodell) erstellt, das wie ein Simulator innerhalb des Trainingsprozesses fungiert. So funktioniert es:

Der Input: Der Roboter gibt seine „Lenkrad“-Befehle (Lenken, Gas geben, Bremsen).
Die Simulation: Das Werkzeug berechnet sofort: „Wenn das Auto genau das tut, was du gesagt hast, wo wird es in 1 Sekunde sein? Wo wird es in 2 Sekunden sein?“ Es wandelt diese niedrigschwelligen Befehle in eine Liste von Wegpunkten (Wegpunkten auf der Karte) um.
Die Prüfung: Das System prüft dann, ob diese berechneten Wegpunkte mit dem „korrekten“ Pfad übereinstimmen.
Das Lernen: Wenn der Roboter vom Kurs abkam, sendet das System ein „Korrektursignal“ durch den Simulator zurück an den Roboter, um ihn zu lehren, wie er Lenkung und Gas anpasst, um die Zielpunkte zu treffen.

Warum ist das cool?

Ein faires Spielfeld: Jetzt kann ein Roboter, der in „Lenkrad“-Befehlen denkt, an „Routen-Wegpunkt“-Turnieren teilnehmen, ohne dass die Regeln des Spiels geändert werden müssen.
Es ist flexibel: Die Autoren haben zwei Arten von „Übersetzern“ getestet:
- Das Fahrrad-Modell (KBM): Stellen Sie sich vor, das Auto ist ein Fahrrad. Es ist eine einfache, schnelle Art zu erraten, wohin das Auto fährt.
- Das Glatte Kurven-Modell (CCPP): Stellen Sie sich vor, das Auto zeichnet ein perfektes, glattes Band auf den Boden. Dies ist komplexer, bewältigt aber Kurven und scharfe Wendungen viel besser, wie ein professioneller Rennfahrer.
Bessere Ergebnisse: Als sie diese Brücke verwendeten, schnitten die „Lenkrad“-Roboter genauso gut wie oder sogar besser als die „Routen-Wegpunkt“-Roboter in anspruchsvollen Fahrtests ab.

Das Fazit
Die Arbeit zeigt, dass man sich nicht entscheiden muss, ob man einem Roboter das Autofahren durch Lenken oder durch das Folgen einer Karte beibringt. Man kann ihm das Lenken beibringen und diesen „Mathematik-Brücke“ nutzen, um so zu tun, als würde er einer Karte folgen, um Zwecke wie das Testen und Bewerten zu erfüllen. Dies ermöglicht es, die besten Fahrstile fair miteinander zu vergleichen, was zu sichereren und intelligenteren selbstfahrenden Autos führt.

Was sie nicht behauptet haben:

Sie haben nicht behauptet, dass dies alle Probleme des selbstfahrenden Autos löst (wie z. B. 3D-Hügel oder Federungsschwingungen).
Sie haben nicht behauptet, dass dies ein medizinisches Werkzeug oder eine spezifische zukünftige Anwendung ist; es handelt sich rein um eine Methode, um das Training und Testen von Fahrsoftware aktuell zu verbessern.

Technische Zusammenfassung: Adressierung der Waypoint–Action-Lücke in End-to-End-Autonomen Fahrsystemen mittels Fahrzeugbewegungsmodellen

1. Problemstellung

End-to-End-Systeme für autonomes Fahren (E2E-AD) sind derzeit in zwei Paradigmen unterteilt, die sich nach ihrem Output unterscheiden: Waypoint-basierte Modelle, welche zukünftige Trajektorien vorhersagen, und Action-basierte Modelle, welche direkt niedrige Steuerbefehle (Gas, Lenkung, Bremse) ausgeben. Während action-basierte Policies Vorteile wie eine verringerte Abhängigkeit von hochpräzisem GPS und eine bessere Eignung für ländliche Gebiete mit schlechter Konnektivität bieten, hat sich die Forschungsgemeinschaft zunehmend zugunsten von Waypoint-basierten Ansätzen entschieden.

Dieser Wandel hat eine „Waypoint–Action-Lücke“ geschaffen. Die meisten modernen Benchmarks (z. B. NAVSIM, Bench2Drive) und Trainings-Pipelines sind ausschließlich für Waypoint-Outputs konzipiert. Infolgedessen können action-basierte Policies nicht direkt innerhalb dieser Frameworks trainiert oder evaluiert werden, ohne nicht-standardisierte Schnittstellen einzuführen (z. B. Diskretisierung der Steuerungsräume). Dieses Ungleichgewicht behindert den fairen Vergleich und den Fortschritt von action-basierten Methoden. Das Paper zielt darauf ab, diese Lücke zu schließen, indem es ermöglicht, dass action-basierte Architekturen innerhalb bestehender Waypoint-basierter Benchmarks trainiert und evaluiert werden können, ohne die Evaluierungsprotokolle zu ändern.

2. Methodik

Die Autoren schlagen ein differenzierbares Fahrzeugmodell-Framework vor, das als analytische Brücke zwischen Action- und Waypoint-Repräsentationen fungiert. Der Kernmechanismus ist ein Lifting-Operator ( $F_\phi$ ), der vorhergesagte Action-Sequenzen in entsprechende Wegpunkt-Trajektorien im Ego-Frame überführt („rollout“). Dies ermöglicht es dem System, action-basierte Policies unter Verwendung von Loss-Funktionen im Waypoint-Raum zu überwachen.

Kernkomponenten:

Der Lifting-Operator ( $F_\phi$ ): Dieser Operator nimmt eine Sequenz niedriger Aktionen ( $a_t$ $a_{t}$ ) und den initialen Fahrzeugzustand ( $s_t$ $s_{t}$ ), um eine Sequenz von Waypoints ( $w_t$ $w_{t}$ ) zu erzeugen. Er ist in drei modulare, differenzierbare Komponenten zerlegt:
1. Control Activation ( $\psi_\phi$ ): Bildet rohe Netzwerkausgaben auf begrenzte physikalische Steuerelemente ab (z. B. unter Verwendung von Sigmoid/Tanh für Gas und Lenkung).
2. Dynamics Rollout ( $f_\phi$ ): Propagiert den kinematischen Zustand zeitlich vorwärts unter Verwendung der Fahrzeugdynamik.
3. Pose Projection ( $h$ ): Extrahiert die ebene Position $(x, y)$ aus dem vollständigen Zustandsvektor.
Modell-Instanziierungen: Das Framework wird mit zwei spezifischen Fahrzeugmodellen instanziiert:
- Kinematisches Bicycle-Modell (KBM): Ein Single-Track-Modell, das nichtholonome Nebenbedingungen erfasst und mittels Euler- oder Runge-Kutta (RK4)-Methoden integriert wird.
- Continuous Curvature Path Planner (CCPP): Ein Modell, das glatte Trajektorien unter Verwendung von Clothoid-Bögen erzeugt, um Krümmungskontinuität zu gewährleisten und Lenk-Diskontinuitäten geradliniger bzw. kreisförmiger Pfade zu vermeiden.
- MLP-Baseline: Ein Multi-Layer Perceptron wird ebenfalls als datengesteuerter Lifting-Operator verwendet, um sich mit physikbasierten Modellen zu vergleichen.
Trainings-Pipeline: Das Policy-Netzwerk ( $N_\theta$ ) sagt Aktionen aus Beobachtungen und Kommandos voraus. Diese Aktionen werden durch den differenzierbaren Lifting-Operator geleitet, um vorhergesagte Waypoints zu generieren. Ein gewichteter L1-Loss wird zwischen den vorhergesagten Waypoints und den Ground-Truth-Waypoints berechnet. Gradienten fließen durch den Lifting-Operator zurück, um die Parameter der Policy zu aktualisieren, während die Parameter des Fahrzeugmodells fixiert bleiben.

3. Hauptbeiträge

Das Paper skizziert drei primäre Beiträge:

Waypoint-basiertes Trainingsziel für Action-Policies: Die Autoren zeigen, dass die Kopplung von Action-Policies an ihr Framework und deren Überwachung mittels eines Loss im Waypoint-Raum zu einer stabileren Evaluierung, einer höheren Closed-Loop-Performance und einer stärkeren Korrelation mit Fahrergebnissen führt als Standard-Objectives im Action-Raum.
Differenzierbares und deterministisches Framework: Diese Arbeit führt erstmals ein deterministisches und differenzierbares Fahrzeugdynamik-Framework ein, das speziell dafür entwickelt wurde, niedrige Aktionen zu Waypoints zu „liften“, um deren Verwendung in Standard-Benchmarks zu ermöglichen.
Vereinheitlichter Vergleich über Paradigmen hinweg: Durch die Instanziierung des Frameworks mit KBM und CCPP ermöglichen die Autoren es, dass action-basierte und waypoint-basierte Policies unter demselben Waypoint-Protokoll trainiert und evaluiert werden können, ohne die bestehenden Benchmark-Schnittstellen zu ändern.

4. Experimentelle Ergebnisse

Das Framework wurde über vier anspruchsvolle Benchmarks evaluiert: NAVSIM navtest, NAVSIM navhard, Bench2Drive und ein CARLA-basiertes Protokoll.

NAVSIM navhard (Reaktiv): Der Ansatz erreichte eine State-of-the-Art-Performance unter den Vision-only Modellen. Insbesondere erreichte MILE in Kombination mit dem CCPP-Lifting-Operator einen Extended Predictive Driver Model Score (EPDMS) von 29,5 und übertraf damit das stärkste Vision-only Baseline-Modell (Latent TransFuser).
NAVSIM navtest (Nicht-reaktiv): Das Framework ermöglichte es action-basierten Policies, waypoint-basierten Baselines zu entsprechen oder diesen sehr nahe zu kommen. CIL++ mit KBM erreichte einen Planning Discrepancy Metric Score (PDMS) von 83,3, was innerhalb von 1,5 % des State-of-the-Art Waypoint-only Modells (LAW) liegt.
Bench2Drive (Closed-loop): Das Framework verbesserte die Closed-Loop-Performance signifikant. Für die CIL++ Baseline verbesserte sich der Driving Score (DS) um bis zu 61,1 % (von 43,6 auf 66,9 mit CCPP) und die Routenabschlussrate (Route Completion, RC) um über 30 %.
Trainingsstabilität: Die Verwendung der RK4-Integration (insbesondere mit CCPP) reduzierte die Varianz in der Trainingsdynamik im Vergleich zur Euler-Integration erheblich, was zu einer robusteren Modellselektion führte.
Korrelationsstudie: Das Paper stellte fest, dass durch das Framework (KBM/CCP) generierte Fehler auf Waypoint-Ebene stärker mit den Closed-Loop-Erfolgsraten korrelieren als rohe Fehler im Action-Raum, was darauf hindeutet, dass eine Überwachung auf Trajektorien-Ebene ein besserer Stellvertreter für die reale Performance ist.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass sein Framework die methodische Kluft zwischen action-basiertem und waypoint-basiertem autonomen Fahren effektiv überbrückt. Indem es ermöglicht, dass action-basierte Policies innerhalb des dominierenden, waypoint-zentrierten Benchmark-Ökosystems trainiert und evaluiert werden, entfernt diese Arbeit eine signifikante Barriere für die Entwicklung und den Vergleich von kontrollbasierten Ansätzen.

Die Autoren betonen, dass ihre Methode keine Änderung der bestehenden Benchmark-Protokolle erfordert, was sie zu einem allgemeinen Mechanismus für die Anpassung von action-basierten Policies macht. Sie merken an, dass das Framework eine ebene Bewegung ( $R^2$ ) annimmt und 3D-Effekte wie Bankungen oder Federung vernachlässigt, aber erfolgreich physikalische Fahrzeugmodelle nutzt, um die Stabilität und Performance des End-to-End-Learnings zu verbessern. Die Arbeit legt nahe, dass die Integration der kinematischen Struktur via differenzierbarem Lifting vorteilhaft ist, insbesondere in reaktiven Umgebungen, in denen sich Fehler über die Zeit akkumulieren.