💻 computer science

CLAP: Contrastive Latent-space Prompt Optimization for End-to-end Autonomous Driving

Dieser Beitrag stellt CLAP vor, ein standortbewusstes Framework, das per-Blockade-weiche Prompts im latenten Raum eingefrorener Vision-Language-Action-Modelle optimiert, um Planungsfehler in seltenen, sicherheitskritischen Long-Tail-Fahrszenarien signifikant zu reduzieren, ohne die Leistung bei normalen Frames zu beeinträchtigen.

Ursprüngliche Autoren: Ruiyang Zhu, Yuehan He, Boyuan Zheng, Zesen Zhao, Ahmad Chalhoub, Qingzhao Zhang, Z. Morley Mao

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ruiyang Zhu, Yuehan He, Boyuan Zheng, Zesen Zhao, Ahmad Chalhoub, Qingzhao Zhang, Z. Morley Mao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein selbstfahrendes Auto vor, das unglaublich intelligent ist. Es hat das gesamte Internet gelesen, kennt alle Verkehrsregeln und kann 99 % der Fahrsituationen perfekt bewältigen. Es ist wie ein brillanter Schüler, der in der Schule jede Prüfung mit Bestnoten bestanden hat.

Aber hier liegt das Problem: Wenn dieser „brillante Schüler" auf eine seltsame, seltene Situation trifft – wie etwa eine Baustelle mit überall verstreuten Kegeln oder ein Stoppschild, das hinter einem geparkten LKW verborgen ist – gerät er in Panik. Er könnte gegen die Kegel fahren oder nicht anhalten. Dies sind die „Long-Tail"-Probleme: seltene, knifflige Situationen, denen das Auto nicht oft genug begegnet ist, um sie auf natürliche Weise zu lernen.

Die Arbeit stellt eine neue Methode namens CLAP vor, um dies zu beheben, ohne das gesamte Auto von Grund auf neu zu unterrichten. So funktioniert es, unter Verwendung einfacher Analogien:

Das Problem: Das Scheitern des „Einheitsmodells"

Normalerweise würde man, um einen schlechten Fahrer zu verbessern, ihn mehr lernen lassen (mehr Daten sammeln) oder ihn zurück in die Fahrschule schicken (das Modell neu trainieren). Doch seltene Probleme sind zu spezifisch, um sie durch allgemeines Lernen abzudecken. Man kann ein Auto nicht auf jedes einzelne Schlagloch oder jede einzelne Baustelle auf der Welt trainieren.

Die Autoren erkannten etwas Wichtiges: Fehler passieren an spezifischen Orten.

Wenn ein Auto an Baustelle A einen Unfall baut, liegt das am spezifischen Layout dieser Baustelle.
Wenn es an Kreuzung B einen Unfall baut, liegt das an der spezifischen Geometrie dieser Kreuzung.

Das Auto muss nicht lernen, wie man mit allen Baustellen der Welt umgeht; es muss nur lernen, wie man mit dieser spezifischen umgeht.

Die Lösung: Der „lokale Spickzettel" (CLAP)

Anstatt das gesamte Gehirn des Autos neu zu schreiben, erstellt CLAP winzige, unsichtbare „Spickzettel" (sogenannte weiche Prompts) für spezifische Orte.

Stellen Sie sich das Gehirn des Autos als eine riesige Bibliothek vor. CLAP baut die Bibliothek nicht um. Stattdessen klebt es eine kleine Notiz an das Regal für eine bestimmte Straßenecke. Wenn das Auto an dieser Ecke vorbeifährt, liest es die Notiz und passt sein Verhalten sofort an.

Wie CLAP den Spickzettel erstellt

Der Prozess findet in der Cloud (wie ein zentrales Gehirn) unter Verwendung von Daten anderer Autos statt, die zuvor durch diesen kniffligen Punkt gefahren sind. Es verwendet einen zweistufigen „Trainings"-Prozess:

Schritt 1: Finden der „Richtung des Problems"
Stellen Sie sich das Gehirn des Autos als einen 3D-Raum vor, in dem jede Fahrsituation ein Punkt ist.

Normale Fahrten sind als Punkte gruppiert.
Knifflige Fahrten sind als rote Murmeln direkt daneben gemischt, wie rote Murmeln, die unter blauen liegen.
Das Ziel: Das System muss eine spezifische Richtung finden, um die „kniffligen" Punkte von den „normalen" wegzuschieben, ohne die „normalen" überhaupt zu bewegen.
Die Methode: Es verwendet eine Technik namens Contrastive Learning (kontrastives Lernen). Es ist wie ein Lehrer, der auf die roten Murmeln zeigt und sagt: „Bewege dich in diese Richtung, um sicher zu sein", während er die blauen ignoriert. Dies erstellt einen „Kompass" (eine spezifische Richtung) für diese spezifische Straßensperre.

Schritt 2: Schreiben der Notiz mit Schutzvorkehrungen
Nun schreibt das System den eigentlichen „Spickzettel" (den Prompt), um das Fahren des Autos an diesem kniffligen Punkt zu verbessern.

Die Falle: Wenn man dem Auto einfach sagt, es solle „den kniffligen Teil beheben", könnte es versehentlich das Fahren auf normalen Teilen derselben Straße stören, da die roten und blauen Murmeln so stark gemischt sind.
Die Lösung: CLAP verwendet Directional Regularization (gerichtete Regularisierung). Es sagt dem Auto: „Du darfst nur in die Richtung des 'Kompasses' bewegen, den wir in Schritt 1 gefunden haben."
- Dies stellt sicher, dass das Auto im kniffligen Teil besser wird.
- Es stellt auch sicher, dass das Auto auf den einfachen Teilen nicht versehentlich vom Kurs abkommt. Es ist wie ein Fahrer, der ein GPS erhält, das nur Wendungen in einer bestimmten Spur erlaubt und ihn daran hindert, in den Gegenverkehr zu switchen.

Wie es im echten Leben funktioniert (Das V2X-Netzwerk)

Die Arbeit stellt sich dies wie ein Nachbarschaftswachsystem vor:

Crowdsourcing: Auto A fährt durch eine knifflige Baustelle und hat Schwierigkeiten. Es sendet eine „Hilfsanfrage" mit seinen Daten an die Cloud.
Cloud-Verarbeitung: Die Cloud analysiert die Daten, erstellt den perfekten „Spickzettel" (den optimierten Prompt) für diese spezifische Zone und speichert ihn.
Sofortige Lieferung: Auto B nähert sich derselben Zone. Es fragt die Cloud: „Hast du eine Notiz für diesen Ort?" Die Cloud sendet den Spickzettel.
Sofortige Anpassung: Auto B lädt die Notiz in sein eingefrorenes Gehirn. Es weiß nun genau, wie es diese Baustelle sicher navigiert, obwohl es es in der Schule nie „gelernt" hat.

Die Ergebnisse

Die Autoren testeten dies an echten selbstfahrenden Modellen unter Verwendung eines Benchmarks namens NAVSIM.

Das Ergebnis: CLAP reduzierte Fahrfehler in diesen kniffligen Situationen um 24 %.
Das Sicherheitsnetz: Entscheidend ist, dass es das Auto im normalen Fahren nicht schlechter machte. Die „Spickzettel" waren so präzise, dass sie die schlechten Stellen reparierten, ohne die guten Stellen zu ruinieren.

Zusammenfassung

CLAP ist eine Möglichkeit, selbstfahrenden Autos lokale, bedarfsgerechte Weisheit zu verleihen. Anstatt zu versuchen, das Auto in allem zum Genie zu machen (was schwierig und teuer ist), gibt es dem Auto eine spezifische, sichere Anweisung für jede einzelne knifflige Straßenecke, auf die es trifft, und stellt sicher, dass es sicher fährt, ohne zu vergessen, wie man normal fährt.

Technische Zusammenfassung: CLAP – Kontrastive Prompt-Optimierung im latenten Raum für End-to-End-Autonomes Fahren

1. Problemstellung

End-to-End-Autonomes-Fahren (AD)-Systeme, die von Vision-Language-Action (VLA)-Modellen angetrieben werden, haben durch die Nutzung von großskaligem Pre-Training und Fine-Tuning eine starke Leistung bei gängigen Fahrszenarien unter Beweis gestellt. Dennoch bleiben diese Systeme in Long-Tail-Szenarien – seltenen, aber sicherheitskritischen Situationen wie aktiven Baustellen, komplexen Vorfahrtsgeometrien und Kombinationen aus widrigen Wetterbedingungen – anfällig.

Der vorherrschende Ansatz zur Bewältigung dieser Ausfälle besteht darin, die Datensammlung zu skalieren und Modelle nachzujustieren. Das Paper argumentiert, dass dieser Ansatz aufgrund folgender Faktoren abnehmende Grenzerträge aufweist:

Die Spärlichkeit seltener Ereignisse.
Die kombinatorische Komplexität von Variationen innerhalb einer Kategorie (Layouts, Wetter, Tageszeit).
Das Risiko des katastrophalen Vergessens bei häufigem Fine-Tuning auf Nischendaten.

Darüber hinaus identifiziert das Paper eine spezifische Einschränkung aktueller Anpassungsstrategien: Long-Tail-Ausfälle sind oft an bestimmte Straßenabschnitte (Roadblocks) gebunden und nicht rein auf Probleme der Generalisierung auf Kategorienebene zurückzuführen. Zudem sind innerhalb eines einzelnen Roadblocks herausfordernde (Long-Tail-)Frames und normale Frames im latenten Raum des Modells stark miteinander vermischt. Folglich führt die Optimierung eines Prompts zur Behebung herausfordernder Frames oft unbeabsichtigt zu einer Verschlechterung der Leistung bei normalen Frames aufgrund dieser latenten Vermischung.

2. Methodik: CLAP-Rahmenwerk

Die Autoren schlagen CLAP (Contrastive Latent-space Prompt Optimization) vor, ein Rahmenwerk, das ein eingefrorenes VLA-Fahrmodell mit pro-Roadblock-Soft-Prompts erweitert. Diese Prompts werden offline auf crowdsourced Daten optimiert und bei Bedarf über Vehicle-to-Everything (V2X)-Kommunikation abgerufen.

Kernbeobachtungen

Die Methodik basiert auf zwei Beobachtungen, die aus der Analyse des latenten Raums modernster VLA-Modelle abgeleitet wurden:

Lokalität: Szenarien desselben Roadblocks (ein zusammenhängender räumlicher Bereich mit stabiler visueller/geometrischer Identität) gruppieren sich im latenten Raum eng zusammen und sind von anderen Roadblocks unterscheidbar.
Vermischung: Innerhalb eines einzelnen Roadblocks sind herausfordernde und normale Frames nicht in getrennte Cluster trennbar; sie sind stark miteinander vermischt.

Die Zwei-Phasen-Pipeline

CLAP arbeitet über einen Zwei-Phasen-Prompt-Optimierungsprozess für jeden Roadblock $R$ :

Phase 1: Richtungsentdeckung durch überwachtes kontrastives Lernen

Ziel: Entdeckung einer „harten-Szenen-Richtung" ( $d^\star$ ), die herausfordernde Frames von normalen Frames im latenten Raum trennt.
Mechanismus: Ein zusätzlicher Soft-Prompt $P_A$ wird unter Verwendung eines überwachten kontrastiven Verlusts (SupCon) optimiert. Dieser Verlust drückt die versteckten Zustände herausfordernder Frames von normalen Frames weg.
Ausgabe: Die Hauptrichtung der getrennten Repräsentation wird als $d^\star$ extrahiert, ein kompakter Deskriptor der Richtung herausfordernder Szenen, spezifisch für diesen Roadblock.

Phase 2: Richtungsgeregelt Prompt-Optimierung

Ziel: Optimierung eines einsetzbaren Leistungs-Prompts $P_B$ , der herausfordernde Frames verbessert, während die Leistung normaler Frames strikt erhalten bleibt.
Mechanismus: $P_B$ $P_{B}$ wird unter einer gemeinsamen Verlustfunktion trainiert:
$L_{total} = L_{plan} + \lambda_1 L_{dir} + \lambda_2 L_{reg}$
- $L_{plan}$ : Standard-Verlust für Trajektorienregression (ADE), berechnet nur für herausfordernde Frames.
- $L_{dir}$ (Richtungsregularisierer): Ermutigt $P_B$ , Repräsentationen herausfordernder Frames entlang der vorab entdeckten Achse $d^\star$ zu verschieben. Dies schränkt die Optimierung auf den spezifischen Unterraum ein, in dem eine Trennung möglich ist.
- $L_{reg}$ (Normal-Frame-Regularisierer): Straft explizit jede Verschiebung von Repräsentationen normaler Frames relativ zur Baseline aus Phase 1. Dies verhindert, dass der Prompt in den Unterraum „leckt", der den allgemeinen Fahrverkehr beeinflusst.

Datenpartitionierung

Um dies anzuwenden, muss das System Roadblock-Spuren in „herausfordernde" und „normale" Teilmengen partitionieren. Das Paper schlägt eine VLM-basierte Pipeline vor, die semantische Identifikation (über ein starkes VLM) und empirische Validierung (Planungsfehler, die einen Schwellenwert $\delta$ überschreiten) zur Kennzeichnung von Frames verwendet.

3. Hauptbeiträge

Formulierung pro Roadblock: Das Paper zeigt durch Analyse des latenten Raums, dass Long-Tail-Probleme lokal pro Roadblock und nicht global adressiert werden können, da Roadblocks im latenten Raum distincte Mannigfaltigkeiten bilden.
CLAP-Rahmenwerk: Eine neuartige Zwei-Phasen-Prompt-Optimierungsmethode, die kontrastives Lernen zur Identifizierung einer Trennungsrichtung und richtungsgerichtete Regularisierung nutzt, um die Long-Tail-Leistung selektiv zu verbessern, ohne die normale Leistung zu verschlechtern.
Empirische Validierung: Nachweis, dass CLAP die Planungsfehler bei herausfordernden Szenarien über mehrere SOTA-VLA-Backbones hinweg reduziert, ohne ein Fine-Tuning des Backbones zu erfordern.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CLAP auf dem NAVSIM-Benchmark unter Verwendung von drei state-of-the-art VLA-Backbones: ReCogDrive, Alpamayo-R1.5 und DriveVLA-W0.

Leistung bei herausfordernden Frames: CLAP reduzierte den Average Displacement Error (ADE) bei herausfordernden Szenarien über die drei Modelle hinweg im Durchschnitt um 24%.
Leistung bei normalen Frames: Im Gegensatz zu unbeschränkter Soft-Prompt-Optimierung (die bei einigen Modellen zu einer Verschlechterung führte) oder expliziten Textwarnungen (die oft versagten oder die Leistung verschlechterten), behielt CLAP die Leistung bei normalen Frames bei oder verbesserte sie leicht.
Gesamtverbesserung: Die Kombination aus reduzierten Long-Tail-Fehlern und erhaltener normaler Leistung führte zu einer durchschnittlichen 14%igen Verbesserung des gesamten ADE.
Ablationsstudien:
- Das Entfernen von Phase 1 (kontrastive Richtungsentdeckung) führte zu signifikanten Leistungseinbußen und bestätigte, dass die spezifische Richtung $d^\star$ kritisch ist.
- Der Ersatz von $d^\star$ durch eine zufällige Richtung führte zu schlechteren Ergebnissen als das vollständige Weglassen von Phase 1, was die Notwendigkeit der gelernten kontrastiven Richtung unterstreicht.
Generalisierung: Bei Tests unter verschobenen Bedingungen (Regen und Dämmerung) ohne Augmentierung verschlechterte sich die Leistung. Die Verwendung generativer Bildbearbeitung zur Augmentierung der Trainingsdaten mit diesen Bedingungen ermöglichte es CLAP jedoch, effektiv zu generalisieren und die ADE-Lücke unter verschobenen Bedingungen signifikant zu verringern.

5. Bedeutung und Behauptungen

Das Paper positioniert CLAP als praktisch effiziente Alternative zur Skalierung von Daten und zum Fine-Tuning von Modellen zur Verbesserung der VLA-Leistung im autonomen Fahren.

Modalität der Verbesserung: Die Autoren behaupten, dass Long-Tail-Ausfälle „lokal gepatcht" werden können, indem Soft-Prompts verwendet werden, anstatt ein globales Modell-Retraining zu erfordern.
Selektivität: Die zentrale Bedeutung liegt in der Fähigkeit, schwierige Szenarien selektiv zu verbessern, während strukturell Kollateralschäden für die Leistung im allgemeinen Fahrverkehr verhindert werden – eine Herausforderung, die unbeschränkte Prompt-Optimierung aufgrund latenter Vermischung nicht lösen kann.
Einsatzfähigkeit: Das Rahmenwerk ist für den V2X-Einsatz konzipiert, wobei ein zentraler Server Prompts basierend auf crowdsourced Daten optimiert und sie an Fahrzeuge weiterleitet, die bestimmte Roadblocks betreten, wodurch die Inferenzkosten auf Fahrzeugseite minimal bleiben (eingefrorenes Modell + Prompt-Injektion).

Die Autoren erkennen Einschränkungen an und stellen fest, dass die Generalisierung über Wetterbedingungen hinaus, die über die getesteten Bedingungen hinausgehen, eine offene Frage bleibt und dass das aktuelle kontrastive Ziel von einem dominanten Herausforderungstyp pro Roadblock ausgeht, was für heterogene Szenarien möglicherweise verfeinert werden muss.