Technische Samenvatting: CLAP – Contrastive Latent-space Prompt Optimization voor End-to-End Autonomisch Besturen

1. Probleemstelling

End-to-end systemen voor autonoom besturen (AD) aangedreven door Vision-Language-Action (VLA)-modellen hebben sterke prestaties aangetoond op veelvoorkomende rijscenario's door gebruik te maken van grootschalige vooropleiding en fine-tuning. Deze systemen blijven echter breekbaar in lange-staartscenario's – zeldzame maar veiligheidskritieke situaties zoals actieve werkzones, complexe opgevengeometrieën en combinaties van ongunstige weersomstandigheden.

De dominante aanpak om deze fouten aan te pakken, omvat het schalen van datacollectie en het fine-tunen van modellen. Het artikel betoogt dat deze aanpak afnemende meeropbrengsten kent vanwege:

• De schaarste van zeldzame gebeurtenissen.
• De combinatorische complexiteit van variaties binnen een categorie (indeling, weer, tijdstip van de dag).
• Het risico op catastrofaal vergeten bij frequent fine-tunen op niche-gegevens.

Bovendien identificeert het artikel een specifieke beperking in huidige adaptatiestrategieën: lange-staartfouten zijn vaak gekoppeld aan specifieke wegsecties (wegblokkades) in plaats van puur generalisatieproblemen op catterieniveau. Bovendien zijn binnen een enkele wegblokkade uitdagende (lange-staart) frames en normale frames zwaar vermengd in de latente ruimte van het model. Bijgevolg leidt het optimaliseren van een prompt om uitdagende frames te fixen vaak onbedoeld tot verslechtering van de prestaties op normale frames, vanwege deze latente vermenging.

2. Methodologie: CLAP Framework

De auteurs stellen CLAP (Contrastive Latent-space Prompt Optimization) voor, een framework dat een bevroren VLA-rijmodel aanvult met per-wegblokkade zachte prompts. Deze prompts worden offline geoptimaliseerd op crowdsourced data en worden on-demand opgehaald via Vehicle-to-Everything (V2X)-communicatie.

Kernobservaties

De methodologie is gebaseerd op twee observaties die voortvloeien uit de analyse van de latente ruimte van state-of-the-art VLA's:

1. Lokaal karakter: Scenario's van dezelfde wegblokkade (een aaneengesloten ruimtelijk gebied met stabiele visuele/geometrische identiteit) clusteren strak in de latente ruimte, gescheiden van andere wegblokkades.
2. Vermenging: Binnen een enkele wegblokkade zijn uitdagende en normale frames niet te scheiden in distincte clusters; ze zijn zwaar vermengd.

Het Tweestapsproces

CLAP werkt via een tweestaps prompt-optimalisatieproces voor elke wegblokkade $R$:

Stap 1: Richtingsontdekking via Supervised Contrastive Learning

• Doel: Een "hard-scenerichting" ($d^\star$) ontdekken die uitdagende frames scheidt van normale frames in de latente ruimte.
• Mechanisme: Een auxiliaire zachte prompt $P_A$ wordt geoptimaliseerd met behulp van een Supervised Contrastive (SupCon) verliesfunctie. Deze verliesfunctie duikt de verborgen staten van uitdagende frames weg van normale frames.
• Output: De hoofdrichting van de gescheiden representatie wordt geëxtraheerd als $d^\star$, een compacte beschrijver van de richting van de uitdagende scène specifiek voor die wegblokkade.

Stap 2: Richtingsgebaseerde Prompt-optimalisatie

• Doel: Een inzetbare prestatie-prompt $P_B$ optimaliseren die uitdagende frames verbetert terwijl de prestaties op normale frames strikt behouden blijven.
• Mechanisme: $P_B$ wordt getraind onder een gezamenlijke verliesfunctie:
  $$L_{total} = L_{plan} + \lambda_1 L_{dir} + \lambda_2 L_{reg}$$
  • $L_{plan}$: Standaard trajectregressieverlies (ADE) berekend uitsluitend op uitdagende frames.
  • $L_{dir}$ (Richtingsregularisator): Moedigt $P_B$ aan om de representaties van uitdagende frames te verplaatsen langs de vooraf ontdekte as $d^\star$. Dit beperkt de optimalisatie tot de specifieke deelruimte waar scheiding mogelijk is.
  • $L_{reg}$ (Normal-Frame Regularisator): Straft expliciet elke verplaatsing van representaties van normale frames af ten opzichte van de baseline van Stap 1. Dit voorkomt dat de prompt "lekt" naar de deelruimte die het gewone verkeer beïnvloedt.

Data-partitie

Om dit toe te passen, moet het systeem sporen van wegblokkades partitioneren in "uitdagende" en "normale" subsets. Het artikel stelt een VLM-gebaseerde pipeline voor die semantische identificatie (via een krachtige VLM) en empirische validatie (planningsfout die een marge $\delta$ overschrijdt) gebruikt om frames te labelen.

3. Belangrijkste Bijdragen

1. Per-wegblokkade Formulering: Het artikel toont via analyse van de latente ruimte aan dat lange-staartproblemen lokaal per wegblokkade kunnen worden aangepakt in plaats van globaal, aangezien wegblokkades distincte manifolds vormen in de latente ruimte.
2. CLAP Framework: Een nieuw tweestaps prompt-optimalisatiemethode die contrastive learning gebruikt om een scheidingsrichting te identificeren en richtingsregularisatie om selectief lange-staartprestaties te verbeteren zonder normale prestaties te laten verslechteren.
3. Empirische Validatie: Aantonen dat CLAP planningsfouten op uitdagende scenario's vermindert over meerdere SOTA VLA-backbones, zonder dat fine-tuning van de backbone vereist is.

4. Experimentele Resultaten

De auteurs hebben CLAP geëvalueerd op de NAVSIM-benchmark met drie state-of-the-art VLA-backbones: ReCogDrive, Alpamayo-R1.5 en DriveVLA-W0.

• Prestaties op Uitdagende Frames: CLAP verlaagde de Average Displacement Error (ADE) op uitdagende scenario's met gemiddeld 24% over de drie modellen.
• Prestaties op Normale Frames: In tegenstelling tot onbeperkte zachte prompt-optimalisatie (wat bij sommige modellen tot regressie leidde) of expliciete tekstuele waarschuwingen (die vaak faalden of de prestaties verslechterden), behield CLAP de prestaties op normale frames of verbeterde deze licht.
• Totale Verbetering: De combinatie van verminderde lange-staartfouten en behouden normale prestaties leidde tot een gemiddelde 14% verbetering in de totale ADE.
• Ablatiestudies:
  • Het verwijderen van Stap 1 (contrastive direction discovery) resulteerde in significante prestatiedalingen, wat bevestigt dat de specifieke richting $d^\star$ kritiek is.
  • Het vervangen van $d^\star$ door een willekeurige richting presteerde slechter dan het volledig weglaten van Stap 1, wat de noodzaak van de geleerde contrastieve richting onderstreept.
• Generalisatie: Bij testen onder verschoven omstandigheden (regen en schemering) zonder augmentatie degradeerde de prestatie. Het gebruik van generatieve beeldbewerking om trainingsdata te augmenteren met deze omstandigheden liet CLAP echter effectief generaliseren, waardoor de ADE-gap onder verschoven omstandigheden aanzienlijk werd verkleind.

5. Betekenis en Claims

Het artikel positioneert CLAP als een praktisch efficiënt alternatief voor dataschaling en model-finetuning om de VLA-prestaties in autonoom besturen te verbeteren.

• Modus van Verbetering: De auteurs claimen dat lange-staartfouten lokaal kunnen worden "gepatcht" via zachte prompts in plaats van dat globale modelhertraining vereist is.
• Selectiviteit: De kernbetekenis ligt in het vermogen om selectief moeilijke scenario's te verbeteren terwijl structureel collaterale schade aan gewone rijprestaties wordt voorkomen, een uitdaging die onbeperkte prompt-optimalisatie niet oplost vanwege latente vermenging.
• Implementatiehaalbaarheid: Het framework is ontworpen voor V2X-implementatie, waarbij een centrale server prompts optimaliseert op basis van crowdsourced data en deze naar voertuigen duwt die specifieke wegblokkades binnenrijden, waardoor de inferentiekosten aan voertuigzijde minimaal blijven (bevroren model + prompt-injectie).

De auteurs erkennen beperkingen, waarbij zij opmerken dat generalisatie over weersomstandigheden buiten de geteste omstandigheden een open vraag blijft en dat het huidige contrastieve doel uitgaat van één dominante uitdagingstype per wegblokkade, wat mogelijk verfijning vereist voor heterogene scenario's.