Technische Samenvatting: AnchorVLA

Probleemstelling

Autonome rijplanning vereist het vertalen van hoogwaardige navigatie-intenties, verkeersregels, dynamische interacties en taalinstructies naar uitvoerbare continue trajecten. Hoewel Vision-Language-Action (VLA) modellen zijn geïntroduceerd om de generalisatie in de 'long-tail', het gemeenschappelijk redeneren en de verklaarbaarheid te verbeteren, lijden bestaande VLA-planners aan een fundamentele abstractiekloof tussen hoogwaardig taalredeneren en laagwaardige continue trajectuitvoering.

Huidige benaderingen volgen over het algemeen twee paradigma's, die beide beperkingen hebben:

1. Planning-Head-gebaseerde methoden: Deze gebruiken VLM/LLM-kenmerken om een onafhankelijke planning-head aan te sturen. Hoewel ze snelle continue generatie mogelijk maken, wordt de trajectruimte slechts zwak beperkt door VLA-redenering, waardoor het moeilijk is om lokale manoeuvres consistent af te stemmen op hoogwaardige beslissingen.
2. Autoregressieve Generatiemethoden: Deze discretiseren trajecten in coördinaat- of waypoint-tokens en genereren deze sequentieel. Hoewel dit de LLM directer betrekt, hebben de resulterende actie-tokens een lage informatiedichtheid (ze vertegenwoordigen slechts enkele geometrische punten). Dit leidt tot lange sequenties, accumulatie van discretisatiefouten en een zwakke semantische correspondentie met de scènecontext, waardoor het vermogen van de LLM om discrete abstractie te benutten niet volledig wordt uitgebuit.

Methodologie: AnchorVLA

De auteurs stellen AnchorVLA voor, een hiërarchisch Decision-Anchored VLA-planningsframework. Het kernidee is om de actie-representatie te verheffen van laagwaardige coördinaat-tokens naar hoogwaardige traject-patroon-ankers (trajectory-pattern anchors). Deze ankers dienen als een expliciete interface tussen hoogwaardige VLA-redenering en continue trajectuitvoering.

Het framework bestaat uit twee primaire componenten:

1. Decision-as-Anchor Representation (DAAR)

DAAR brengt hoogwaardige VLA-redenering in kaart naar een compacte traject-patroon-ankerruimte. In plaats van autoregressief laagwaardige coördinaat-tokens te genereren, voorspelt het model gedragsniveau rijbeslissingen (bijv. rijstrookhouden, remmen, voorrang verlenen, afslaan) die worden gerepresenteerd als ankers.

• Codeboek Constructie: Een traject-patroon-codeboek $\mathcal{A} = \{a_k\}_{k=1}^K$ wordt geconstrueerd door trainings-trajecten te clusteren. Elk anker $a_k$ representeert een volledig lokaal bewegingspatroon.
• Soft Target Supervision: Grondwaarheidstrajecten worden in kaart gebracht naar de ankerruimte. In plaats van harde labels wordt een soft target-distributie geconstrueerd over de dichtstbijzijnde ankers om lokale continuïteit in de traject-patroonruimte te behouden.
• Modelleringsvarianten: De paper implementeert DAAR met twee methoden:
  • Query-gebaseerde Modellering: Gebruikt een leerbare query die aan de inputsequentie wordt toegevoegd om ankers te classificeren via een MLP-head.
  • Autoregressieve Modellering: Introduceert speciale tokens in de LLM-vocabulaire die overeenkomen met ankers. Dit stelt de LLM in staat om ankers te voorspellen via zijn natuurlijke next-token prediction interface, waarbij de selectie van een anker wordt behandeld als een beslissing op gedragsniveau.

2. Decision-Anchored Residual Flow (DARF)

Zodra een gedragsniveau-anker is geselecteerd, moet het uiteindelijke uitvoerbare traject worden gegenereerd met fijnmazige continue precisie. DARF modelleert deze generatie in de anker-gedefinieerde residu-ruimte.

• Residu-formulering: Het uiteindelijke traject $\tau$ wordt gerepresenteerd als $\tau = a_k + r_k$, waarbij $a_k$ het geselecteerde anker is en $r_k$ een continu residu.
• Flow Matching: In tegenstelling tot deterministische regressie, die meerdere haalbare correcties middelt, gebruikt DARF flow matching om de multimodale distributie van continue residuen binnen de gedragsruimte van het geselecteerde anker te modelleren. Dit vangt de onzekerheid en diversiteit van fijnmazige uitvoering op (bijv. kleine variaties in een rijstrookwissel op basis van omliggende agenten).
• Training & Inferentie: Het model wordt getraind om het snelheidveld voor het residu-pad te voorspellen. Tijdens inferentie genereert het kandidaat-trajecten voor meerdere top-$M$ voorspelde ankers en selecteert het uiteindelijke resultaat op basis van voorspelde betrouwbaarheidsscores.

Belangrijkste Bijdragen

1. Hiërarchisch Framework: Stelt AnchorVLA voor, dat traject-patroon-ankers formuleert als een expliciete beslissingsinterface, waardoor de kloof tussen hoogwaardige VLA-redenering en continue trajectplanning wordt overbrugd.
2. Nieuwe Representaties: Introduceert DAAR om redenering in kaart te brengen naar een compacte ankerruimte en DARF om multimodale continue verfijningen binnen de geselecteerde anker-gedefinieerde ruimte te genereren.
3. State-of-the-Art Prestaties: Demonstreert dat het gebruik van traject-patroon-ankers als beslissingsinterfaces op gedragsniveau de closed-loop betrouwbaarheid en semantische-actie alignment verbetert zonder de inferentie-efficiëntie op te offeren.

Experimentele Resultaten

De methode werd geëvalueerd op de Bench2Drive closed-loop benchmark (gebouwd op CARLA).

• Hoofdmetrieken: AnchorVLA behaalde een Success Rate (SR) van 77,28%, de hoogste van alle vergeleken methoden, en een Driving Score (DS) van 89,92.
  • Vergeleken met LinkVLA (een sterke autoregressieve baseline), verbeterde AnchorVLA de SR van 74,55% naar 77,28% terwijl het een concurrerende DS behield (89,92 vs. 91,01).
  • Vergeleken met BridgeDrive, verbeterde het zowel de DS (87,99 $\to$ 89,92) als de SR (74,99 $\to$ 77,28).
• Evaluatie van Meervoudige Vaardigheden: De methode behaalde de beste gemiddelde score (74,22%) over diverse vaardigheden (Merging, Overtake, Brake, Give-Way, Traffic-Sign), waarbij het met name de beste score behaalde voor Overtake (81,11%).
• Ablatie-studies:
  • Modellering: Autoregressieve anker-modellering presteerde beter dan query-gebaseerde modellering en varianten zonder expliciete anker-beslissingen, wat het voordeel bevestigt van het modelleren van hoogwaardige beslissingen binnen de LLM-tokenruimte.
    • Flow Matching: DARF (anker-gedefinieerde residu-flow) presteerde beter dan zowel deterministische residu-regressie als volledige traject-flow matching, wat suggereert dat het modelleren van residuen in een compacte, door ankers gedefinieerde ruimte effectiever is voor generatie met beperkte stappen.
  • Latentie: Door de autoregressieve generatie te beperken tot een compacte ankerruimte (het voorspellen van slechts enkele tokens in plaats van volledige trajectsequenties), verminderde AnchorVLA de extra latentie aanzienlijk (64 ms vs. 361 ms voor volledige traject-autoregressieve baselines).

Betekenis

De paper stelt dat traject-patroon-ankers dienen als een effectieve interface om taal-niveau redeneren te verbinden met continue trajectplanning. Door te redeneren over compacte, semantisch betekenisvolle ankers in plaats van autoregressief lange sequenties van laagwaardige coördinaat-tokens te genereren, behoudt AnchorVLA de besluitvormingssterktes van LLM's terwijl het de inferentie-efficiëntie, semantische-actie alignment en de flexibiliteit van continue generatie verbetert. De resultaten valideren dat deze hiërarchische aanpak een betrouwbaardere gedragsniveau-begeleiding biedt voor autonome rijplanning in closed-loop scenario's.