Technische Samenvatting: FLARE – Het Leren van Toekomstbewuste Latente Representaties uit Vision-Language Modellen voor Autonomie in het Verkeer

1. Probleemstelling

Huidige end-to-end systemen voor autonoom rijden (AR) staan voor twee primaire beperkingen bij het integreren van Vision-Language Modellen (VLM's):

1. Annotatieknelpunt & Semantische Bias: Bestaande benaderingen vertrouwen sterk op arbeidsintensieve taalannotaties (bijv. Visual Question Answering, scenesbeschrijvingen) om VLM's af te stemmen op rijtaken. Dit paradigma levert afnemende meeropbrengst op, introduceert semantische biases die niet overeenkomen met daadwerkelijk rijgedrag, en slaagt er niet in om de parametercapaciteit van grote VLM's volledig te benutten.
2. Discreet-Continue Mismatch: Er is een fundamentele incompatibiliteit tussen de discrete linguïstische tokens die door VLM's worden gebruikt en het continue karakter van rijtrajecten. Het tokeniseren van acties leidt tot discretisatiefouten, schaarse supervisiesignalen en instabiele controlebeleid dat worstelt met fijnkorrelige bewegingsplanning.

Het artikel betoogt dat het vertrouwen op expliciete tekstgeneratie of actietokenisatie VLM's verhindert om de tacite, niet-verbaal te maken nuances van rijdynamiek effectief te leren.

2. Methodologie: Het FLARE Kader

FLARE (Future-aware LAtent REpresentation) is een nieuw end-to-end kader dat is ontworpen om de visueel-semantische capaciteiten van voorgeprogrammeerde VLM's te activeren zonder taal-supervisie. Het overbrugt de kloof tussen hoog-niveau redenering en laag-niveau controle via drie kerncomponenten:

A. Zelftoezicht Toekomstige Feature Predictie

In plaats van af te stemmen op tekst, introduceert FLARE een zelftoezichtsdoel om toekomstige scenesdynamiek direct in de latente ruimte te voorspellen.

• Mechanisme: Het model wordt getraind om fijnkorrelige DINOv2 feature patches van toekomstige frames te reconstrueren, in plaats van tekst of pixel-niveau beelden te genereren.
• Redenering: Het voorspellen van semantische patches dwingt de backbone om ruimtelijk expliciete scenesdynamiek en objectpermanente te vangen. Dit levert dichte, continue gradiënten op die de capaciteit van de VLM effectiever benutten dan schaarse actietokens.
• Mentale Simulatie: Door de predictor te conditioneren op de geplande actie-intentie, voert het model een "actie-voorwaardelijke" toekomstsimulatie uit, waarbij het anticipeert hoe specifieke beslissingen de omgeving beïnvloeden.

B. Hiërarchische Query-gebaseerde Fusie Module

Om de output van de VLM effectief te benutten voor planning, hanteert FLARE een tweestaps Multimodal Attention Pooling (MAP) mechanisme:

1. Visuele Compressie: Visuele tokens worden gecomprimeerd tot een compacte set visuele latents, waarbij scenes-niveau semantische inhoud wordt gedistilleerd.
2. State-voorwaardelijke Aggregatie: Een actie MAP blok condenseert deze visuele latents tot een enkel beslissingsvector. Cruciaal is dat dit proces de ego-state embedding van het voertuig (snelheid, versnelling, historisch traject) gebruikt als de initialisatie query. Dit zorgt ervoor dat de visuele aggregatie is voorwaardelijk op de dynamische status en navigatie-intentie van het voertuig.

C. Dual-Head Predictie & GRPO Verfijning

Het kader maakt gebruik van een dual-head architectuur:

1. DiT Planner: Een conditionele Diffusion Transformer (DiT) genereert multi-modale toekomsttrajecten, verankerd door de gefuseerde actie query en fysieke beperkingen.
2. Future Feature Predictor (FFP): De auxiliaire kop voorspelt de DINOv2 features van het doel-frame.

Trainingsstrategie:

• Fase 1 (Supervised Fine-Tuning - SFT): Het model wordt gezamenlijk geoptimaliseerd met een samengestelde loss die balans houdt tussen trajectgeneratie (denoising score matching) en toekomstige feature predictie (grootte-regressie en directionele uitlijning).
• Fase 2 (Reinforcement Fine-Tuning - RFT): Om de beperkingen van imitatielearning bij het hanteren van zeldzame veiligheidsviolaties aan te pakken, hanteert FLARE Group Relative Policy Optimization (GRPO). Dit verfijnt het beleid met een niet-differentieerbare reward functie (PDM-Score) gebaseerd op veiligheid, vooruitgang en comfort, zonder een apart waarde-netwerk te vereisen. Een Behavior Cloning (BC) regularisatie loss wordt geïntroduceerd om policy collapse te voorkomen.

3. Belangrijkste Bijdragen

1. Toekomst Feature Predictie Doel: Een nieuw zelftoezichtstaak die ruimtelijke DINOv2 patches reconstrueert, waardoor VLM's robuuste bewegingsrepresentaties kunnen leren van ongelabelde videodata en de schaarsheid van pure actie-token supervisie wordt verzacht.
2. Query-gebaseerde Fusie & GRPO Integratie: Een tweestaps fusie mechanisme dat visuele en state modaliteiten uitlijnt, gekoppeld aan GRPO om het trajectbeleid te verfijnen voor veiligheidskritieke uitkomsten in plaats van simpele imitatie.
3. State-of-the-Art Prestaties: Het behalen van nieuwe SOTA resultaten op de NAVSIM benchmark onder VLM-gebaseerde methoden, zowel onder SFT als RFT instellingen, met uitsluitend single-camera input.

4. Experimentele Resultaten

De auteurs evalueerden FLARE op de NAVSIM benchmark (v1 en v2) met behulp van de PDM Score (PDMS) en Extended PDM Score (EPDMS).

• SFT Prestaties: FLARE-4B behaalde een PDMS van 86,9, waarmee het ReCogDrive-8B (86,8) voorbijstreefde terwijl het de helft van de parameters gebruikte (4B vs. 8B). Het presteerde aanzienlijk beter dan de baseline QwenVL3-4B (+6,1 PDMS) en verkleinde de kloof met multi-sensor end-to-end modellen zoals DiffusionDrive (88,1) en WoTE (88,3), ondanks het gebruik van slechts één camera.
• RFT Prestaties: Met reinforcement fine-tuning bereikte FLARE-4B een PDMS van 91,4, waarmee het ReCogDrive-2B (90,8) en ReCogDrive-8B (90,5) voorbijstreefde. Hoewel andere methoden (bijv. DriveVLA-W0) hogere scores rapporteerden, vertrouwden die op een "best-of-N" sampling strategie; onder eerlijke single-sample evaluatie behaalde FLARE de beste prestatie onder VLM-gebaseerde benaderingen.
• NAVSIM v2: FLARE behaalde de hoogste EPDMS van 86,3, wat een superieur evenwicht aantoont in veiligheid (NC, TTC) en comfort in vergelijking met baselines die vaak het ene ten koste van het andere opofferen.
• Ablatie Studies:
  • Predictiedoel: Ruimtelijke DINO predictie (Onze) leverde de hoogste prestatie op (86,9), en presteerde beter dan globale feature predictie (85,9) en pixel-niveau predictie (84,7), wat het belang bevestigt van het behoud van ruimtelijke granulariteit.
  • Fusie Module: Het verwijderen van de tweestaps MAP fusie of ego-state injectie resulteerde in aanzienlijke prestatiedalingen (-1,9 en -2,1 PDMS respectievelijk), wat de noodzaak valideert van state-voorwaardelijke visuele aggregatie.

5. Betekenis en Claims

Het artikel beweert dat FLARE een zeer efficiënt paradigma voor autonoom rijden valideert: het benutten van VLM wereldkennis via voorspellende zelftoezicht in plaats van expliciete taalgeneratie.

• Paradigmaverschuiving: Het demonstreert dat VLM's effectief kunnen worden aangepast aan het rijden zonder de kosten en bias van enorme taalannotatie datasets.
• Robuustheid: Door toekomstige latente features te voorspellen, leert het model scenesdynamiek en ego-beweging direct te anticiperen, waardoor de mismatch tussen discrete tokens en continue controle wordt overbrugd.
• Schaalbaarheid: De benadering biedt een schaalbare weg voor het benutten van grootschalige ongelabelde trajectdata, wat potentieel de data-dekking beperkingen van huidige modulaire of puur supervised end-to-end systemen kan overwinnen.

De auteurs concluderen dat FLARE succesvol het visueel-semantische redeneren van VLM's ontsluit voor continue controle, en state-of-the-art veiligheid en planningskwaliteit bereikt met een single-camera setup.