Technische Samenvatting: MAPLE – Latente Multi-Agent Spel voor End-to-End Autonoom Rijden

1. Probleemstelling

End-to-end (E2E) autonoom rijden streeft ernaar waarneming, voorspelling en planning te verenigen in één enkel geleerd model. Hoewel recente Vision-Language-Action (VLA) modellen de robuustheid hebben verbeterd door rijgedrag te verankeren in taal, lijden ze onder een kritieke beperking: ze worden voornamelijk getraind in een open-loop manier met behulp van supervised fine-tuning (SFT) op vastgelegde rijdata.

Deze benadering behandelt omringende verkeersagenten als niet-reagerend, waardoor de gesloten-lus interacties die inherent zijn aan realistisch rijden niet worden gemodelleerd. Bijgevolg worstelen deze modellen met:

• Covariatenverschuiving: Kleine afwijkingen van gedemonstreerde trajecten versterken zich in de loop van de tijd, wat leidt tot planningsfouten.
• Schaarse Labels: Ground-truth trajecten vangen slechts een klein deel van de mogelijke actieruimte op, wat het leren van robuuste beleidslijnen voor long-tail scenario's beperkt.
• Simulatiebeperkingen: Bestaande gesloten-lus trainingsmethoden vertrouwen op externe simulatoren (bijv. CARLA) die werken met symbolische representaties (bboxes, kaarten). Hoewel schaalbaar, zijn deze simulatoren computationeel duur om op pixelniveau uit te voeren voor E2E-modellen en lijden ze vaak onder visuele fideliteitsmismatches met real-world data.

De kernuitdaging is schaalbare, gesloten-lus, multi-agent training voor E2E-planners mogelijk te maken zonder afhankelijk te zijn van kostbare, low-fidelity pixel-level simulatoren.

2. Methodologie: MAPLE Framework

De auteurs stellen MAPLE (Latent Multi-Agent Play) voor, een framework dat het gedrag van het ego-voertuig en meerdere reagerende agenten volledig simuleert binnen de latente ruimte van een VLA-model. Dit vermijdt de computationele last van pixel-level simulatie terwijl het gesloten-lus, multi-stap interacties ondersteunt.

Architectuur

MAPLE is gebouwd op een multimodaal LLM-ruggengraat (Qwen2.5-1.5B-VL) en omvat:

• Encoders: Visie- en kaartencoders om multi-view beelden en kaartkenmerken te verwerken.
• Latente Tokens: Agenten worden weergegeven als compacte latente tokens die dynamiek (positie, snelheid, versnelling), type, kaartsegment en verkeersstatus coderen.
• Heads:
  • Actieplanningshead: Een Variational Auto-Encoder (VAE) die ego- en reagerende agent-tokens decodeert naar trajectwaypoints.
  • Bewegingsvoorspellingshead: Een MLP die toekomstige trajecten voor achtergrondagenten (niet-reagerend) regresseert.
  • Toekomstige Statusvoorspelling: Een head die is getraind om de volgende status van agenten te voorspellen om de tokenruimte te stabiliseren.

Trainingspijplijn

Het framework werkt in drie distincte fasen:

Fase 1: Pretraining

De VLA-ruggengraat wordt voorgetraind op auxiliaire taken om stabiele latente tokenrepresentaties te leren:

• 3D-objectdetectie, kaartsegmentatie, agentbewegingsvoorspelling en verkeerslichtsegmentatie.
• Toekomstige Statusvoorspelling: Het model voorspelt de volgende status ($S_{t+1}$) gegeven de huidige status ($S_t$), waarbij een verliesfunctie wordt geminimaliseerd die cross-entropy combineert voor discrete labels (type, kaartsegment, verkeersstatus) en $\ell_1$-regressie voor continue dynamiek.

Fase 2: Supervised Fine-Tuning (SFT) met Multi-Agent Rollout

Deze fase introduceert autoregressieve scenario-rollouts in de latente ruimte:

• Multi-Agent Rollout: Het ego-voertuig en een subset van reagerende agenten (die waarschijnlijk zullen interageren) worden gezamenlijk gerolled over een horizon $T$. Achtergrondagenten worden voorspeld via regressie maar worden niet bestuurd door planningsheads.
• Proces: Bij elke stap voorspelt het model toekomstige tokens, geconditioneerd op huidige tokens en scenariobeschrijvingen. Deze tokens worden gedecodeerd tot trajecten en teruggevoerd als invoer voor de volgende stap.
• Doel: Het model wordt gesuperviseerd met ground-truth trajecten voor het ego-voertuig en reagerende agenten, waarbij plannings- en bewegingsvoorspellingsverliezen over de rollout-horizon worden geminimaliseerd.

Fase 3: Post-Training Reinforcement Learning (RL)

Om long-tail gebeurtenissen te hanteren en diverse gedragingen te stimuleren, wordt het SFT-model fine-getuned met Group Relative Policy Optimization (GRPO). De beloningsstructuur is ontworpen om veiligheid, vooruitgang en diversiteit te bevorderen:

1. Globale Beloning ($G_t$): Moedigt botsingsvrije rollouts aan en straft scenario-niveau overtredingen.
2. Voertuig-specifieke Beloning ($r_t$): Bevordert het voltooien van de route en straft onveilig gedrag af (bijv. lage Time-to-Collision).
3. Diversiteitsbeloning ($D_t$): Een nieuw component dat heterogeen rijgedrag stimuleert (bijv. conservatief versus assertief samenvoegen). Het berekent de pairwise $\ell_1$-afstand tussen gedragsbeschrijvingen (versnelling, jerk, TTC, lane centering, etc.) over verschillende planners. Dit voorkomt beleidsinstorting en moedigt het genereren van onderscheidende, veiligheidskritieke scenario's aan die niet aanwezig zijn in de vastgelegde data.

3. Belangrijkste Bijdragen

1. Simulator-vrije Multi-Agent Rollout: De auteurs introduceren een mechanisme om het ego-voertuig en reagerende agenten gezamenlijk te laten evolueren in de latente ruimte van een VLA. Dit maakt gesloten-lus, multi-stap interacties tijdens training mogelijk zonder externe simulatoren of pixel-level rendering, wat de computationele kosten aanzienlijk verlaagt.
2. Diversiteitsbewust RL: Het paper stelt een diversiteitsbeloning voor binnen de RL-fase die expliciet onderscheidende agentgedragingen bevordert. Dit leidt tot rijkere multi-agent interacties en robuustere gesloten-lus beleidslijnen, waarmee de vaak voorkomende mode-collapse bij RL fine-tuning wordt aangepakt.
3. State-of-the-Art Prestaties: Het framework bereikt nieuwe state-of-the-art resultaten op de Bench2Drive-benchmark, met significante verbeteringen in rijscores en robuustheid over complexe multi-vaardigheidsscenario's.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de Bench2Drive-benchmark (gebaseerd op CARLA), met gebruikmaking van 950 clips voor training en 50 voor validatie, met gesloten-lus evaluatie over 220 routes.

• Prestaties: MAPLE behaalde een Rijscore (Driving Score, DS) van 85,2 (en 88,3 met geometrische pad-supervisie), wat beter is dan alle bestaande methoden, waaronder SimLingo (85,1), DiffRefiner (87,1) en ORION (77,7).
• Multi-vaardigheid: Het model toonde consistente verbeteringen in complexe stedelijke gedragingen zoals samenvoegen, inhalen, noodremmen, plaatsmaken en verkeersborden hanteren, met een gemiddelde Multi-vaardigheidsscore van 70,6% (73,2% met supervisie).
• Ablatiestudies:
  • Rollout-strategie: Volledige rollout over pretraining, SFT en RL-fasen verbeterde de Rijscore met 12,3 punten ten opzichte van de baseline.
  • Multi-Planner versus Single-Planner: Het gebruik van meerdere onderscheidende planners voor reagerende agenten (Multi-Agent Play) presteerde beter dan single-planner baselines, met een verbetering van de DS met 4,8 punten en het Succespercentage met 7,7 punten.
  • Diversiteitsbeloning: Het inschakelen van de diversiteitsbeloning was cruciaal voor het behalen van de beste resultaten, door beleidsinstorting te voorkomen en de realisme van interacties te versterken.

5. Betekenis en Claims

Het paper beweert dat MAPLE een schaalbare en effectieve aanpak vertegenwoordigt voor het vooruitbrengen van end-to-end autonoom rijden door de "reagerende omgeving"-kloof te dichten. De betekenis ligt in:

• Schaalbaarheid: Door te opereren in de latente ruimte vermijdt het de prohibitieve computationele kosten en visuele fideliteitsproblemen van pixel-level simulatoren, waardoor gesloten-lus multi-agent training haalbaar wordt voor grote VLA-modellen.
• Robuustheid: Het diversiteitsbewuste RL-mechanisme stelt het model in staat gedragingen te leren die buiten de verdeling van vastgelegde data liggen, wat de veiligheid in long-tail en interactieve scenario's verbetert.
• Praktijktoepasbaarheid: Het framework is "verwijderbaar tijdens inferentie", wat betekent dat de complexe multi-agent rollout alleen tijdens training wordt gebruikt, zonder extra overhead tijdens implementatie.

De auteurs erkennen beperkingen, waarbij ze noteren dat latente rollouts mogelijk de hoge precisie-dynamiek van fysieke simulatie missen en dat huidige experimenten beperkt zijn tot de Bench2Drive-benchmark. Ze stellen echter dat dit framework een cruciale stap biedt naar robuuste, data-efficiënte en veilige E2E-autonome systemen.