LLM4AD: Large Language Models for Autonomous Driving -- Concept, Review, Benchmark, Experiments, and Future Trends

Probleemstelling

De snelle ontwikkeling van Large Language Models (LLMs) heeft geleid tot een groeiende interesse in het toepassen van deze modellen op autonoom rijden. Traditionele systemen voor autonoom rijden zijn vaak modulair (perceptie, planning, controle) en hebben moeite met het interpreteren van menselijke intenties die vaag of abstract worden uitgedrukt (bijv. "ik wil niet dat mijn vrienden wachten"). Bestaande systemen ontberen vaak:

• Intuïtieve taalinteractie: Het vermogen om natuurlijke taalcommando's om te zetten in gedetailleerde rijstrategieën.
• Contextueel redeneren: Het integreren van verkeersregels, historische data en menselijke feedback in real-time beslissingen.
• Personalisatie: Het aanpassen van rijgedrag aan individuele voorkeuren van bestuurders of passagiers.
• Betrouwbaarheid: Er is een gebrek aan gestandaardiseerde benchmarks en real-world validatie voor LLM-gestuurde rijstelsels, en er zijn zorgen over latentie, hallucinaties en veiligheid.

Methodologie

Het artikel introduceert het concept LLM4AD (Large Language Models for Autonomous Driving), waarbij de LLM fungeert als het "brein" voor hoog-niveau besluitvorming, terwijl traditionele modules de "ogen" (perceptie) en "handen" (lage-niveau controle) blijven.

1. Framework Architectuur:
Het systeem neemt vijf inputs: historische geheugens ($H$), systeemberichten ($S$), situatiedescriptoren ($C$), menselijke instructies ($I$) en menselijke evaluaties ($F$). De LLM genereert twee outputs:

• Redeneringstaken ($R$): Stap-voor-stap uitleg van de beslissing (Chain-of-Thought).
• Uitvoerbare beleidsprogramma's ($P$): Code (bijv. Python/ROS) die de rijstrategie definieert.
  Een Executor vertaalt deze code naar acties in de omgeving, met ingebouwde veiligheidscontroles om onveilige parameters te blokkeren.

2. Leermethoden:
De auteurs analyseren verschillende benaderingen:

• Supervised Fine-Tuning (SFT): Aanpassen van modellen (zoals LLaMA, Qwen) op specifieke rijdata.
• Prompt Engineering: Zero-shot en Few-shot prompting, inclusief Chain-of-Thought (CoT) voor complex redeneren.
• Retrieval-Augmented Generation (RAG): Het ophalen van relevante historische rijervaringen uit een database om context te verrijken.
• Reinforcement Learning (RL): Gebruik van menselijke feedback (RLHF) om beleidslijnen te optimaliseren.

3. Benchmarks en Evaluatie:
Twee nieuwe benchmarks worden voorgesteld:

• LaMPilot-Bench & CARLA Leaderboard 1.0: Testen van instructie-opvolging en planning in simulaties (HighwayEnv en CARLA).
• NuPlanQA: Een multi-view visuele vraag-antwoord benchmark voor het testen van perceptie en hoog-niveau redenering in complexe verkeerssituaties.

4. Real-World Experimenten:
Twee implementaties worden getest op echte voertuigen:

• Talk2Drive (Cloud-based): Gebruikt een cloud-LLM (GPT-4) voor gepersonaliseerde beslissingen. De LLM genereert code om parameters van bestaande controllers (zoals Pure Pursuit) aan te passen.
• On-board VLM (Edge-based): Een compact Vision-Language Model (8B parameters, gefinetuned Qwen-VL) dat direct op het voertuig draait. Dit model gebruikt RAG voor geheugen en stuurt direct PID- en MPC-parameters aan voor laterale en longitudinale controle.

5. Toekomstige Trend: ViLaD:
De auteurs stellen ViLaD (Vision-Language Diffusion) voor als een alternatief voor autoregressieve modellen. In plaats van tokens sequentieel te genereren, gebruikt ViLaD een masked diffusion paradigma voor parallelle generatie, wat de latentie verlaagt en bidirectioneel redeneren mogelijk maakt.

Belangrijkste Bijdragen

1. Conceptualisering van LLM4AD: Een gestructureerd framework dat de rol van LLMs als hoog-niveau "brain" definieert, gescheiden van kritieke lage-niveau controle.
2. Uitgebreide Benchmarks: Introductie van LaMPilot-Bench, CARLA Leaderboard 1.0 integratie en NuPlanQA voor gestandaardiseerde evaluatie.
3. Real-World Validatie: Eerste uitgebreide experimenten met zowel cloud-gebaseerde als on-board LLMs op een echt autonoom voertuig (Lexus RX450h), inclusief prestaties in verschillende scenario's (snelweg, kruispunten, parkeren).
4. Prestatieverbetering: Aantonen dat LLMs gepersonaliseerd rijgedrag kunnen leren en de overnamefrequentie (takeover rate) door mensen aanzienlijk kunnen verlagen.
5. ViLaD Framework: Voorstellen van een nieuwe end-to-end architectuur op basis van diffusiemodellen die de beperkingen van autoregressieve modellen (latentie, sequentiële beperkingen) adresseert.

Resultaten

• Simulatie (LaMPilot-Bench & CARLA):
  • LLMs met menselijke feedback (Human-in-the-loop) presteerden aanzienlijk beter dan regelgebaseerde methoden (IDM/MOBIL) en zero-shot LLMs.
  • GPT-4 met menselijke feedback bereikte een driving score van 64.0 in LaMPilot-Bench en 65.4 in CARLA, wat vergelijkbaar is met gespecialiseerde RL-experts.
  • Beperking: Er was nog steeds een niet-nul botsingspercentage (bijv. 0.9% bij GPT-4), wat aangeeft dat LLMs niet veilig genoeg zijn voor directe, real-time lage-niveau controle zonder veiligheidslagen.
• Real-World Experimenten (Talk2Drive):
  • Personalisatie: De overnamefrequentie (takeover rate) daalde met 56% tot 100% afhankelijk van het scenario en de directheid van het commando, vergeleken met een regelgebaseerde baseline.
  • Geheugenmodule: Het gebruik van een RAG-gebaseerd geheugen verlaagde de overnamefrequentie met tot 65% ten opzichte van systemen zonder geheugen.
  • Veiligheid: Door de LLM alleen parameters aan te passen en niet direct te sturen, en door strikte veiligheidschecks (format en parameter verificatie), werden onveilige acties geblokkeerd.
• On-board VLM:
  • Het 8B-parameter model presteerde beter in alignement met menselijke instructies dan de baseline en benaderde de prestaties van GPT-4o, maar met veel lagere latentie (1.64s vs 5.23s).
  • De overnamefrequentie daalde met 76.9% voor indirecte instructies.
• ViLaD:
  • ViLaD-SFT bereikte een gemiddelde L2-fout van 1.85m op de nuScenes dataset (beter dan de beste baseline van 2.07m) met een 0% faalpercentage.
  • Inference-tijd: ViLaD-Opt was 6.5 tot 14 keer sneller dan autoregressieve VLMs (2.78s vs 28-60s), wat cruciaal is voor real-time toepassing.

Betekenis en Conclusie

Dit artikel markeert een belangrijke stap in de evolutie van autonoom rijden door LLMs te integreren als een cognitieve laag die menselijke intentie en context begrijpt. De belangrijkste inzichten zijn:

• Scheiding van verantwoordelijkheden: LLMs zijn uitstekend voor hoog-niveau personalisatie en interpretatie, maar vanwege latentie en hallucinatierisico's moeten ze niet direct de lage-niveau controle overnemen. Een hybride architectuur met rule-based safety layers is essentieel.
• Personalisatie is haalbaar: LLMs kunnen effectief leren van menselijke feedback om rijstijlen aan te passen, wat de acceptatie van autonoom rijden kan vergroten.
• Toekomstrichting: De verschuiving van autoregressieve modellen naar diffusiemodellen (ViLaD) belooft oplossingen te bieden voor de kritieke problemen van latentie en parallelle redenering, waardoor real-time end-to-end rijstelsels op basis van taal en visie mogelijk worden.

De auteurs benadrukken dat hoewel de technologie veelbelovend is, uitdagingen zoals veiligheid, privacy, transparantie en de definitie van juridische verantwoordelijkheid nog steeds opgelost moeten worden voordat deze systemen wijdverbreid kunnen worden ingezet.