💻 computer science

LiloDriver: A Lifelong Learning Framework for Closed-loop Motion Planning in Long-tail Autonomous Driving Scenarios

Dit paper introduceert LiloDriver, een levenslang leerframework dat grote taalmodellen combineert met een geheugengestuurde planner voor adaptieve, gesloten-lus bewegingsplanning in lange-staart scenario's van autonoom rijden, wat resulteert in superieure prestaties op de nuPlan-benchmark.

Oorspronkelijke auteurs: Huaiyuan Yao, Pengfei Li, Bu Jin, Yupeng Zheng, An Liu, Lisen Mu, Qing Su, Qian Zhang, Yilun Chen, Peng Li

Gepubliceerd 2026-04-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Huaiyuan Yao, Pengfei Li, Bu Jin, Yupeng Zheng, An Liu, Lisen Mu, Qing Su, Qian Zhang, Yilun Chen, Peng Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

LiloDriver: De "Onvermoeibare Leerling" voor Zelfrijdende Auto's

Stel je voor dat je een beginnend bestuurder bent. Je hebt de theorie geleerd en je kunt prima rijden op de snelweg of in een rustige woonwijk. Maar dan kom je ineens een heel rare situatie tegen: een kudde schapen die de weg oversteken, een vrachtwagen die op zijn kop ligt, of een kind dat plotseling achter een geparkeerde auto vandaan rent.

De meeste huidige zelfrijdende auto's zijn als strenge, maar starre leraren. Ze hebben een lijst met regels (of een enorme database met voorbeelden) en als ze een situatie zien die niet op die lijst staat, raken ze in paniek of doen ze iets doms. Ze kunnen niet echt "leren" van die rare gebeurtenis zonder dat ze opnieuw naar school moeten (wat in de praktijk betekent: de hele auto opnieuw programmeren, wat duur en lastig is).

LiloDriver is iets heel anders. Het is als een slimme, nieuwsgierige leerling met een magisch dagboek.

Hier is hoe het werkt, vertaald in alledaags taal:

1. Het Magische Dagboek (Het Geheugen)

Stel je voor dat LiloDriver een dagboek bijhoudt. Elke keer als de auto een rare of moeilijke situatie meemaakt (een "long-tail" scenario, zoals een onverwachte wegwerkzaamheid), schrijft hij dit niet alleen op, maar leert hij er ook van.

In plaats van de hele auto opnieuw te programmeren, stopt LiloDriver de ervaring in zijn dagboek.
De volgende keer dat hij iets soortgelijks ziet, kijkt hij in zijn dagboek: "Ah, ik heb dit al eens eerder gezien! Wat heb ik toen gedaan? Oh ja, ik moest langzamer rijden en wachten."
Dit noemen ze levenslang leren. De auto wordt met elke rit slimmer, zonder dat hij ooit "stopt" om opnieuw te studeren.

2. De Twee Hersenen (De AI en de Taalmodel)

LiloDriver heeft twee soorten "hersenen" die samenwerken, net als een ervaren chauffeur met een passagier die de kaart leest:

De Snelle Chauffeur (De Regel-gebaseerde Planner): Dit is de auto die direct reageert. Hij remt, sturen en versnellen. Hij is snel en betrouwbaar, maar hij kan niet goed nadenken over complexe situaties. Hij volgt de regels.
De Slimme Passagier (De Taalmodel / LLM): Dit is het grote brein (een Large Language Model, net als de AI die jij nu gebruikt). Deze "passagier" kijkt naar de situatie, leest het dagboek en denkt na: "Hé, die situatie lijkt op die keer dat we in de regen een fietspad moesten kruisen. Laten we dat plan gebruiken."
De Samenwerking: De passagier denkt langzaam na (bijvoorbeeld eens per 15 seconden) en geeft een advies aan de snelle chauffeur. De chauffeur voert dit advies direct uit. Zo krijg je de snelheid van een robot, maar het inzicht van een mens.

3. De "Dagboeken" Sorteren (Clustering)

De auto ziet duizenden verschillende rare situaties. Als hij alles door elkaar zou gooien, zou hij in de war raken.

LiloDriver gebruikt een slimme methode om zijn dagboek te ordenen. Hij groepeert vergelijkbare situaties bij elkaar.
Bijvoorbeeld: Alle situaties waar voetgangers zijn, komen in één vakje. Alle situaties met snel wisselend verkeer in een ander vakje.
Voor elk vakje heeft hij een speciaal "recept" (een plan) dat hij heeft getest en geoptimaliseerd. Als hij een nieuwe situatie ziet, zoekt hij het juiste vakje op en pakt hij het beste recept.

Waarom is dit zo belangrijk?

Vroeger waren zelfrijdende auto's als kinderen die alleen maar in een speelzaal hebben geoefend. Ze kunnen perfect rennen op het gras, maar als ze op straat komen en er ligt een fiets, weten ze niet wat ze moeten doen.

LiloDriver is als een ervaren taxi-chauffeur die al 20 jaar in de stad rijdt. Hij heeft alles gezien: regen, sneeuw, dronken mensen, bouwputten. Hij heeft een eigen systeem om die ervaringen op te slaan en direct toe te passen.

Het resultaat?
In tests (op de nuPlan-benchmark, een soort grote examenhal voor zelfrijdende auto's) bleek LiloDriver:

Veiliger: Hij heeft veel minder ongelukken in rare situaties.
Slimmer: Hij kan zich aanpassen aan situaties die hij nog nooit heeft gezien, door te kijken naar wat hij in het verleden heeft geleerd.
Stabiel: Hij vergeet niet hoe hij normaal moet rijden terwijl hij nieuwe dingen leert (geen "catastrofical forgetting").

Kortom: LiloDriver is de eerste zelfrijdende auto die echt "groeit" met de tijd. Hij wordt niet alleen slimmer door meer data, maar door echte ervaringen op te slaan in een slim dagboek en die te gebruiken om in het moment de juiste beslissingen te nemen. Het is alsof de auto eindelijk een menselijk geheugen heeft gekregen.

Probleemstelling

Autonome voertuigen worstelen momenteel met de "long-tail" aard van het rijden: zeldzame, maar kritieke situaties (zoals complexe kruispunten, onverwachte voetgangers of extreme weersomstandigheden) zijn divers en onvoorspelbaar. Bestaande benaderingen hebben beperkingen:

Regelgebaseerde systemen (bijv. PDM-Closed) presteren goed in standaardscenario's, maar missen flexibiliteit en generalisatievermogen voor zeldzame situaties.
Data-gedreven systemen (end-to-end learning) lijden vaak onder overfitting, gebrek aan robuustheid en het onvermogen om nieuwe kennis te integreren zonder kostbare hertraining.
Kennisgedreven systemen (met Large Language Models of LLM's) bieden sterke redeneervermogens, maar kampen met inefficiënte scenario-representatie, hallucinaties bij het genereren van trajecten en een gebrek aan systematische evaluatie in gesimuleerde omgevingen.

De kernuitdaging is het creëren van een systeem dat levenslang leren (lifelong learning) mogelijk maakt: het vermogen om continu nieuwe kennis te verwerven en zich aan te passen aan ongeziene randgevallen in een gesloten lus (closed-loop) zonder de onderliggende modelparameters te hertrainen.

Methodologie: LiloDriver

LiloDriver is een nieuw framework dat LLM-redenering combineert met dynamische kennisaugmentatie via een geheugenbank. Het systeem volgt een vier-staps architectuur:

Omgeving en Perceptie Module:
- Integreert vectoriseerde kaarten (wegen, zebrapaden, routes) en dynamische geschiedenis van agenten (voertuigen, voetgangers) om een contextuele scène te bouwen.
- Gebruikt een query-radius rondom het eigen voertuig om relevante statische en dynamische elementen te extraheren.
Scène Encoder (Scene Encoder):
- Verwerkt de perceptie-inputs (LSTM voor agentgeschiedenis, MLP voor kaarten) en aggregeert deze via een Transformer-encoder.
- Gebruikt een hybride verliesfunctie ( $L_{PRO}$ + $L_{CLS}$ ) om "prototypes" van scenario's te leren. Dit maximaliseert de scheiding tussen verschillende klassen van scenario's en minimaliseert variantie binnen een klasse, wat zorgt voor robuuste latente representaties.
Geheugen en Planner Generatie:
- Geheugen: Bewaart de latente embeddings van eerder ervaren scenario's.
- Clustering: Gebruikt DBSCAN om vergelijkbare zeldzame scenario's te clusteren in de latente ruimte.
- Optimalisatie: Voor elke cluster wordt een grid search uitgevoerd om de optimale parameters voor een gedragsplanner (gebaseerd op IDM/PDM) te vinden. Dit zorgt ervoor dat specifieke strategieën worden gekoppeld aan specifieke scenario-archetypen.
Redenering en Executie Module:
- LLM-Redenering: Een Large Language Model (LLaMA-7B) ontvangt tekstuele beschrijvingen van de scène, systeemprompts en "few-shot" voorbeelden opgehaald uit het geheugen.
- Chain-of-Thought: De LLM redeneert stap-voor-stap over de situatie en selecteert de meest geschikte gedragsplanner (met de geoptimaliseerde parameters) voor de huidige context.
- Decoupling: De LLM werkt op een lagere frequentie (elke 15 seconden) voor strategische beslissingen, terwijl de regelgebaseerde planner (10 Hz) de lage-niveau controle en trajectuitvoering verzorgt.

Belangrijkste Bijdragen

Eerste levenslang leerparadigma: Het introduceert het eerste framework voor motion planning in long-tail scenario's dat menselijk leren nabootst door kennis stapsgewijs op te bouwen zonder hertraining.
Hybride Architectuur: Combineert gestructureerd geheugen (voor ervaringen) met LLM-redenering (voor adaptieve besluitvorming) en scenario-specifieke planner-generatie.
Inferentie-tijd Adaptatie: Het systeem kan tijdens het rijden nieuwe strategieën toewijzen en updaten op basis van nieuwe ervaringen, wat overfitting voorkomt en generalisatie verbetert.

Resultaten

Het systeem is geëvalueerd op de nuPlan-benchmark, een grote dataset met real-world rijdata, met een focus op de "Test14-hard" set (zeldzame scenario's).

Prestaties: LiloDriver overtreft statische regelgebaseerde en data-gedreven planners, zowel in algemene als zeldzame scenario's.
- Op de Test14-hard set bereikte de geëvolueerde versie een score van 73.10, vergeleken met 69.92 voor de initiële versie en 72.68 voor de state-of-the-art PlanTF.
Levenslang Leren: Het systeem toont continue prestatieverbetering bij het sequentieel introduceren van nieuwe zeldzame scenario's (bijv. wachten op voetgangers, wisselen van rijbaan) zonder "catastrophic forgetting" van eerder geleerde vaardigheden.
Veiligheid: De verbetering in totale score wordt voornamelijk gedreven door een drastische daling van botsingen (van 12.45% naar 4.12%) en een verbetering van de Time-to-Collision (TTC) metric.
Efficiëntie: Door de scheiding tussen strategische redenering (LLM) en tactische uitvoering (planner) blijft het systeem real-time geschikt met een inferentie-vertraging van slechts 0.4s voor de LLM.

Betekenis en Impact

LiloDriver biedt een baanbrekende oplossing voor het "long-tail"-probleem in autonoom rijden. In plaats van te proberen een enorm model te trainen dat alle mogelijke scenario's dekt, stelt het framework een mechanisme voor waarbij het voertuig continu leert van zijn eigen ervaringen.

Schaalbaarheid: Het maakt het mogelijk om nieuwe scenario's toe te voegen zonder de volledige pipeline opnieuw te trainen.
Interpreteerbaarheid: Door gebruik te maken van LLM's en tekstuele prompts is het besluitvormingsproces transparanter dan bij pure "black-box" deep learning modellen.
Real-world Toepasbaarheid: De focus op gesloten-lus evaluatie en de demonstratie van verbeterde veiligheid in kritieke situaties maken dit framework zeer relevant voor de toekomstige implementatie van robuuste autonome voertuigen.

Kortom, LiloDriver bewijst dat de combinatie van gestructureerd geheugen en taalmodellen een krachtige route is naar mensachtig, adaptief en veilig rijden in complexe, dynamische omgevingen.