🤖 AI

PersonaDrive: Human-Style Retrieval-Augmented VLA Agents for Closed-Loop Driving Simulation

PersonaDrive is een retrieval-augmented VLA-agent framework dat rijgedrag conditioneert op basis van opgehaalde menselijke demonstraties uit stijl-geïnstrueerde datasets, waardoor closed-loop simulatie-agenten dynamisch diverse menselijke rijstijlen (agressief, neutraal, conservatief) kunnen adopteren zonder per stijl hertraining te vereisen, terwijl het state-of-the-art prestaties behaalt.

Oorspronkelijke auteurs: Mahmoud Srewa, Praneetsai Iddamsetty, Mohammad Abdullah Al Faruque, Salma Elmalaki

Gepubliceerd 2026-06-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mahmoud Srewa, Praneetsai Iddamsetty, Mohammad Abdullah Al Faruque, Salma Elmalaki

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een auto te besturen. Meestal, wanneer we dit in een computer simuleren, gedragen de andere auto's op de weg (het "verkeer") zich allemaal precies hetzelfde: ze zijn beleefd, voorspelbaar en rijden allemaal met exact dezelfde snelheid. Het is als een dans waarbij iedereen dezelfde choreografie volgt. Maar in de echte wereld zijn bestuurders verschillend. Sommigen zijn agressief en snijden mensen af; anderen zijn super voorzichtig en rijden langzaam; weer anderen zijn gewoon normaal.

Het artikel introduceert PersonaDrive, een nieuwe manier om computerverkeer menselijker te laten aanvoelen door de robotbestuurder een "geheugenbank" te geven van echte menselijke rijstijlen.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: De "Robotverkeer" Glitch

Huidige rijsimulatoren zijn geweldig in fysica (hoe een auto draait of stopt), maar slecht in persoonlijkheid. Ze kunnen niet gemakkelijk schakelen tussen een "snelheidsduivel" en een "oma die naar de supermarkt rijdt". Eerdere pogingen om dit op te lossen, vertrouwden op het raden wat een agressieve bestuurder zou moeten doen met behulp van complexe wiskunde of AI-regels. De auteurs stellen dat dit is alsof je probeert te raden hoe een persoon smaakt door een recept te lezen, in plaats van daadwerkelijk het eten te proeven.

2. De Oplossing: Een "Stijlbibliotheek"

De onderzoekers hebben een speciale bibliotheek gebouwd met echte menselijke rijdata.

De Opzet: Ze plaatsten 8 echte menselijke bestuurders in een rijsimulator (een videogame die aanvoelt als het echte leven).
De Taak: Ze gaven elke bestuurder de opdracht om drie keer dezelfde route te rijden, maar met verschillende instructies:
1. Conservatief: Rij langzaam, wees veilig, geef voorrang aan iedereen.
2. Neutraal: Rij normaal, volg de regels op.
3. Agressief: Rij zo snel mogelijk zonder te crashen, snijd mensen af, rijd te dicht op de achtergrond (tailgating).
Het Resultaat: Ze hebben nu drie aparte "stijlbibliotheken" gevuld met video en data van hoe echte mensen zich daadwerkelijk gedragen in die specifieke stemmingen.

3. De Magische Truk: De "Slimme Bibliothecaris"

Dit is de kern van PersonaDrive. In plaats van de robotbestuurder voor elke nieuwe persoonlijkheid opnieuw te trainen, gebruiken ze een Retrieval-Augmented systeem. Denk aan een Slimme Bibliothecaris die de robotbestuurder helpt beslissingen te nemen.

Hier is het stapsgewijze proces:

Stap A: De Vraag (De Huidige Situatie)
De robotbestuurder rijdt en ziet een situatie (bijv. "Er rijdt een auto voor me in te voegen").
Stap B: De Zoekopdracht (De Bibliothecaris)
De robot vraagt aan de Bibliothecaris: "Ik rijd nu agressief. Laat me voorbeelden zien van hoe een mens handelde toen die agressief was in een situatie die hier precies op lijkt."
- De Bibliothecaris doorzoekt onmiddellijk de Agressieve Bibliotheek en vindt 2 of 3 perfecte voorbeelden van de echte menselijke bestuurders.
- Cruciaal Punt: Als de robot conservatief wilde rijden, zou de Bibliothecaris onmiddellijk naar de Conservatieve Bibliotheek schakelen en andere voorbeelden vinden. De robot hoeft niets nieuws te leren; hij kijkt alleen naar andere boeken.
Stap C: De Les (In-Context Learning)
De robot kijkt naar deze voorbeelden. Hij ziet: "Oh, toen een mens agressief was in deze situatie, versnelde hij en maakte hij plaats."
Stap D: De Actie
De robot kopieert dat gedrag en rijdt dienovereenkomstig.

4. Waarom dit Beter is

Geen Re-training: Normaal gesproken, om een robot anders te laten rijden, moet je hem het hele proces opnieuw leren. Met PersonaDrive hoef je alleen de "bibliotheek" waar de robot naar kijkt te wisselen. Het is alsof je van kanaal wisselt op een tv; de tv (de robot) blijft hetzelfde, maar de show (de rijstijl) verandert direct.
Realisme: Omdat de robot daadwerkelijke menselijke acties kopieert in plaats van een wiskundige formule te volgen, voelt het verkeer veel echter aan.
Prestaties: De paper testte dit op een standaard rijtest (Bench2Drive).
- Zonder enige stijlinstructies reed de robot beter dan eerdere topmodellen (scoorde hoger en crashte minder vaak).
- Wanneer de robot de opdracht kreeg om Agressief te zijn, reed hij sneller en accelereerde hij meer.
- Wanneer de robot de opdracht kreeg om Conservatief te zijn, reed hij langzamer en veiliger.
- Het behaalde de hoogste scores in elke enkele stijlcategorie vergeleken met andere methoden.

De Kernboodschap

PersonaDrive is als het geven van een mood ring en een bibliotheek van menselijke herinneringen aan een zelfrijdende auto. In plaats van te berekenen hoe hij moet handelen, zoekt hij op hoe een echte mens handelde in die exacte stemming en situatie, en kopieert hij hen vervolgens. Dit stelt een enkele robotbestuurder in staat om direct te veranderen in een voorzichtige grootouder, een normale forens of een racerijder, simpelweg door de "bibliotheek" te wisselen die hij raadpleegt.

Technische Samenvatting: PersonaDrive

Probleemstelling

Gesloten-lus rijsimulatoren, essentieel voor het trainen en evalueren van autonome rijbeleid, lijden momenteel aan een gebrek aan gedragsdiversiteit in niet-ego verkeersagenten. Bestaande omgevingen vertrouwen op regelgebaseerde verkeersbeheerders of geleerde modellen die getraind zijn op één enkel gedragsmodus, wat resulteert in homogeen verkeer dat de stilistische heterogeniteit van echte menselijke bestuurders (variërend van conservatief tot agressief) niet kan evenaren. Deze kloof beperkt de generalisatie van ego-beleid, met name in interactie-intensieve scenario's zoals invoegmanoeuvres en onbeschermde bochten.

Huidige pogingen om stilistische variatie te introduceren, worden geconfronteerd met drie primaire beperkingen:

Proxy-signalen: Methoden die vertrouwen op post-hoc observationele labels of door LLM's geïnferrederde beloningsgewichten fungeren als proxies voor stijl, in plaats van daadwerkelijk menselijk gedrag te vangen wanneer er expliciet de instructie wordt gegeven om in een specifieke stijl te rijden.
Beperkingen van enkele databases: Bestaande retrieval-augmented benaderingen maken gebruik van een enkele gedeelde database, waardoor het onmogelijk is om te onderscheiden welke opgehaalde voorbeelden relevant zijn voor een specifieke rijstijl.
Misalignement: Benaderingen die LLM's gebruiken om stijlbeloningen te benaderen, introduceren lagen van misalignement tussen de stijlinstructie en het resulterende rijgedrag, aangezien de schatting van een LLM over "agressief rijden" mogelijk niet overeenkomt met de werkelijke menselijke uitvoering.

Methodologie

De auteurs introduceren PersonaDrive, een pipeline die een Vision-Language-Action (VLA) rijagent conditioneert op basis van opgehaalde demonstraties uit een stijl-geïnstrueerde menselijke rijdataset. Het systeem werkt via drie afzonderlijke stadia:

1. Datacollectie: Stijl-geïnstrueerde menselijke rijdata

Een gecontroleerde dataset werd verzameld met behulp van een driver-in-the-loop rig met $M=8$ deelnemers. Elke deelnemer reed CARLA Leaderboard-routes onder drie expliciete instructies: Conservatief, Neutraal en Agressief.

Ontkoppeling: Het ontwerp ontkoppelt stijl van de identiteit van de bestuurder door elke deelnemer dezelfde routes te laten rijden onder alle drie de stijlen.
Annotaties: De data bevat RGB vanuit het vooraanzicht, ego-status (snelheid, gas, sturing, commando), GPS-doelen en waypoints. Post-hoc annotaties omvatten VQA scènebeschrijvingen (Visual Question Answering) en vrije tekstcommentaren.

2. Drie-staps Trainingspipeline

Stap 1: Offline Triplet Mining
Om gedragsgelijkenis te bepalen, construeert het systeem gestructureerde "frame zinnen" voor elk rijframe, waarbij visuele data wordt gecombineerd met natuurlijke taalcontext (VQA, commentaar, commando's en uitgevoerde waypoints). Een gecombineerde gelijkenisscore ( $\sigma$ ) wordt berekend met behulp van een bevroren SigLIP vision encoder en een bevroren BGE-M3 sentence encoder. Deze score stuurt de mining van trainings-triplets aan:

Positieven: Frames met een hoge gecombineerde gelijkenis (dezelfde scène, context en actie).
Hard Negatieven: Frames met een hoge visuele gelijkenis maar een lage tekst/context-gelijkenis (andere commando's of snelheden).
Easy Negatieven: Frames met een lage gelijkenis in beide modaliteiten.

Stap 2: Training van de Retrieval Head
Een lichtgewicht retrieval-model wordt getraind om bevroren visuele kenmerken te fuseren met een geleerde controle-encoder (die snelheid, gas, sturing en commando verwerkt). In tegen tegenstelling tot Stap 1, wordt er tijdens de inferentie geen tekst-encoder gebruikt. Het model wordt getraind op de geminde triplets met behulp van een gewogen triplet loss die de verwarring van harde negatieven (visueel vergelijkbaar maar gedragsmatig verschillend) zwaarder bestraft. Dit resulteert in een enkele gedeelde retrieval head die specifieke stijl-databases kan bevragen.

Stap 3: In-Context Fine-Tuning
De VLA-backbone (gebaseerd op SimLingo/InternVL2-1B) wordt gefinetuned om opgehaalde contextpunten te interpreteren als gedragsdemonstraties. De trainingsdata is een mix van stijl-agnostische trajecten en de stijl-geïnstrueerde PersonaDrive-data. Het model leert waypoints voor de huidige scène te voorspellen door analogie met de $K=2$ opgehaalde demonstraties, zonder dat er expliciete stijl-labels als input worden meegegeven.

3. Inferentiemechanisme

Tijdens de inferentie selecteert het systeem een rijstijl door de FAISS-index waarmee de retrieval head wordt bevraagd te wisselen (bijvoorbeeld door te schakelen van de "Conservatieve" index naar de "Agressieve" index). De top- $K$ opgehaalde contextpunten worden voorafgevoegd aan de huidige observatie als in-context tokens. De VLA-backbone voorspelt vervolgens waypoints, die door een PID-controller worden gedecodeerd naar gas, rem en sturing. Cruciaal is dat er geen per-stijl backbone-retraining vereist is; het wisselen van stijl is een retrieval-operatie.

Belangrijkste Bijdragen

Stijl-geïnstrueerde Dataset: Een nieuwe dataset waarbij menselijke bestuurders expliciet drie verschillende stijlen uitvoeren over diverse verkeersscenario's, waarbij stijl wordt ontkoppeld van de identiteit van de bestuurder om directe supervisie van stijl-conditioneel gedrag mogelijk te maken.
Triplet-RAG Architectuur: Een nieuwe architectuur waarbij stijlcontrole wordt bereikt door opgehaalde menselijke demonstraties in plaats van vaste tokens, proxy-beloningen of per-stijl model fine-tuning. Dit maakt het mogelijk dat een enkele gedeelde backbone meerdere verschillende menselijke stijlen ondersteunt.
Efficiënt Wisselen van Stijl: Een mechanisme waarbij het wijzigen van de rijstijl tijdens de inferentie slechts het wisselen van de FAISS-index vereist, wat de computationele kosten van het hertrainen of het onderhouden van meerdere modelgewichten vermijdt.

Resultaten

Geëvalueerd op de Bench2Drive closed-loop benchmark:

No-Style Performance: PersonaDrive (zonder stijl-conditionering) behaalde een Driving Score (DS) van 88.95, waarmee het SimLingo (85.07) met 4,6% en HiP-AD (86.77) met 2,5% versloeg. Dit demonstreert dat de retrieval-pipeline de closed-loop rijcapaciteiten verbetert zonder de prestaties te schaden.
Style-Conditioned Performance: PersonaDrive behaalde de hoogste Driving Score in elke stijlconditie (Agressief: 88.35, Neutraal: 87.21, Conservatief: 89.16).
- In elke stijl versloeg PersonaDrive de sterkste baseline (DMW) met een marge van 5,2 tot 8,9 DS-punten.
- Het model moduleerde het gedrag succesvol volgens de instructies: de gemiddelde snelheid nam met 18% toe en de acceleratie met 25% bij de overgang van de Conservatieve naar de Agressieve instructie.
- Success rates bleven competitief met de baselines, terwijl efficiëntie en comfort-metrieken overeenkwamen met de beoogde stijl (bijv. hogere comfort voor Conservatief, lagere voor Agressief).

Betekenis en Claims

Het artikel beweert dat PersonaDrive de kloof overbrugt tussen homogene gesimuleerde verkeersstromen en heterogene real-world verkeersstromen door simulator-agenten te funderen in werkelijk menselijk gedrag in plaats van proxy-signalen. Door stijl te behandelen als een klasse-niveau gedragsdistributie die is geworteld in expliciete menselijke instructies, genereert het systeem stijl-diverse niet-ego agenten die de getrouwheid van closed-loop simulaties verbeteren.

De auteurs benadrukken dat hun aanpak de benaderingsfouten van door LLM's geïnferrederde beloningen en de beperkingen van single-database retrieval omzeilt. Het vermogen om van stijl te wisselen tijdens de inferentie zonder de backbone te hertrainen, biedt een schaalbare oplossing voor het populeren van simulatoren met diverse, mensachtige verkeersagenten, wat de robuustheid van autonome rij-beleid die in deze omgevingen worden getraind, verbetert.

Het werk erkent beperkingen, waaronder het discrete karakter van de stijlset (versus continue real-world rijgedrag), de huidige omvang van de deelnemersgroep ( $M=8$ ), en de afhankelijkheid van een enkele frontale camera-view in de simulatie. Toekomstig werk is gericht op continue stijlmodellering, grotere deelnemersgroepen en sim-to-real transfer.