An LLM-Explainable DRL Framework for Passenger-Directed Autonomous Driving

Technische Samenvatting: Een LLM-uitlegbare DRL-framework voor passagiersgestuurd autonoom rijden

Probleemstelling
Ondanks de vooruitgang in de perceptie en controle van autonome voertuigen (AV's), blijft het publieke vertrouwen beperkt door het "black box"-karakter van beslissingssystemen. Passagiers missen vaak transparantie over waarom een AV specifieke acties uitvoert, met name in kritieke situaties. Bestaande Explainable AI (XAI)-benaderingen zijn voornamelijk gericht op ontwikkelaars en vertrouwen op visuele representaties of technische regelsporen die niet toegankelijk zijn voor niet-experts. Bovendien integreren huidige frameworks zelden realtime spraakcommando's van passagiers direct in de regel-loop, terwijl ze tegelijkertijd natuurlijke taalverantwoordingen bieden wanneer veiligheidsbeperkingen noodzakelijk zijn om die commando's te overrulen.

Methodologie
De auteurs stellen een hybride framework voor dat opereert binnen een SUMO microscopische verkeerssimulator en Deep Reinforcement Learning (DRL) integreert voor adaptieve controle met Large Language Models (LLMs) voor passagiersinteractie en uitlegbaarheid. De systeemarchitectuur bestaat uit vier subsystemen:

1. Simulatieomgeving: Een tweerichtings stedelijk wegscenario met signaalgestuurde kruispunten, onsignaalgestuurde voetgangersoversteekplaatsen en variabele verkeersstromen. De intentie van de passagier wordt geabstraheerd in drie discrete commando's: snel (fast), comfortabel (comfort) en stop.
2. Commando-interpretatie (LLM-1): Maakt gebruik van GPT-4.1-mini; dit module transcribeert gesproken verzoeken van passagiers (direct of indirect) en formuleert deze om tot een bevestigd, ondubbelzinnig rijinstructie (rij sneller, rij voorzichtiger of stop). Het produceert een numerieke klasse (0, 1 of 2) voor de controle-agent.
3. Autonome Rijkern (DRL): Het controlebeleid wordt gemodelleerd als een Markov-beslissingsproces (MDP) met behulp van een Dueling Double Deep Q-Network (D3QN).
   • Toestandsruimte: Een 8-dimensionale vector inclusief passagierscommando, eigen snelheid, snelheidslimiet, afstand tot voorganger, relatieve snelheid, afstand/status verkeerslicht en afstand tot voetgangersoversteekplaats.
   • Actieruimte: Discrete longitudinale snelheidsaanpassingen variërend van -3 tot +3 m/s.
   • Beloningsfuncties: Drie verschillende beloningsstructuren zijn gedefinieerd voor de rijmodi:
     • Snel (Fast): Prioriteert efficiëntie en het naleven van de snelheidslimiet terwijl de veiligheid behouden blijft (Time-to-Collision > 2s).
     • Comfortabel (Comfort): Prioriteert vloeiendheid door hoge jerk te bestraffen en geeft de voorkeur aan conservatieve afstand tot voorgangers.
     • Stop: Dwingt onmiddellijke remming af met hoge straffen voor het behouden van snelheid.
   • Veiligheidsmechanisme: Een virtuele leider-benadering wordt gebruikt om te stoppen bij rode lichten en voetgangersoversteekplaatsen, waarbij rigide afstandsdrempels worden vervangen door een car-following logica die regelnaleving waarborgt.
4. Uitlegbaarheidspijplijn (LLM-2 & LLM-3):
   • Beslissingsmodule (LLM-2): Evalueert de huidige actie van het voertuig tegenover het verzoek van de passagier en de omgevingstoestand. Het triggert een uitleg alleen als er een conflict bestaat (bijv. vertragen ondanks een "snel"-verzoek vanwege een rood licht).
   • Uitleggenerator (LLM-3): Genereert beknopte, geruststellende rechtvaardigingen van één tot twee zinnen in natuurlijke taal wanneer een conflict wordt gedetecteerd, waarbij de focus ligt op de meest veiligheidsrelevante factor (bijv. "naderen van een verkeerslicht").

Belangrijkste Bijdragen

1. Passagiersgeoriënteerde XAI-pijplijn: Een innovatieve integratie van LLMs met DRL die natuurlijke taalverzoeken van passagiers vertaalt naar controlebeleid en contextbewuste uitleg genereert voor niet-experts.
2. Multi-mode D3QN-agent: Een getrainde agent die in staat is om naadloos te schakelen tussen de modi snel, comfortabel en stop binnen één enkele rit, terwijl de verkeersregels en veiligheidsbeperkingen worden nageleefd.
3. Conflictdetectiemechanisme: Een LLM-gebaseerde module die dynamisch bepaalt wanneer een uitleg noodzakelijk is, specif으로 door het triggeren wanneer veiligheidsbeperkingen de intentie van de passagier overrulen, waardoor een balans wordt gevonden tussen adaptiviteit en transparantie.

Resultaten
Het framework werd geëvalueerd over 11.000 trainingsepisoden en 25 testepisoden bij variërende verkeersdichtheden (0,5x tot 1,5x basisstroom).

• DRL-prestaties: Zowel de snel- als de comfort-agents vertoonden stabiel leren en botsingsvrije operaties.
  • De snel-agent bereikte een gemiddelde snelheid van 4,508 m/s met een gemiddelde Time Headway (TH) van 2,998s en een Time-to-Collision (TTC) van 5,603s.
  • De comfort-agent bereikte een iets lagere gemiddelde snelheid (4,396 m/s) maar behield een aanzienlijk grotere TH (6,373s) en een lagere jerk (0,205 m/s³), wat de vloeiendere rijbeweging bevestigt.
  • Beide agents voerden noodstopcommando's succesvol uit, waarbij ze hun respectievelijke rijmodi zonder instabiliteit overreden.
• LLM-prestaties:
  • Commando-interpretatie (LLM-1): Behaalde een nauwkeurigheid van 96,9% op een dataset van 33 verzoeken, met perfecte precisie voor de snel-klasse. Eén fout betrof het foutief classificeren van een stop-verzoek als comfort.
  • Besluitvorming & Uitleg (LLM-2/3): Kwalitatieve evaluatie toonde aan dat het systeem correct uitleg activeerde voor veiligheidsgestuurde afwijkingen (bijv. vertragen voor een rood licht) en passende, geruststellende rechtvaardigingen genereerde. Het systeem vermeed effectief redundante uitleg voor kleine, verwachte aanpassingen.

Betekenis en Claims
Het artikel presenteert dit werk als een proof of concept die de haalbaarheid aantoont van het integreren van DRL-gebaseerde rijcontrole met LLM-gestuurde passagiersinteractie. De auteurs beweren dat dit framework erin slaagt de kloof tussen AV-prestaties en publiek vertrouwen te overbruggen door een systeem te bieden dat veilig, adaptief aan gebruikersvoorkeuren en uitlegbaar is.

De studie benadrukt dat het framework het meest effectief is wanneer het moet uitleggen waarom een verzoek van een passagier (bijv. "rij sneller") wordt vertraagd of overreden vanwege veiligheidsbeperkingen. De auteurs vermelden expliciet beperkingen, waaronder de afhankelijkheid van simulatie (SUMO), het gebrek aan gestandaardiseerde metrieken voor realtime evaluatie van uitleg, en het potentieel voor LLM-hallucinaties. Bijgevolg presenteren zij het werk als een fundamentele stap naar toekomstige uitbreidingen met betrekking tot laterale controle (rijstrookwisseling) en implementatie in de echte wereld, in plaats van een volledig volwassen oplossing die klaar is voor directe commerciële toepassing.