An LLM-Explainable DRL Framework for Passenger-Directed Autonomous Driving

Sintesi Tecnica: Un Framework DRL Spiegabile tramite LLM per la Guida Autonoma Diretta dal Passeggero

Problematica
Nonostante i progressi nella percezione e nel controllo dei veicoli autonomi (AV), la fiducia del pubblico rimane limitata a causa della natura "black box" dei sistemi decisionali. I passeggeri spesso mancano di trasparenza riguardo al motivo per cui un AV compie specifiche azioni, particolarmente in situazioni critiche. Gli approcci esistenti alla XAI (Intelligenza Artificiale Spiegabile) sono prevalentemente orientati agli sviluppatori, basandosi su rappresentazioni visive o tracce tecniche di regole che non sono accessibili agli utenti non esperti. Inoltre, gli attuali framework raramente integrano i comandi vocali dei passeggeri in tempo reale direttamente nel ciclo di controllo, fornendo simultaneamente giustificazioni in linguaggio naturale quando i vincoli di sicurezza rendono necessario sovrascrivere tali comandi.

Metodologia
Gli autori propongono un framework ibrido che opera all'interno di un simulatore di traffico microscopico SUMO, il quale integra l'Apprendimento per Rinforzo Profondo (DRL) per il controllo adattivo con i Large Language Models (LLM) per l'interazione con il passeggero e la spiegabilità. L'architettura del sistema comprende quattro sottosistemi principali:

1. Ambiente di Simulazione: Uno scenario stradale urbano bidirezionale con incroci semaforici, attraversamenti pedonali non semaforizzati e flussi di traffico variabili. L'intento del passeggero è astratto in tre comandi discreti: veloce (fast), comfort e fermati (stop).
2. Interpretazione del Comando (LLM-1): Utilizzando GPT-4.1-mini, questo modulo trascrive le richieste verbali del passeggero (dirette o indirette) e le riformula in un'istruzione di guida confermata e univoca (guida più velocemente, guida con più cautela o fermati). Produce una classe numerica (0, 1 o 2) per l'agente di controllo.
3. Nucleo di Guida Autonoma (DRL): La politica di controllo è modellata come un Processo Decisionale di Markov (MDP) utilizzando una Dueling Double Deep Q-Network (D3QN).
   • Spazio degli Stati: Un vettore a 8 dimensioni che include il comando del passeggero, la velocità dell'ego-veicolo, il limite di velocità, la distanza di distanziamento (headway), la velocità relativa, la distanza/stato del semaforo e la distanza dall'attraversamento pedonale.
   • Spazio delle Azioni: Regolazioni discrete della velocità longitudinale che vanno da -3 a +3 m/s.
   • Funzioni di Ricompensa: Sono definite tre strutture di ricompensa distinte per le modalità di guida:
     • Veloce (Fast): Priorità all'efficienza e al rispetto del limite di velocità mantenendo la sicurezza (Time-to-Collision > 2s).
     • Comfort: Priorità alla fluidità, penalizzando l'elevato jerk e favorendo distanziamenti più conservativi.
     • Fermati (Stop): Impone una frenata immediata con alte penalità per il mantenimento della velocità.
   • Meccanismo di Sicurezza: Viene utilizzato un approccio a "leader virtuale" per imporre l'arresto ai semafori rossi e agli attraversamenti pedonali, sostituendo le rigide soglie di distanza con una logica di inseguimento del veicolo che garantisca la conformità alle regole.
4. Pipeline di Spiegabilità (LLM-2 & LLM-3):
   • Modulo Decisionale (LLM-2): Valuta l'azione corrente del veicolo rispetto alla richiesta del passeggero e allo stato dell'ambiente. Attiva una spiegazione solo se esiste un conflitto (ad esempio, decelerare nonostante una richiesta di "velocità" a causa di un semaforo rosso).
   • Generatore di Spiegazioni (LLM-3): Genera giustificazioni concise e rassicuranti, di una o due frasi, in linguaggio naturale quando viene rilevato un conflitto, concentrandosi sul fattore più rilevante per la sicurezza (ad esempio, "avvicinamento a un semaforo").

Contributi Chiave

1. Pipeline XAI Orientata al Passeggero: Una nuova integrazione di LLM con DRL che traduce le richieste in linguaggio naturale dei passeggeri in politiche di controllo e genera spiegazioni contestualizzate per utenti non esperti.
2. Agente D3QN Multi-Modalità: Un agente addestrato capace di passare senza soluzione di continuità tra le modalità veloce, comfort e fermati all'interno di un singolo viaggio, rispettando le regole del traffico e i vincoli di sicurezza.
3. Meccanismo di Rilevamento del Conflitto: Un modulo basato su LLM che determina dinamicamente quando è necessaria una spiegazione, attivandola specificamente quando i vincoli di sicurezza sovrascrivono l'intento del passeggero, bilanciando così adattabilità e trasparenza.

Risultati
Il framework è stato valutato su 11.000 episodi di addestramento e 25 episodi di test attraverso diverse densità di traffico (da 0.5x a 1.5x del flusso base).

• Prestazioni DRL: Sia gli agenti veloce che quelli comfort hanno dimostrato un apprendimento stabile e un'operatività priva di collisioni.
  • L'agente veloce ha raggiunto una velocità media di 4.508 m/s con un intervallo temporale medio (Time Headway, TH) di 2.998s e un Time-to-Collision (TTC) di 5.603s.
  • L'agente comfort ha raggiunto una velocità media leggermente inferiore (4.396 m/s) ma ha mantenuto un TH significativamente maggiore (6.373s) e un jerk inferiore (0.205 m/s³), confermando un comportamento di guida più fluido.
  • Entrambi gli agenti hanno eseguito con successo i comandi di arresto di emergenza, sovrascrivendo le rispettive modalità di guida senza instabilità.
• Prestazioni LLM:
  • Interpretazione del Comando (LLM-1): Ha raggiunto una precisione del 96.9% su un dataset di 33 richieste, con una precisione perfetta per la classe veloce. Un errore ha riguardato la classificazione errata di una richiesta di fermati come comfort.
  • Decisione e Spiegazione (LLM-2/3): La valutazione qualitativa ha mostrato che il sistema ha attivato correttamente le spiegazioni per le deviazioni guidate dalla sicurezza (ad esempio, rallentare per un semaforo rosso) e ha generato giustificazioni appropriate e rassicuranti. Il sistema ha evitato efficacemente spiegazioni ridondanti per piccoli aggiustamenti attesi.

Significatività e Rivendicazioni
Il documento presenta questo lavoro come una prova di concetto che dimostra la fattibilità dell'integrazione del controllo di guida basato su DRL con l'interazione con il passeggero guidata da LLM. Gli autori affermano che questo framework riesce a colmare il divario tra le prestazioni degli AV e la fiducia del pubblico fornendo un sistema che è sicuro, adattabile alle preferenze dell'utente ed esplicabile.

Lo studio evidenzia che il framework è più efficace quando deve spiegare perché la richiesta di un passeggero (ad esempio, "guida più velocemente") è ritardata o sovrascritta a causa dei vincoli di sicurezza. Gli autori notano esplicitamente i limiti, inclusa la dipendenza dalla simulazione (SUMO), la mancanza di metriche standardizzate per la valutazione delle spiegazioni in tempo reale e il potenziale di allucinazioni degli LLM. Di conseguenza, inquadrano il lavoro come un passo fondamentale verso future estensioni che riguardino il controllo laterale (cambio corsia) e l'implementazione nel mondo reale, piuttosto che come una soluzione completamente matura pronta per l'uso commerciale immediato.