Integrated Automated Car Following and Lane-changing control based on a Parametrized Deep Q-network with Hybrid Action Space

Sintesi Tecnica: Controllo Integrato Automatizzato del Seguimento del Veicolo e del Cambio di Corsia basato su una Deep Q-Network Parametrizzata

Definizione del Problema
Gli approcci attuali al controllo dei veicoli automatizzati spesso trattano il cambio di corsia e il seguimento del veicolo come compiti indipendenti. I modelli tradizionali basati su regole, come il Minimizing Overall Braking Decelerations Induced by Lane Changes (MOBIL) combinato con l' Intelligent Driver Model (IDM), si affidano a regole predefinite e approssimazioni esplicite delle traiettorie. Questi metodi faticano a gestire la natura dinamica e stocastica del traffico, in particolare quando le decisioni di cambio corsia dipendono da interazioni complesse con i veicoli circostanti (ad esempio, regolare la velocità per sfruttare un varco accettabile). Inoltre, gli approcci esistenti di Reinforcement Learning (RL) affrontano spesso questi sottotask separatamente o tentano di integrarli discretizzando le azioni continue (come l'accelerazione), il che può portare a una perdita della struttura naturale dello spazio delle azioni e a una ridotta efficienza. La sfida principale consiste nella gestione di uno spazio di azione ibrido, dove le decisioni di cambio corsia sono discrete, mentre l'accelerazione e l'esecuzione della traiettoria sono continue.

Metodologia
Lo studio propone un framework di controllo integrato per i Veicoli Connessi e Automatizzati (CAV) utilizzando una Parametrized Deep Q-Network (P-DQN). Questo algoritmo è progettato per operare direttamente su uno spazio di azione ibrido discreto-continuo senza discretizzare le variabili continue.

• Spazio degli Stati: Lo stato del sistema ($S_t$) comprende due componenti:
  1. Interazioni tra Veicoli ($S^1_t$): Include le posizioni e le velocità relative laterali/longitudinali di quattro veicoli circostanti (davanti/dietro nelle corsie attuale e adiacente).
  2. Contesto Stradale ($S^2_t$): Include la distanza del veicolo ego dai bordi stradali, la linea centrale ideale della corsia e la differenza di indice di corsia tra la corsia attuale e quella ideale.
• Spazio delle Azioni: Il framework impiega uno spazio di azione ibrido $A_t = [A^h_t, A^l_t]^T$:
  • Azione Discreta di Alto Livello ($k_t$): Determina la decisione di cambio corsia (0: sinistra, 1: resta, 2: destra).
  • Azioni Continue di Basso Livello ($A^l_t$): Controlla le accelerazioni laterali ($a_{x,0}$) e longitudinali ($a_{y,0}$). L'intervallo delle azioni continue è parametrizzato dalla decisione discreta (ad esempio, l'accelerazione laterale è vincolata a valori negativi per un cambio di corsia verso sinistra).
• Funzione di Ricompensa: La ricompensa totale ($R_{total}$) è una somma pesata di cinque componenti progettate per bilanciare sicurezza, efficienza e comfort:
  1. Sicurezza: Penalizza la vicinanza ai veicoli circostanti e ai bordi stradali utilizzando funzioni di penalità logaritmiche.
  2. Seguimento del Veicolo: Incoraggia il mantenimento di un gap temporale desiderato con il veicolo che precede.
  3. Mantenimento della Corsia: Penalizza la deviazione dalla linea centrale della corsia quando non si sta cambiando corsia.
  4. Cambio di Corsia: Premia l'allineamento con la "corsia ideale" (determinata dalla velocità dei veicoli che precedono nelle corsie adiacenti).
• Algoritmo: La P-DQN utilizza una rete critic per stimare la funzione del valore dell'azione $Q(S, k, A_l)$ e una rete actor per produrre i parametri continui ottimali $A_l$ per una data azione discreta $k$. La rete è addestrata per massimizzare le ricompense cumulative utilizzando una funzione di perdita dei minimi quadrati e la discesa del gradiente stocastico.

Contributi Chiave

1. Framework di Controllo Integrato: Lo studio presenta una strategia di controllo unificata che gestisce simultaneamente il cambio di corsia e il seguimento del veicolo, trattandoli come processi interdipendenti piuttosto che come sottotassi isolati.
2. Implementazione dello Spazio di Azione Ibrido: Il documento implementa la P-DQN per gestire la specifica sfida degli spazi di azione ibridi nel controllo dei CAV, evitando i limiti della discretizzazione delle azioni continue.
3. Ottimizzazione Multi-Obiettivo: Il framework integra con successo quattro sotto-obiettivi — evitamento delle collisioni, seguimento del veicolo, mantenimento della corsia ed efficienza del cambio corsia — in un'unica politica di apprendimento.

Risultati
Esperimenti numerici sono stati condotti su quattro scenari di diversa complessità, inclusi veicoli circostanti con velocità costanti e dinamiche.

• Convergenza: L'algoritmo P-DQN ha raggiunto la convergenza entro 2.000 - 3.000 episodi di addestramento.
• Performance Comportamentale: A differenza dei metodi tradizionali (es. MOBIL) che potrebbero rifiutare un cambio di corsia a causa di vincoli immediati sul gap, la P-DQN ha imparato ad regolare la velocità longitudinale (accelerare o decelerare) per creare o utilizzare i varchi, consentendo cambi di corsia efficaci. L'agente ha mantenuto distanze di sicurezza sia dai veicoli che precedono sia da quelli che seguono durante le manovre e ha rispettato le linee centrali delle corsie.
• Analisi Comparativa: Confrontata con un modello baseline MOBIL+IDM:
  • Sicurezza: La P-DQN ha dimostrato valori di Tempo all'Impatto Inverso (Inverse-TTC) significativamente più bassi (ad esempio, 0,075 vs 0,214 nello Scenario 1), indicando un minor rischio di collisione.
  • Comfort: La P-DQN ha ottenuto metriche di disagio di guida (basate sull'entità dell'accelerazione) sostanzialmente inferiori, con valori compresi tra 0,599 e 1,260 rispetto ai valori compresi tra 1,596 e 3,712 del baseline MOBIL+IDM.

Significatività e Rivendicazioni
Il documento afferma che il framework P-DQN proposto risolve i limiti delle strategie di controllo separate e dei modelli basati su regole, integrando efficacemente i comportamenti di cambio corsia e di seguimento del veicolo. Sfruttando uno spazio di azione ibrido, il modello consente ai CAV di prendere decisioni coordinate in cui la regolazione della velocità facilita cambi di corsia sicuri, imitando i comportamenti di guida umani realistici. Lo studio conclude che questo approccio integrato produce prestazioni superiori in termini di sicurezza di guida e comfort rispetto alla combinazione stabilita di MOBIL e IDM, fornendo una soluzione più adattabile per scenari di traffico complessi senza dipendere da rigide regole predefinite.