PALCAS: A Priority-Aware Intelligent Lane Change Advisory System for Autonomous Vehicles using Federated Reinforcement Learning

1. Enunciato del Problema

Il cambio di corsia sulle autostrade urbane, in particolare quelle con frequenti svincoli di entrata e uscita, è un compito decisionale complesso che coinvolge il coordinamento dei controlli laterali e longitudinali del veicolo. Gli approcci attuali affrontano diverse sfide:

• Sicurezza ed Efficienza: I cambi di corsia impropri contribuiscono a oltre il 10% degli incidenti autostradali e al 10% della congestione del traffico. I conducenti umani spesso non riescono a prendere decisioni critiche a causa di errori di percezione.
• Limitazioni dell'IA Esistente:
  • Sistemi ad Agente Singolo: Spesso si concentrano sull'efficienza del veicolo ego, trascurando il coordinamento globale del traffico.
  • Sistemi Multi-Agente Centralizzati (MARL): Sebbene migliorino il coordinamento, soffrono di rischi per la privacy dei dati, elevati oneri computazionali e mancanza di scalabilità in reti grandi ed eterogenee.
  • Lacune nell'Apprendimento Federato (FL): Le applicazioni FL esistenti nella guida autonoma si concentrano principalmente sul controllo di movimento a basso livello (es. evitamento di collisioni) piuttosto che su un processo decisionale integrato e ad alto livello per il cambio di corsia multi-agente che bilancia manovre obbligatorie e discrezionali.

2. Metodologia: Framework PALCAS

Gli autori propongono PALCAS, un Sistema di Consulenza per il Cambio di Corsia Consapevole delle Priorità basato su un framework di Apprendimento per Rinforzo Multi-Agente Federato (Fed-MARL).

Architettura di Sistema

• Infrastruttura: L'autostrada è segmentata in cluster, ciascuno gestito da un'Unità Laterale Stradale (RSU). Le RSU agiscono come agenti che coordinano i Veicoli Connessi e Automatizzati (CAV) all'interno della loro copertura.
• Comunicazione:
  • V2X (Vehicle-to-Everything): I CAV comunicano con la loro RSU locale.
  • I2I (Infrastructure-to-Infrastructure): Le RSU comunicano tra loro per condividere statistiche globali sul traffico.
  • Apprendimento Federato: Le RSU addestrano modelli locali utilizzando dati locali e caricano periodicamente i parametri su un server centrale per l'aggregazione (FedAvg), per poi scaricare il modello globale aggiornato. Questo preserva la privacy dei dati consentendo la condivisione della conoscenza.

Formulazione Matematica

• Tipo di Problema: Il sistema è formulato come un Processo Decisionale di Markov Parzialmente Osservabile Decentralizzato (Dec-POMDP).
• Algoritmo: Il sistema utilizza Reti Q Profonde Parametrizzate (PDQN) per gestire uno spazio di azioni ibrido:
  • Azioni Discrete: Cambio corsia a sinistra, cambio corsia a destra o mantenimento corsia.
  • Azioni Continue: Comandi di accelerazione o decelerazione.
• Spazio degli Stati: Una rappresentazione gerarchica che fonde:
  • Microscopica: Stato del veicolo ego (posizione, velocità, accelerazione) e stati dei veicoli circostanti.
  • Macroscopica: Densità del traffico a livello di cluster e velocità media.
  • Globale: Statistiche aggregate sul traffico condivise tramite comunicazione I2I.

Progettazione della Funzione di Ricompensa

L'innovazione centrale è una funzione di ricompensa guidata dalla priorità ($R_k$) progettata per bilanciare sicurezza, efficienza, comfort e urgenza della destinazione:
$$R(t)_k = \sum (\iota r_e + \zeta r_s + \xi r_c + \lambda r_{lc} + \psi r_d)$$

1. Ricompensa per l'Efficienza ($r_e$): Incoraggia il mantenimento di velocità vicine al limite massimo e l'ottimizzazione del flusso a livello di cluster.
2. Ricompensa per la Sicurezza ($r_s$): Basata sul modello Responsibility-Sensitive Safety (RSS), calcola le distanze minime sicure longitudinali e laterali per prevenire collisioni.
3. Ricompensa per il Comfort ($r_c$): Penalizza accelerazioni/decelerazioni che superano le soglie di comfort ($1.47 m/s^2$).
4. Ricompensa per il Cambio di Corsia Guidata dalla Priorità ($r_{lc}$): Il componente innovativo. Pesa dinamicamente le decisioni di cambio corsia in base a:
   • Urgenza ($u_t$): I veicoli vicini alla loro uscita ricevono ricompense negative se non si trovano nella corsia corretta, calcolate utilizzando il tempo fino all'uscita rispetto al tempo necessario per cambiare corsia.
   • Penalità di Staging ($p_{stage}$): Scoraggia i veicoli dall'occupare la corsia di uscita troppo presto, mantenendo le corsie più veloci libere per il traffico di transito.
5. Penalità per Blocco ($r_d$): Previene che i veicoli in rampa rimangano bloccati alla fine delle corsie di accelerazione.

3. Contributi Chiave

1. Framework del suo Genere: PALCAS è il primo lavoro ad affrontare congiuntamente i cambi di corsia obbligatori e discrezionali utilizzando un paradigma di apprendimento federato per la decisione cooperativa su larga scala.
2. Rappresentazione Gerarchica degli Stati: Integra dati microscopici dei veicoli con informazioni macroscopiche a livello di cluster e globali sul traffico, migliorando la consapevolezza situazionale.
3. Meccanismo di Ricompensa Guidato dalla Priorità: Unifica la fattibilità della manovra e l'urgenza della destinazione, permettendo al sistema di dare priorità dinamica ai veicoli in base alla loro vicinanza alle uscite e alle condizioni attuali del traffico.
4. Architettura Scalabile e Rispettosa della Privacy: Dimostra un approccio federato che permette agli agenti di generalizzare da scenari non visti senza condividere dati grezzi, adatto a ambienti di traffico eterogenei.

4. Risultati della Simulazione

Il sistema è stato valutato utilizzando SUMO (simulazione del traffico) e Eclipse MOSAIC (comunicazione V2X) con uno scenario autostradale di 2,4 km e 5 corsie. È stato confrontato con:

• Baseline-1: MARL centralizzato (un singolo agente controlla tutto).
• Baseline-2: MARL decentralizzato senza apprendimento federato (nessuna condivisione di conoscenze).

Metriche Chiave di Prestazione (al 60% di penetrazione CAV):

• Efficienza del Traffico: PALCAS ha raggiunto la velocità media più alta (30,03 m/s), superando la Baseline-1 del 3,12% e la Baseline-2 del 6,86%.
• Sicurezza (Tasso di Collisione): PALCAS ha ridotto il tasso di collisione del 19,67% rispetto alla Baseline-1 e del 75,5% rispetto alla Baseline-2.
• Comfort di Guida: Le traiettorie di accelerazione sono state significativamente più fluide, rimanendo nell'intervallo $[-1, 1] m/s^2$, mentre le baseline fluttuavano tra $[-4.5, 2.6] m/s^2$.
• Tasso di Successo verso Destinazione (DSR): PALCAS ha migliorato il DSR del 132,94% rispetto alla Baseline-1 e del 113,9% rispetto alla Baseline-2 al 60% di penetrazione, prevenendo efficacemente le uscite mancate.
• Tasso di Successo di Immissione (MSR): PALCAS ha raggiunto un successo >93%, comparabile alle baseline, sebbene la Baseline-2 abbia leggermente superato in MSR a causa della sua ottimizzazione locale miope (a breve termine).

Studio di Ablazione:
La rimozione del componente di ricompensa guidata dalla priorità ha portato a un calo drastico delle prestazioni, confermando il suo ruolo critico nel coordinare manovre complesse multi-veicolo e nel prevenire la congestione.

5. Significato

• Applicabilità nel Mondo Reale: Il sistema affronta le sfide specifiche delle autostrade urbane con frequenti svincoli, uno scenario in cui i sistemi centralizzati o ad agente singolo attuali faticano.
• Privacy e Scalabilità: Utilizzando l'Apprendimento Federato, PALCAS offre una via praticabile per il dispiegamento di sistemi di guida autonoma cooperativa senza compromettere la privacy dei dati o richiedere enormi potenze di calcolo centralizzate.
• Bilancio tra Sicurezza ed Efficienza: La funzione di ricompensa consapevole della priorità risolve con successo il compromesso tra mantenere il flusso del traffico (rimanendo nelle corsie veloci) e garantire che i veicoli raggiungano le loro destinazioni (spostandosi verso le corsie di uscita), riducendo significativamente la congestione e gli incidenti.
• Fattibilità in Tempo Reale: I tempi di inferenza sono stati misurati sotto i 100 ms per il 90% delle decisioni, indicando che il sistema è adatto al dispiegamento in tempo reale.

In conclusione, PALCAS dimostra che combinare Apprendimento Federato con Apprendimento per Rinforzo Consapevole delle Priorità crea un framework robusto, scalabile e sicuro per la gestione di nuova generazione dei cambi di corsia autonomi.