⚡ electrical engineering

Platooning Connected, Autonomous, and Human-Driven Vehicles: A Deep Reinforcement Learning-based Approach

Questo articolo propone una strategia di controllo del platooning ibrido basata sul deep reinforcement learning che integra dinamicamente i veicoli non connessi nel traffico misto per aumentare la flessibilità, sopprimendo al contempo la propagazione dei disturbi e ottimizzando il compromesso tra capacità di traffico e stabilità.

Autori originali: Zhen Qina, Dong-Fan Xie, Heng Ma, Xiaomei Zhao, Zhengbing He

Pubblicato 2026-06-23

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhen Qina, Dong-Fan Xie, Heng Ma, Xiaomei Zhao, Zhengbing He

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un'autostrada come un lungo fiume di auto. Per molto tempo, gli scienziati hanno cercato di rendere questo fiume più fluido, insegnando alle auto "intelligenti" (quelle con computer e connessioni internet) a guidare in gruppi stretti e sincronizzati chiamati convogli (o platoons). Pensate a un convoglio come a un treno di auto che si muove insieme con pochissimo spazio tra loro, il che fa risparmiare carburante e permette di far transitare più auto sulla stessa strada.

Tuttavia, c'è un grosso problema: in questo momento, la maggior parte delle auto su strada non è ancora "intelligente"; sono auto normali guidate da esseri umani o vecchie auto a guida autonoma che non possono comunicare tra loro. Le strategie tradizionali di convoglio ignorano queste auto "stupide", il che non rispecchia la realtà.

Questo articolo propone un modo nuovo e più flessibile per gestire il traffico: lasciare che le auto "stupide" si uniscano al treno "intelligente", ma con un gestore intelligente.

Ecco come i ricercatori hanno risolto l'enigma, spiegato in modo semplice:

1. Il Problema: La trappola del "Treno troppo lungo"

I ricercatori si sono resi conto che se si lascia che qualsiasi auto si unisca a un convoglio ogni volta che vuole, i treni diventano troppo lunghi.

L'Analogia: Immaginate una fila di persone che si tengono per mano. Se lasciate che tutti si uniscano alla fila istantaneamente senza controllare, la fila diventa un serpente gigante e traballante. Se la persona all'estremo fronte inciampa, la persona all'estremo retro viene scossa violentemente. Nel traffico, questo significa che un piccolo tocco del freno da parte dell'auto di testa causa un'enorme, pericolosa "onda d'urto" di frenata lungo tutta la linea, portando a ingorghi e incidenti.

2. La Soluzione: Il Coach di "Deep Reinforcement Learning"

Per risolvere questo problema, gli autori hanno creato un "Coach" digitale utilizzando un tipo di Intelligenza Artificiale chiamato Deep Reinforcement Learning (DRL).

Come funziona: Immaginate un coach che osserva una partita di calcio. Il coach non si limita a dire ai giocatori di "correre veloci". Inveve, il coach osserva l'intero campo, vede dove si trovano i giocatori e decide: "Ok, formiamo un piccolo gruppo qui, ma sciolgliamo quel gruppo là per mantenere la stabilità".
La Magia: Questo coach IA impara per tentativi ed errori. Prova diversi modi per raggruppare le auto (alcuni gruppi di 3, alcuni di 5, alcuni mescolando auto intelligenti e stupide). Riceve un "premio" quando il traffico scorre fluidamente e si risparmia carburante, e una "penalità" quando il traffico diventa turbolento o pericoloso. Attraverso milioni di sessioni di pratica (simulazioni), impara l'equilibrio perfetto.

3. Le Regole del Nuovo Gioco

L'articolo stabilisce un set specifico di regole per questo nuovo "Convoglio Ibrido":

Il Ponte "Intelligente": Un'auto normale (guidata da un umano o non connessa) può unirsi al convoglio, ma solo se è "sandwichata" tra due auto intelligenti (Veicoli Autonomi Connessi). Le auto intelligenti agiscono come traduttori, percependo la velocità dell'auto normale e trasmettendo l'informazione al resto del gruppo.
Niente Leader Solitari: Un'auto normale non può essere la primissima o l'ultimissima auto del convoglio perché non può comunicare con il gruppo per dire: "Sto guidando io!" o "Sono io la coda!".
Il Limite: Non si può avere una lunga catena di auto normali nel mezzo. Se ci sono troppe auto normali in fila senza un'auto intelligente che faccia da "ponte", il convoglio si interrompe. Questo serve a prevenire il problema del "serpente gigante traballante".

4. Cosa è emerso dalle Simulazioni?

I ricercatori hanno eseguito migliaia di simulazioni al computer per vedere se il loro "Coach" funzionasse. Ecco cosa hanno scoperto:

Stabilità: I convoi controllati dall'IA erano molto più stabili. Quando l'auto di testa frenava, l'onda d'urto non veniva amplificata tanto quanto prima. Il traffico scorreva come un fiume calmo piuttosto che come un mare agitato.
Sicurezza: Il rischio di collisioni (misurato in base a quanto le auto si avvicinavano a scontrarsi) è diminuito significamente, specialmente quando non c'erano molte auto intelligenti su strada.
Efficienza: Sebbene l'IA a volte scegliesse di creare gruppi leggermente più piccoli per mantenere la sicurezza, riusciva comunque a far transitare molte auto. Ha trovato un "punto di equilibrio" in cui la strada era sicura e efficiente.
Aria più pulita: Poiché le auto non frenavano e acceleravano in modo così selvaggio, bruciavano meno carburante ed emettevano meno inquinamento (come CO2 e NOx).

In sintesi

Questo articolo non dice solo "mettiamo le auto intelligenti in gruppi". Dice: "Mescoliamo auto intelligenti e normali, ma usiamo un coach IA super intelligente per decidere esattamente quanto dovrebbero essere grandi quei gruppi e chi può unirsi, in modo da non creare il caos nel traffico."

Il risultato è un sistema di traffico più sicuro, più stabile e più pulito, anche prima che ogni singola auto su strada diventi completamente autonoma. L'IA agisce come il direttore di un'orchestra del traffico, assicurando che anche se alcuni strumenti (auto) sono un po' fuori tempo, l'intera sinfonia suoni in modo fluido.

Sintesi Tecnica: Platoon di Veicoli Connessi, Autonomi e Guidati da Umani tramite Deep Reinforcement Learning

1. Definizione del Problema

Le attuali strategie di platooning dei veicoli sono prevalentemente progettate per ambienti omogenei composti esclusivamente da Veicoli Autonomi Connessi (CAV) o Veicoli Guidati da Umani Connessi (CHV). Tali approcci tipicamente escludono i veicoli non connessi, come i Veicoli Autonomi (AV) o i Veicoli Guidati da Umani (HV), fallendo così nel riflettere accuratamente le condizioni di traffico misto attuali e di breve termine.

Sebbene recenti strategie "ibride" tentino di incorporare veicoli non connessi nei platoon sfruttando i CAV come relay di informazioni, esse soffrono spesso di un limite critico: l'integrazione non regolamentata di HV/AV può innescare una rapida espansione del platoon. Questa crescita incontrollata amplifica il rischio di propagazione delle perturbazioni all'interno del flusso di traffico, esacerbando il conflitto intrinseco tra la massimizzazione della capacità del traffico e il mantenimento della stabilità del flusso. Inoltre, i vincoli convenzionali sulla lunghezza massima del platoon, progettati per flotte omogenee, sono insufficienti per questi emergenti scenari eterogenei. La sfida centrale è sviluppare una strategia di controllo che permetta l'inclusione flessibile di veicoli non connessi pur bilanciando dinamicamente la capacità del traffico rispetto alla stabilità e alla sicurezza del flusso.

2. Metodologia

Lo studio propone una strategia di controllo del platooning ibrido basata su Deep Reinforcement Learning (DRL), progettata per operare all'interno di un framework di Processo Decisionale di Markov Parzialmente Osservabile (POMDP).

2.1. Pattern di Platooning Ibrido

Gli autori introducono un "pattern di platooning ibrido" (Schema PS2) che consente condizionalmente ai veicoli non connessi (HV/AV) di unirsi ai platoon.

Meccanismo: I CAV utilizzano la percezione multi-sensore di bordo (LiDAR, radar, telecamere) per rilevare gli stati dei veicoli non connessi adiacenti. Queste informazioni vengono poi trasmesse tramite comunicazione Vehicle-to-Everything (V2X) agli altri membri connessi, rendendo osservabili all'interno del platoon gli stati dei veicoli non connessi.
Vincoli: Per garantire l'integrità del platoon, gli HV/AV sono proibiti di agire come leader o veicoli di coda del platoon. Un platoon può formarsi solo se lo stato di ogni veicolo è osservabile per i membri connessi. Ciò limita il numero massimo di veicoli consecutivi non connessi all'interno di un platoon a due (ad esempio, CAV–HV–HV–CAV).
Confronto: Questo si contrappone allo Schema PS1, in cui solo i CHV/CAV formano platoon ed i veicoli non connessi sono esclusi.

2.2. Framework DRL

La strategia di controllo impiega un'architettura di Addestramento Centralizzato con Esecuzione Decentralizzata (CTDE) utilizzando l'algoritmo Proximal Policy Optimization (PPO).

Spazio degli Stati: La rappresentazione dello stato integra dati multi-modali, inclusi la dinamica del veicolo ego (tipo, posizione nel platoon, intervallo temporale) e gli stati dell'ambiente circostante (tipi e posizioni dei due veicoli immediatamente precedenti e successivi). Questo design cattura la topologia locale senza incorrere nella maledizione della dimensionalità.
Spazio delle Azioni: Le azioni discrete includono l'unirsi a un platoon, lasciare un platoon o mantenere la guida indipendente.
Funzione di Ricompensa: È formulata una funzione di ricompensa multi-obiettivo per bilanciare tre componenti:
1. Efficienza del Traffico ( $r_{capacity}$ ): Basata sulla percentuale di incremento della capacità della corsia rispetto a un baseline.
2. Stabilità del Traffico ( $r_{stability}$ ): Basata sul miglioramento di un discriminante di stabilità del flusso di traffico ibrido ( $G_h$ ), derivato dalle derivate del modello di car-following.
3. Penalità ( $r_{penalty}$ ): Una penalità di vincolo applicata se la capacità della corsia scende significativamente al di sotto del baseline, impedendo all'agente di sacrificare l'efficienza per un'eccessiva stabilità.
Addestramento: La rete di policy impara ad aggiustare dinamicamente le strutture dei platoon (dimensione e distribuzione) per ottimizzare il compromesso tra capacità e stabilità.

3. Contributi Chiave

Pattern di Platooning Ibrido: Il documento definisce un meccanismo fattibile per integrare i veicoli non connessi nei platoon tramite la propagazione delle informazioni mediata dai CAV, affrontando i limiti di scalabilità delle flotte strettamente connesse.
Strategia di Controllo basata su DRL: Sviluppa una nuova strategia DRL che va oltre le regole di formazione fisse. Invece di assumere una composizione statica del platoon, la strategia impara a ottimizzare dinamicamente le strutture dei platoon in tempo reale per gestire il compromesso tra throughput e stabilità.
Rappresentazione dello Stato Multi-livello: Lo studio integra la dinamica del veicolo, la topologia del platoon e gli stati del flusso di traffico in una rappresentazione dello stato unificata, consentendo agli agenti di prendere decisioni decentralizzate basate su osservazioni locali pur considerando gli obiettivi di stabilità globale.
Valutazione Completa: L'approccio è rigorosamente valutato rispetto al platooning connesso tradizionale (PS1) e al platooning ibrido non regolamentato (PS2) attraverso quattro dimensioni: capacità di generalizzazione, stabilità del flusso di traffico, sicurezza e impatto ambientale.

4. Risultati Sperimentali

Sono state condotte simulazioni numeriche su una corsia singola con 1.000 veicoli sotto variabili tassi di penetrazione dei CAV ( $P_{CAV}$ ).

Prestazioni di Addestramento: La strategia DRL è riuscita a convergere, ottenendo un miglioramento del 27,9% nel discriminante di stabilità del traffico ( $G_h$ ) rispetto alla strategia ibrida di base (PS2). Ciò è stato ottenuto riducendo la lunghezza massima del platoon del 28,3% (a circa 24 veicoli) e aumentando il numero totale di platoon del 19,3%, distribuendo efficacementamente la densità del traffico.
Generalizzazione: La strategia ha dimostrato una robusta capacità di generalizzazione attraverso valori di $P_{CAV}$ da 0,1 a 0,5. Quando $P_{CAV} > 0,1$ , la strategia DRL ha migliorato il discriminante di stabilità del 51,08% rispetto sia a PS1 che a PS2. A differenza delle strategie fisse, che soffrono di una crescita esponenziale della dimensione del platoon a tassi di penetzione più elevati, la strategia DRL ha mantenuto le lunghezze medie dei platoon a circa 35 veicoli.
Propagazione delle Perturbazioni: In scenari che coinvolgono una perturbazione di decelerazione del veicolo di testa, la strategia DRL ha soppresso significativamente le oscillazioni di velocità. Ha ridotto il picco medio dell'Inverso del Tempo di Collisione (TTCI) del 52,95% rispetto al platooning convenzionale (PS1) in condizioni di bassa penetrazione di CAV ( $P_{CAV}=0,1$ ).
Sicurezza ed Efficienza: La strategia ha ridotto la deviazione standard di picco della velocità fino al 38,60% rispetto a PS1. In termini di impatto ambientale, con bassa penetrazione di CAV, la strategia DRL ha ridotto il consumo di carburante medio di picco dell'1,90%, le emissioni di CO2 di oltre l'1,2% e le emissioni di NOx fino al 7,1% rispetto alle strategie convenzionali.

5. Significato e Rivendicazioni

Gli autori affermano che l'approccio proposto basato su DRL risolve efficacemente il conflitto tra throughput del traffico e stabilità negli ambienti di traffico misto. Ottimizzando dinamicamente le strutture dei platoon invece di aderire a regole di formazione rigide, la strategia sopprime la propagazione delle perturbazioni di velocità e migliora la sicurezza dei flussi di traffico misti.

Lo studio sottolinea che, mentre le strategie ibride tradizionali (PS2) massimizzano la capacità permettendo grandi platoon non regolamentati, esse compromettono la stabilità. Al contrario, la strategia DRL raggiunge un "equilibrio non lineare", accettando una riduzione marginale della capacità di picco (circa il 4,6% rispetto a PS2 durante l'addestramento) per ottenere guadagni sostanziali in stabilità e sicurezza. Il documento conclude che questo approccio offre una soluzione robusta per il periodo di transizione del traffico misto, in cui i veicoli non connessi rimangono prevalenti, e suggerisce che i lavori futuri dovrebbero affrontare le interazioni multi-corsia, i guasti alla comunicazione e la divisione dinamica dei platoon.