DRL-Based Ramp Metering at Freeway Bottlenecks: Performance Evaluation and AV Penetration Threshold for Control Phase-Out

Sintesi Tecnica: Controllo del Flusso in Ingresso Basato su DRL in Presenza di Colli di Bottiglia Autostradali

Definizione del Problema
L'efficienza operativa delle autostrade è frequentemente compromessa da colli di bottiglia composti, in cui i vincoli infrastrutturali a monte (specificamente segmenti di ponti con limiti di velocità ridotti) interagiscono con la turbolenza di immissione dalle rampe a valle. I controllori tradizionali di gestione del flusso in ingresso basati sul feedback, come il PI-ALINEA, si affidano a misurazioni locali e reattive e spesso faticano a gestire le complesse onde d'urto a cascata generate da queste condizioni composte. Inoltre, gli approoli esistenti di Deep Reinforcement Learning (DRL) per il controllo delle rampe utilizzano tipicamente architetture a componente singola (ad esempio, standard DQN o PPO) e si affidano a funzioni di ricompensa che richiedono la sintonizzazione manuale degli iperparametri. Rimane una lacuna critica nella comprensione di come la necessità operativa del controllo centralizzato delle rampe evolva all'aumentare della penetrazione di Veicoli Automatizzati (AV), specificamente nel determinare quando il comportamento decentralizzato degli AV possa rendere ridondante il controllo centralizzato.

Metodologia
Lo studio propone un nuovo framework di gestione del traffico valutato attraverso simulazioni di traffico microscopico in SUMO.

• Configurazione della Rete: La simulazione modella un corridoio autostradale di 9,1 km caratterizzato da un segmento di ponte di 60 m con velocità variabili (40, 50, 60 e 70 km/h) e un'area di immissione da rampa a valle.
• Controllore Proposto (Rainbow DRL): Gli autori hanno sviluppato un agente di controllo del flusso basato sull'architettura Rainbow, che unifica sei avanzamenti nell'apprendimento basato sul valore in un unico framework:
  1. Double Q-learning (per mitigare il bias di sovrastima).
  2. Architettura di rete Dueling (separazione della stima del valore dello stato e del vantaggio dell'azione).
  3. Prioritized experience replay (campionamento di transizioni ad alto errore).
  4. Multi-step bootstrapping (per accelerare la propagazione della ricompensa).
  5. NoisyNet exploration (integrazione della stocasticità nei parametri della rete).
  6. Apprendimento distributivo categorico (C51) (modellazione delle distribuzioni dei rendimenti piuttosto che di valori scalari).
  • Spazio degli Stati: Un vettore a 18 dimensioni composto da densità normalizzata e portata (outflow) per 7 segmenti della corsia principale e 1 segmento della rampa, oltre alla lunghezza della coda della rampa normalizzata e l'azione precedente.
  • Spazio delle Azioni: Tassi di immissione discreti compresi tra 163 e 1800 veicoli/h.
  • Funzione di Ricompensa: Costruita utilizzando la relazione velocità-densità macroscopica di Papageorgiou. La ricompensa è binaria in base a una soglia di velocità critica ($v_{cr}$): -1 se la velocità media scende sotto $v_{cr}$ (congestione), e una funzione della lunghezza della coda della rampa normalizzata se è sopra $v_{cr}$ (flusso libero). Ciò elimina la necessità di pesatura manuale tra le metriche di velocità e di coda.
• Modellazione del Traffico Misto: I veicoli guidati da umani (HDV) e gli AV sono modellati utilizzando l'Intelligent Driver Model (IDM). Gli AV sono calibrati con intervalli temporali (headway) più brevi (0,60 s rispetto a 1,22 s) e tempi di risposta più rapidi basati sui dataset Waymo e OpenACC.
• Disegno Sperimentale: Lo studio valuta il controllore Rainbow contro quattro baseline: un D3QN (Dueling Double DQN), PI-ALINEA, controllo a tempo fisso e uno scenario senza controllo. Le simulazioni variano i limiti di velocità del ponte e i Tassi di Penetrazione di Mercato (MPR) degli AV da 0% a 100%.

Contributi Chiave

1. Framework Unificato Rainbow: Questa è la prima applicazione di un apprenditore di distribuzione del valore Rainbow completamente integrato al problema composto del monitoraggio di ponte e rampa. Lo studio identifica un "orizzonte multi-step adattivo al ponte" come una sensibilità critica, dimostrando che l'orizzonte $n$-step ottimale varia sistematicamente con la severità del ponte (ad esempio, $n=5$ per 40 km/h rispetto a $n=20$ per 60 km/h).
2. Progettazione Automatica della Ricompensa: L'uso della soglia di velocità critica di Papageorgiou per la formulazione della ricompensa rimuove la dipendenza dalla sintonizzazione manuale dei coefficienti di pesatura tra la capacità della corsia principale e le code della rampa.
3. Analisi della Soglia di Penetrazione AV: Lo studio valuta sistematicamente l'interazione tra i vincoli infrastrutturali, la penetrazione degli AV e il controllo della rampa, identificando i regimi specifici di composizione del traffico in cui il controllo centralizzato è essenziale rispetto a quando è ridondante.

Risultati

• Prestazioni in Condizioni di Guida Umana: Negli scenari a puro HDV (0% MPR), il controllore Rainbow proposto supera costantemente tutte le baseline. Ottiene un recupero della velocità di rete superiore, un minor consumo di carburante e una gestione delle code significativamente migliore. Ad esempio, con il limite del ponte più restrittivo di 40 km/h, Rainbow ha mantenuto una coda media della rampa di 9,90 m rispetto ai 60,08 m di PI-ALINEA e ai 125,15 m del controllo a tempo fisso. I meccanismi di apprendimento multi-step e distributivo hanno permesso a Rainbow di anticipare meglio gli effetti ritardati della congestione rispetto alla baseline D3QN.
• Impatto della Penetrazione AV: All'aumentare della penetrazione degli AV, la necessità di un controllo centralizzato diminuisce.
  • Al 0% MPR, gravi onde d'urto a cascata paralizzano il corridoio senza controllo.
  • Al 40% MPR, il comportamento di seguimento del veicolo degli AV in modo decentralizzato assorbe la turbolenza di immissione e smorza le onde d'urto che si propagano all'indietro, eliminando in gran parte la congestione severa anche senza controllo della rampa.
  • Al 100% MPR, il collo di bottiglia composto è completamente dissolto; la rete opera in condizioni di quasi flusso libero con velocità che salgono da 65,49 km/h (0% MPR) a 83,94 km/h (100% MPR) sotto il vincolo del ponte a 40 km/h.
• Compromessi Ambientali: Sebbene la transizione dallo 0% al 40% MPR riduca drasticamente il consumo di carburante eliminando la congestione stop-and-go, un ulteriore aumento della MPR (al 60% e 100%) risulta in un lieve aumento del consumo di carburante. Ciò è attribuito ai veicoli che mantengono velocità costanti più elevate per superare la resistenza aerodinamica, richiedendo più potenza del motore rispetto a un viaggio a velocità inferiori ma fluttuanti.

Significatività e Rivendicazioni
Il documento posiziona il controllore DRL Rainbow come una soluzione critica a breve termine per le reti guidate da esseri umani e per le reti miste nelle prime fasi, offrendo prestazioni robuste dove i controllori tradizionali falliscono. Fondamentalmente, lo studio caratterizza il regime di penetrazione AV oltre il quale il controllo centralizzato della rampa può essere eliminato. I risultati suggeriscono una tabella di marcia transitoria per la gestione delle infrastrutture autostradali: il controllo DRL attivo è essenziale per proteggere le reti dalle onde d'urto a cascata quando dominano i conducenti umani, ma man mano che la penetrazione degli AV raggiunge livelli moderati (intorno al 40%), la natura decentralizzata e altamente reattiva degli AV diventa sufficiente a preservare la stabilità della rete, rendendo il controllo centralizzato progressivamente ridondante. Ciò fornisce una base basata sui dati per le decisioni di investimento a lungo termine riguardanti il futuro delle infrastrutture di gestione delle rampe.