⚡ electrical engineering

Human-Centric Traffic Signal Control for Equity: A Multi-Agent Action Branching Deep Reinforcement Learning Approach

Questo articolo propone MA2B-DDQN, un framework di apprendimento per rinforzo profondo multi-agente incentrato sull'uomo che utilizza un'architettura a ramificazione delle azioni per decomporre il controllo dei semafori e ottimizzare l'equità a livello di viaggiatore, dimostrando riduzioni significative degli individui ritardati in diversi scenari urbani a Melbourne.

Autori originali: Xiaocai Zhang, Neema Nassir, Lok Sang Chan, Milad Haghani

Pubblicato 2026-02-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Xiaocai Zhang, Neema Nassir, Lok Sang Chan, Milad Haghani

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina una strada cittadina trafficata come una pista da ballo gigante e complessa. In questo momento, i semafori sono come un DJ che suona una playlist rigida e pre-registrata. Cambiano secondo un timer, indipendentemente dal fatto che la pista da ballo sia affollata o quasi vuota. Questo spesso porta al caos: le auto rimangono bloccate in attesa mentre le corsie vuote restano inutilizzate, e i pedoni rimangono bloccati sul marciapiede.

Il documento che hai condiviso presenta un nuovo DJ più intelligente chiamato MA2B-DDQN. Invece di seguire un timer fisso, questo DJ ascolta la stanza in tempo reale e decide la musica (i segnali stradali) in base a chi è effettivamente presente e a quanto tempo ha aspettato.

Ecco una ripartizione di come funziona questo nuovo sistema, utilizzando analogie semplici:

1. L'obiettivo: Equità per tutti, non solo per le auto

La maggior parte dei sistemi di traffico è come una festa dove ricevono attenzione solo i VIP (le auto). Se un'auto è bloccata, la luce cambia. Se un pedone sta aspettando, spesso viene ignorato.

Questo nuovo sistema è come un ospite di festa equo. Conta tutti nella stanza: le persone nelle auto, le persone sugli autobus, i ciclisti e le persone che camminano. Se un autobus con 50 persone è in attesa, il sistema tratta questo come un "ritardo" maggiore rispetto a una singola auto con un solo conducente. L'obiettivo non è solo far muovere velocemente le auto; è fare in modo che il numero totale di persone bloccate in attesa sia il più basso possibile.

2. Il problema: Troppe scelte

Controllare i semafori è difficile perché ci sono troppe decisioni da prendere contemporaneamente.

Il vecchio modo: Immagina di cercare di controllare 3 incroci diversi contemporaneamente. Per ogni incrocio, devi decidere: "Il semaforo deve essere rosso o verde?" e "Quanto dovrebbe durare il verde?". Se provi a prendere tutte queste decisioni insieme, è come cercare di risolvere un cubo di Rubik mentre fai giocoleria. Il computer si sente sopraffatto e commette errori.

3. La soluzione: La strategia di "Branching" (Ramificazione)

Gli autori hanno inventato un trucco intelligente chiamato Action Branching (Ramificazione delle Azioni). Pensalo come un Generale e i suoi Sottufficiali.

L'Azione Globale (Il Generale): C'è un "Generale" che decide la durata totale delle prossime due fasi (ad esempio, "I prossimi due semafori dureranno 60 secondi in totale"). Questa è una singola, grande decisione che si applica a tutti.
Le Azioni Locali (I Sottufficiali): Una volta che il Generale ha stabilito il tempo totale, i "Sottufficiali" (gli agenti in ogni specifico incrocio) decidono come suddividere quel tempo. Ad esempio, l'incrocio A potrebbe ricevere 40 secondi per le auto e 20 per i pedoni, mentre l'incrocio B riceve 30 e 30.

Dividendo la decisione in "Quanto dura l'intero blocco?" e "Come dividiamo quel tempo?", il sistema smette di sentirsi sopraffatto. Rende la matematica complessa gestibile, permettendo all'IA di imparare più velocemente e di prendere decisioni migliori.

4. L'addestramento: Imparare per tentativi ed errori

Il sistema utilizza un metodo chiamato Deep Reinforcement Learning (Apprendimento per rinforzo profondo). Immagina uno studente che impara a giocare a un videogioco.

All'inizio, lo studente (l'IA) compie mosse casuali.
Se rimane bloccato nel traffico, riceve un "punteggio negativo" (una penalità).
Se mantiene il traffico in movimento in modo fluido, riceve un "punteggio positivo" (un premio).
Dopo migliaia di tentativi, lo studente impara le mosse migliori per evitare le penalità.

In questo documento, il "punteggio" si basa sul ritardo umano. L'IA viene punita pesantemente se una singola persona (che sia in auto o a piedi) deve aspettare troppo a lungo.

5. I risultati: Una corsa più fluida

I ricercatori hanno testato questo nuovo sistema "Generale e Sottufficiali" in sette diversi scenari di traffico a Melbourne, in Australia. Questi scenari variavano da momenti di calma fuori punta a ore di punta, scarico scolastico e persino condizioni di quasi ingorgo.

Hanno confrontato il loro nuovo sistema con:

Timer fissi: I semafori della vecchia scuola che non cambiano mai.
Altri sistemi di IA: Altri sistemi di traffico intelligenti che non usano il trucco del "branching" o non si concentrano sull'equità.

Le scoperte:

Il Vincitore: MA2B-DDQN (il nuovo sistema) ha costantemente ottenuto il ritardo totale più basso per le persone. Ha fatto passare più persone attraverso l'incrocio più velocemente di qualsiasi altro metodo.
Stabilità: Era anche il più affidabile. Mentre altri sistemi di IA a volte presentavano enormi picchi di ingorghi (come un roller coaster), questo sistema manteneva il flusso del traffico costante e fluido.
La spinta "Double": I ricercatori hanno scoperto che aggiungere una specifica funzione "Double Q-Network" (un modo per ricontrollare la propria matematica) ha reso il sistema ancora migliore, riducendo gli errori e migliorando le prestazioni fino al 16% rispetto a sistemi simili.

Riassunto

Questo documento presenta un nuovo modo per controllare i semafori che tratta ogni viaggiatore — che sia in auto, in autobus o a piedi — come ugualmente importante. Scomponendo il complesso compito di controllare più incroci in un "Generale" (che imposta il tempo totale) e in "Sottufficiali" (che suddividono il tempo), il sistema impara a gestire il traffico in modo molto più efficiente. Il risultato è un viaggio più equo, fluido e meno frustrante per tutti coloro che sono in strada.

Sintesi Tecnica: Controllo dei Semafori con Approccio Centrato sull'Uomo per l'Equità

Problematica
Il coordinamento dei segnali semaforici lungo i corridoi multimodali presenta sfide significative. Gli approcci esistenti di Apprendimento per Rinforzo Profondo Multi-Agente (DRL) sono prevalentemente incentrati sui veicoli, trascurando spesso pedoni, ciclisti e passeggeri del trasporto pubblico. Inoltre, questi metodi faticano a gestire gli spazi di azione discreti ad alta dimensionalità intrinseci nel coordinamento multi-intersezione. I sistemi adattivi tradizionali (ad es., SCATS, SCOOT) richiedono spesso una regolazione manuale e non riescono ad accogliere adeguatamente gli utenti non motorizzati. Il problema centrale affrontato è la mancanza di un framework scalabile e centrato sull'uomo che ottimizzi esplicitamente l'equità a livello di viaggiatore (equità tra tutte le modalità di trasporto) gestendo al contempo efficacemente la complessità degli spazi di azione discreti in un ambiente multi-agente.

Metodologia: MA2B-DDQN
Gli autori propongono MA2B-DDQN (Multi-Agent Action-Branching Double Deep Q-Network), un framework DRL cooperativo multi-agente progettato per reti di corridoi di media scala. La metodologia si basa su cinque componenti chiave:

Ambiente e Rappresentazione dello Stato:
- La simulazione utilizza PTV VISSIM modellando un corridoio reale a Melbourne, in Australia, caratterizzato da tre intersezioni con traffico misto (auto, autobus, pedoni).
- Il vettore di stato $S_t$ combina tre elementi: condizioni del traffico (occupazione dei veicoli, velocità, accelerazione e numero di passeggeri per cella di corsia), informazioni sui pedoni (conteggio dei pedoni in attesa per zona) e fasi semaforiche attuali (codificate tramite one-hot encoding).
Architettura di Action Branching (Ramificazione delle Azioni):
- Per affrontare la "maledizione della dimensionalità" negli spazi discreti multi-agente, lo spazio delle azioni è scomposto in $n+1$ dimensioni (dove $n$ è il numero di intersezioni).
- Azioni Locali ( $n$ dimensioni): Ogni agente determina indipendentemente il rapporto di allocazione del tempo di verde ( $p_{i,1}$ ) tra le successive due fasi.
- Azione Globale (1 dimensione): Un'unica azione globale seleziona la durata totale ( $C$ ) delle prossime due fasi per l'intero corridoio.
- Questa decomposizione consente al modello di gestire le decisioni discrete (selezione della fase e durata) in modo più efficiente rispetto al DRL standard a azione congiunta.
Meccanismo di Ricompensa Centrato sull'Uomo:
- A differenza delle ricompense tradizionali basate sulla lunghezza della coda dei veicoli o sul throughput, la funzione di ricompensa penalizza il numero totale di individui ritardati.
- Essa aggrega i ritardi per pedoni, occupanti di veicoli e passeggeri del trasporto pubblico. Un ritardo viene attivato quando la velocità del veicolo scende sotto una soglia (5 km/h) o quando i pedoni attendono nelle zone di attraversamento.
- La ricompensa è formulata come $r_t = -(w_{veh} \sum N^{veh}_{i,t} + w_{ped} \sum N^{ped}_{j,t})$ , dando priorità alla riduzione dei viaggiatori impattati piuttosto che al solo flusso veicolare.
Architettura di Rete:
- Il modello impiega un framework Double DQN (DDQN) per mitigare la sovrastima dei valori Q.
- La rete utilizza un estrattore di caratteristiche condiviso (due strati densi con ReLU e Layer Normalization) che alimenta $n+1$ teste di output parallele (una per ogni dimensione d'azione).
- Le azioni vengono selezionate tramite $\arg\max$ sui valori Q di ciascuna branca.
Algoritmo di Apprendimento:
- Il sistema utilizza l'Addestramento Centralizzato con Esecuzione Decentralizzata (CTDE). Gli agenti condividono informazioni globali durante l'addestramento per aggiornare le policy, ma eseguono le azioni localmente.
- La funzione di perdita è la media delle perdite attraverso tutte le $n+1$ dimensioni d'azione, ottimizzata tramite l'ottimizzatore Adam.

Contributi Chiave

Equità Centrata sull'Uomo: Lo studio introduce un approccio TSC proattivo che tratta tutti i partecipanti alla rete di trasporto (occupanti di veicoli privati, passeggeri del trasporto pubblico, ciclisti e pedoni) in modo uguale, ottimizzando esplicitamente la riduzione degli individui ritardati.
Framework Multi-Agente Cooperativo: Gli autori presentano un framework che determina adattivamente un'azione globale (durata totale della fase) utilizzando informazioni condivse, ottimizzando simultaneamente le tempistiche semaforiche locali (ripartizioni del tempo di verde) tramite agenti individuali.
Action Branching per il DRL Multi-Agente: È la prima applicazione di un'architettura di action branching al TSC multi-agente. Gestisce efficacemente lo spazio delle azioni discrete e l'ambiente multi-agente scomponendo il problema di controllo, riducendo così la complessità del processo decisionale congiunto.

Risultati Sperimentali
Il modello è stato valutato in sette scenari di traffico realistici a Melbourne, che spaziano da periodi di morbida e ore di punta a periodi scolastici e condizioni di saturazione. È stato confrontato con nove baseline, inclusi segnali a tempo fisso (Formula di Webster, Green Wave) e vari modelli DRL (MADQN, MADDQN, MADDPG, CMRM, MASAC, MAA2C, MA2B-DQN).

Prestazioni: MA2B-DDQN ha costantemente ottenuto i valori più bassi di Ritardo Individuale Aggregato (AID) e Ritardo Pro Capite (PCD) in tutti gli scenari.
- Nello Scenario 1 (off-peak), ha ridotto l'AID del 36,75% rispetto alla migliore baseline a tempo fisso e dell'11,94% rispetto alla migliore baseline DRL (MAA2C).
- Nello Scenario 2 (ora di punta), ha migliorato le prestazioni dell'11,73% rispetto al secondo miglior modello DRL.
- Nello Scenario 4 (scuola pomeridiana), ha ottenuto un miglioramento del 35,24% rispetto a MASAC.
Robustezza: Il modello ha dimostrato la deviazione standard più bassa nelle metriche delle prestazioni tra le prove ripetute, indicando un'alta stabilità rispetto a baseline come MADDPG, che mostrava un'elevata varianza.
Studi di Ablazione:
- La rimozione del meccanismo di action branching ha degradato significativamente le prestazioni (ad esempio, un aumento del 16,09% dell'AID nello Scenario 1), confermando il suo ruolo critico nell'efficienza dell'apprendimento.
- L'integrazione dell'architettura Double DQN (DDQN) ha migliorato le prestazioni del 2,93% - 16,40% rispetto al DQN standard a seconda dello scenario, validando la mitigazione della sovrastima.
Trade-off: Sebbene MA2B-DDQN eccellesse nell'equità complessiva e nel flusso veicolare, alcune baseline (ad es., CMRM, MASAC) hanno occasionalmente ottenuto ritardi specifici per i pedoni (APDS/AWTP) inferiori, a costo di ritardi veicolari significativamente più elevati. MA2B-DDQN ha mantenuto un'ottimizzazione più equilibrata tra le modalità.

Significatività e Rivendicazioni
Il documento afferma che MA2B-DDQN fornisce una soluzione scalabile e robusta per il controllo semaforico multimodale che affronta esplicitamente l'equità. La sua significatività risiede nel:

Spostare il paradigma dall'ottimizzazione incentrata sul veicolo all'equità a livello individuale, garantendo un accesso equo per tutti gli utenti della strada indipendentemente dalla modalità di viaggio.
Dimostrare che l'action branching è una strategia valida ed efficace per gestire spazi di azione discreti ad alta dimensionalità in ambienti multi-agente, superando sia i controlli tradizionali a tempo fisso che altri metodi DRL allo stato dell'arte.
Offrire un framework pratico adattabile a varie condizioni urbane, validato su un corridoio del mondo reale con dati di traffico multimodale realistici.

Gli autori concludono che, sebbene il DRL generalmente superi i metodi a tempo fisso, la combinazione specifica di action branching, DDQN e ricompense incentrate sull'uomo è necessaria per raggiungere sia un'alta efficienza che l'equità in reti complesse e multimodali. Notano che in condizioni di quasi saturazione, la capacità fisica delle corsie diventa il fattore limitante, ma il loro metodo mantiene comunque prestazioni superiori rispetto alle baseline.