Heterogeneous Self-Play for Realistic Highway Traffic Simulation

1. Il Problema

La simulazione realistica del traffico autostradale è fondamentale per la valutazione sicura e scalabile dei veicoli autonomi (AV), specialmente per interagire in scenari rari e critici per la sicurezza che sono difficili da catturare nei dati registrati reali. Tuttavia, la generazione di traffico autostradale presenta tre sfide principali che i metodi esistenti non soddisfano completamente:

1. Copertura ampia: Necessità di coprire un vasto range di velocità e manovre.
2. Controllabilità: Capacità di generare scenari critici specifici e rari in modo controllato.
3. Credibilità comportamentale: Realismo nelle interazioni multi-agente in loop chiuso (closed-loop), specialmente con veicoli eterogenei (es. auto e camion).

I metodi basati sulla riproduzione di log reali sono limitati dai dati disponibili e possono divergere in esecuzione in loop chiuso. I modelli basati su regole mancano di ricchezza nelle interazioni. I recenti metodi di Self-Play (RL) hanno avuto successo in ambito urbano, ma faticano a gestire le dinamiche ad alta velocità, la densità variabile e l'eterogeneità fisica tipiche delle autostrade.

2. Metodologia: PHASE

Gli autori presentano PHASE (Policy for Heterogeneous Agent Self-play on Expressway), un framework di self-play contestuale e consapevole del contesto.

Formulazione del Problema

Il problema è modellato come un Gioco Stocastico Parzialmente Osservabile (POSG) condizionato.

• Obiettivo: Ogni agente $i$ riceve una destinazione cartesiana $g_i$ e un vettore di contesto $C_i$ che include:
  • Velocità target ($v_{goal}$).
  • Intervallo di controllo longitudinale ($\alpha$).
  • Tipo di veicolo ($T_i$: Auto o Camion articolato).
  • Dimensioni del veicolo ($D_i$).
• Condizionamento: Questa formulazione permette a un'unica politica di controllare veicoli eterogenei (auto e camion) e di guidare esplicitamente il comportamento attraverso variabili di contesto, senza bisogno di imitazione diretta di log esperti.

Generazione di Scenari Sintetici

Per evitare la dipendenza dai log esperti, PHASE utilizza una pipeline offline-online:

• Offline: Costruzione di un pool di coppie "inizio-destinazione" su grafi di corsie, garantendo coerenza con la mappa e variando il numero di cambi di corsia e le distanze.
• Online: Campionamento casuale di scenari da questo pool, variando il numero di agenti, la proporzione di camion, la geometria dei veicoli e le velocità iniziali. Questo garantisce una copertura ampia di densità e pattern di interazione.

Meccanismi di Stabilizzazione e Addestramento

L'addestramento self-play su autostrade è instabile. PHASE introduce diverse tecniche per stabilizzarlo:

1. Terminazione Anticipata: Gli agenti che entrano in stati irrecuperabili (es. la destinazione è dietro di loro) vengono terminati precocemente per evitare traiettorie di bassa qualità.
2. Attribuzione della Colpa (At-fault Collision Attribution): In caso di collisione, viene penalizzato solo l'agente "colpevole" (quello che ha invaso lo spazio dell'altro), migliorando la stabilità rispetto a penalizzare entrambi.
3. Ricompense e Curricula Accoppiati:
   • Reward Shaping: Combina ricompense sparse (completamento obiettivo) e dense (progresso, allineamento, velocità).
   • Curriculum Learning: Si inizia con scenari semplici e ricompense focalizzate sul progresso, per poi aumentare gradualmente le penalità per collisioni/uscita dalla strada e la densità del traffico (più cambi di corsia) man mano che l'addestramento procede.
4. Algoritmo di Ottimizzazione: Utilizza DClamp-PPO (una variante di PPO con regioni di fiducia più strette durante i cambi di curriculum) e un re-weighting inverso del numero di agenti per bilanciare il contributo degli scenari densi rispetto a quelli sparsi. Viene inoltre applicata una regolarizzazione delle azioni verso controlli lisci.

Architettura del Modello

La politica è una rete neurale basata su MLP potenziata da Cross-Attention e Attention Pooling.

• Codifica separatamente le caratteristiche dell'agente ego, degli agenti vicini e della geometria della strada.
• Utilizza l'attention per catturare le interazioni tra agenti e topologia locale.
• Le variabili di condizionamento (velocità target, tipo di veicolo, ecc.) sono concatenate all'embedding dell'agente ego prima dei layer di output.

3. Risultati Chiave

Il modello è stato addestrato da zero su 22 mappe autostradali USA (3 miliardi di passi ambientali) e valutato su scenari reali non visti.

Transfer Zero-Shot su exiD

PHASE è stato testato su 512 scenari reali del dataset exiD (interazioni ad alta densità) senza alcun fine-tuning.

• Tasso di Successo: PHASE raggiunge il 96.3% di successo (raggiungere l'obiettivo senza collisioni), contro il 26.6% di un baseline self-play precedente.
• Errori di Traiettoria: Riduzione significativa dell'ADE (Average Displacement Error) da 6.57m a 2.44m e dell'FDE (Final Displacement Error) da 12.07m a 5.25m rispetto al baseline.
• Robustezza: Le varianti ablate (senza DClamp, senza re-weighting, senza curriculum) mostrano prestazioni nettamente inferiori, confermando l'efficacia delle componenti di stabilizzazione.

Valutazione Distribuzionale (Realismo Comportamentale)

Utilizzando uno spazio di embedding latente derivato da un modello di previsione del movimento, PHASE è stato confrontato con il modello classico IDM (Intelligent Driver Model) e log reali.

• Distanza Fréchet: Riduzione del 13.1% rispetto all'IDM.
• Distanza Energetica: Riduzione del 20.2% rispetto all'IDM.
• PHASE produce distribuzioni di traiettorie più vicine alla realtà rispetto sia ai baseline self-play precedenti che ai controllori classici, dimostrando un realismo comportamentale superiore.

4. Contributi Principali

1. Formulazione Condizionata: Un approccio POSG condizionato che permette il controllo esplicito su scenari eterogenei (auto/camion) e su variabili di comportamento (velocità, range di azione) con una singola politica.
2. Pipeline di Generazione Sintetica Scalabile: Un generatore offline-online che crea scenari autostradali diversificati e coerenti con la mappa senza dipendere dall'imitazione di log esperti.
3. Ricetta di Addestramento Stabile: Una combinazione di meccanismi di simulazione (terminazione anticipata, attribuzione colpa), reward shaping specifico per autostrade e curriculum accoppiati che rende fattibile l'apprendimento from-scratch in regimi autostradali eterogenei.
4. Eccellente Transfer Reale: Dimostrazione che l'addestramento su dati sintetici può trasferirsi zero-shot a scenari reali complessi, superando i metodi precedenti sia in termini di successo del compito che di realismo comportamentale.

5. Significato e Impatto

Il lavoro dimostra che l'uso di self-play condizionato su dati sintetici è una via praticabile e scalabile per la generazione di scenari autostradali realistici. PHASE supera i limiti dei metodi basati su imitazione (che mancano di controllabilità) e dei modelli basati su regole (che mancano di complessità interattiva). La capacità di gestire veicoli eterogenei e di generare scenari critici controllabili rende questo framework uno strumento potente per la validazione e lo stress testing dei veicoli autonomi, offrendo una soluzione robusta alla scarsità di dati reali per scenari di sicurezza critica.