SceneStreamer: Continuous Scenario Generation as Next Token Group Prediction

Il paper introduce SceneStreamer, un framework autoregressivo basato su transformer che genera scenari di traffico continui e realistici tramite la previsione di gruppi di token, permettendo la simulazione dinamica a lungo termine necessaria per addestrare sistemi di guida autonoma più robusti.

L'essenziale

Immagina di dover insegnare a un'auto a guida autonoma come comportarsi nel traffico. Il modo tradizionale è farle guardare milioni di ore di video registrati da auto reali. È utile, ma ha un grosso difetto: è come guardare un film già girato. Se l'auto "protagonista" (quella che stiamo testando) fa una manovra inaspettata, gli altri veicoli nel video continuano a muoversi come se nulla fosse, perché sono solo registrazioni fisse. Non reagiscono.

SceneStreamer è una nuova tecnologia che cambia le regole del gioco. Invece di guardare un film registrato, crea un videogioco in tempo reale che si scrive da solo, passo dopo passo.

Ecco come funziona, spiegato con delle metafore semplici:

1. Il Traffico come una Storia da Raccontare (Token)

Immagina che il traffico non sia un insieme di macchine che si muovono, ma una storia infinita scritta con dei "mattoncini" speciali (chiamati token).

• Ci sono mattoncini per i semafori (verde, rosso, giallo).
• Ci sono mattoncini per le persone (auto, pedoni, ciclisti).
• Ci sono mattoncini per i loro movimenti (accelerare, girare).

SceneStreamer è come un narratore super-intelligente (un'intelligenza artificiale) che costruisce questa storia parola per parola. Non deve sapere tutto il futuro in anticipo. Basta che scriva la prossima "parola" (o il prossimo movimento) basandosi su ciò che è successo prima.

2. La Magia del "Flusso Continuo"

Nella maggior parte dei simulatori vecchi, devi decidere all'inizio: "Ci saranno 10 auto e 5 pedoni". Una volta iniziata la simulazione, non puoi aggiungerne altri. È come un'orchestra dove, una volta iniziata la sinfonia, non puoi far entrare nuovi musicisti.

SceneStreamer è diverso. È come un jazzista improvvisatore.

• Se un'auto arriva da una strada laterale, il narratore aggiunge semplicemente un nuovo "mattoncino auto" nella storia.
• Se un pedone finisce il suo tragitto e scompare, il narratore smette di scrivere per quel mattoncino.
• Il sistema gestisce tutto in un unico flusso continuo, senza dover fermare la scena per riorganizzarla.

3. La "Bussola" della Mappa

Per non creare caos (come un pedone che cammina in mezzo all'autostrada), SceneStreamer usa la mappa stradale come una bussola invisibile.
Quando il narratore decide di inserire una nuova auto, non la mette a caso nel vuoto. Chiede alla mappa: "Dove posso mettere questa auto? Su quale corsia?".

• Prima decide il tipo di veicolo (è un'auto o un ciclista?).
• Poi sceglie la corsia giusta sulla mappa.
• Infine, calcola la posizione esatta e la velocità rispetto a quella corsia.

Questo assicura che ogni nuovo arrivato si senta "a casa" nel traffico, rispettando le regole della strada fin dal primo istante.

4. Perché è utile? (L'Allenamento)

Perché tutto questo è importante per le auto a guida autonoma?
Immagina di allenare un calciatore. Se lo fai giocare sempre contro la stessa squadra che si muove in modo prevedibile, diventerà bravo solo contro quella squadra. Ma se lo fai giocare contro un avversario che reagisce alle sue mosse, che cambia strategia se lui corre veloce o si ferma, allora imparerà davvero a giocare.

SceneStreamer crea questi "avversari reattivi".

• Se l'auto a guida autonoma frena bruscamente, il traffico generato da SceneStreamer reagisce: le altre auto rallentano, i pedoni guardano, i semafori potrebbero cambiare.
• Questo permette di addestrare l'auto a guida autonoma in situazioni imprevedibili e sicure, rendendola molto più robusta quando uscirà davvero sulla strada.

In Sintesi

SceneStreamer è come un regista che non gira un film, ma crea un mondo vivente che respira. Non si limita a mostrare cosa è successo nel passato, ma immagina infinite possibilità future, aggiungendo e togliendo veicoli come se fossero attori che entrano ed escono da un palcoscenico, tutto in tempo reale e seguendo le regole della strada.

Grazie a questo sistema, le auto a guida autonoma possono fare "prove generali" in scenari infiniti e realistici, imparando a gestire il traffico caotico del mondo reale molto meglio di quanto abbiano fatto finora.

Sommario tecnico

Titolo: SceneStreamer: Generazione Continua di Scenari come Predizione di Gruppi di Token Successivi

1. Il Problema

La simulazione del traffico realistica e interattiva è fondamentale per l'addestramento e la valutazione dei sistemi di guida autonoma (AD). Tuttavia, le attuali metodologie presentano limitazioni significative:

• Simulazioni Statiche o Replay: Molti approcci si basano su dati logati (replay) o inizializzazioni statiche. Questi mancano di interattività: gli agenti di sfondo non rispondono alle azioni del veicolo ego, limitando l'uso per valutazioni in closed-loop.
• Modelli di Predizione "One-Shot": I modelli basati sull'apprendimento per la predizione del moto spesso trattano la simulazione come un problema di predizione futura a colpo solo. Quando vengono eseguiti iterativamente (unrolled), piccoli errori si accumulano (covariate shift), portando a stati fuori distribuzione e risultati irrealistici.
• Mancanza di Dinamica nell'Inizializzazione: I modelli autoregressivi esistenti spesso richiedono stati iniziali forniti e non gestiscono la diversità emergente dall'ingresso o dall'uscita dinamica degli agenti nel tempo. In scenari reali, il traffico è un sistema aperto: nuovi partecipanti entrano continuamente mentre altri lasciano la scena.
• Separazione Inefficiente: Lavori precedenti separano la generazione delle condizioni iniziali dalla predizione del moto, impedendo la condivisione del contesto e rendendo il processo rigido.

2. Metodologia: SceneStreamer

SceneStreamer è un framework unificato di generazione di scenari di traffico basato su un modello autoregressivo che tratta l'intero scenario come una sequenza di token discreti.

A. Tokenizzazione dello Scenario
Lo scenario dinamico è rappresentato come una sequenza unificata che include:

1. Token Mappa ( Segmenti statici della mappa (strade, incroci) codificati come polilinee con attributi semantici. Rimangono fissi durante la simulazione.
2. Token Segnali (): Rappresentano lo stato dei semafori (verde, giallo, rosso, sconosciuto) e la loro posizione sulla mappa.
3. Token Stato Agente (): Per ogni agente attivo, vengono generati quattro token sequenziali:
   • Start-of-Agent (SOS): Flag di inizio.
   • Tipo: Categoria (veicolo, pedone, ciclista).
   • Map ID: Identificativo del segmento di mappa su cui l'agente risiede (ancoraggio).
   • Stato Relativo (RS): Uno vettore di 8 dimensioni che codifica dimensioni fisiche, offset longitudinale/laterale rispetto al segmento mappa, residuo di assetto e velocità relativa.
4. Token Moto (): Codificano l'input di controllo istantaneo (accelerazione e velocità angolare) per ogni agente, discretizzati in un vocabolario 2D.

B. Architettura del Modello

• Encoder-Decoder: Utilizza un Transformer. L'encoder processa i token della mappa per creare chiavi/valori statici per l'attenzione incrociata. Il decoder genera i token dinamici passo dopo passo.
• Attenzione di Gruppo (Group Attention): È stata progettata una maschera di attenzione causale strutturata. I token all'interno dello stesso gruppo (es. tutti i token di moto allo stesso timestep) possono interagire liberamente, mentre i gruppi successivi possono attendere ai gruppi precedenti (es. il moto attende allo stato, lo stato attende alla mappa). Questo garantisce coerenza semantica e temporale.
• Generazione Autoregressiva: Il modello predice la sequenza completa passo dopo passo: prima i semafori, poi gli stati degli agenti (uno per uno), infine i token di moto per tutti gli agenti.

C. Meccanismi Chiave

• Iniezione Dinamica di Agenti: A differenza dei modelli fissi, SceneStreamer può generare nuovi token di stato agente a qualsiasi timestep per introdurre nuovi partecipanti (es. un'auto che svolta da una strada laterale) o rimuoverli.
• State-Forcing: Per gli agenti esistenti che persistono nel tempo, il modello bypassa la generazione dello stato e "forza" l'inserimento dei token ricostruiti dallo stato fisico corrente (calcolato tramite cinematica). Questo permette una simulazione in closed-loop senza perdita di informazioni (non si usa il ground-truth futuro).
• Testo Relativo: Gli stati degli agenti sono codificati rispetto al segmento di mappa locale, non in coordinate globali. Questo permette un vocabolario compatto e scalabile, evitando la necessità di discretizzare l'intera mappa globalmente.

3. Contributi Principali

1. Tokenizzazione Unificata di Stato e Traiettoria: Un singolo modello autoregressivo genera sia gli stati iniziali che le traiettorie future in una sequenza continua, risolvendo l'incoerenza tra inizializzazione e movimento tipica dei modelli a due stadi.
2. Generazione Autoregressiva dello Stato Agente: Uno schema innovativo che predice sequenzialmente tipo, posizione sulla mappa e stati relativi, garantendo consistenza semantica e fisica (es. un pedone non appare su una corsia autostradale).
3. Versatilità: Il modello supporta molteplici compiti modificando quali token vengono "forzati" e quali campionati:
   • Predizione del moto.
   • Generazione di scenari completi da zero.
   • Densificazione dello scenario (aggiunta di agenti).
   • Simulazione in closed-loop per l'addestramento di planner.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset Waymo Open Motion Dataset (WOMD).

• Qualità dello Stato Iniziale: SceneStreamer ottiene metriche MMD (Maximum Mean Discrepancy) competitive rispetto a metodi avanzati come TrafficGen e UniGen, specialmente nella distribuzione di posizione, assetto, dimensioni e velocità. La versione con decoding autoregressivo supera significativamente le varianti "flat" (non sequenziali).
• Predizione del Moto: Sebbene leggermente meno accurata in termini di errore di spostamento (ADE/FDE) rispetto a modelli specializzati solo nel moto, la versione completa (SceneStreamer-Full) mostra una maggiore diversità (ADD/FDD), fondamentale per la simulazione di scenari rari.
• Apprendimento del Planner (RL):
  • I planner basati sul Reinforcement Learning (RL) addestrati su scenari generati da SceneStreamer mostrano robustezza e generalizzazione superiori rispetto a quelli addestrati su replay di log reali.
  • La configurazione migliore (generazione completa con campionamento di rifiuto e training adattivo) ottiene il tasso di completamento del percorso più alto e il minor numero di collisioni.
• Waymo Sim Agents Challenge (WOSAC): Il modello ha ottenuto risultati competitivi in termini di realismo e probabilità comportamentale rispetto a modelli di base forti, validando la sua efficacia come simulatore generico.

5. Significato e Impatto

SceneStreamer rappresenta un passo avanti significativo verso simulazioni di guida autonoma fidelità elevata e interattive.

• Superamento dei Limiti del Replay: Abilita la creazione di scenari dinamici e reattivi dove il traffico risponde alle azioni del veicolo ego, essenziale per testare la sicurezza in scenari critici.
• Efficienza e Flessibilità: L'approccio basato su token unifica la generazione di scenari, la densificazione e la predizione del moto in un'unica architettura, eliminando la necessità di pipeline frammentate.
• Validazione per RL: Dimostra che l'addestramento su scenari generati sinteticamente ma realistici migliora le prestazioni dei planner reali, offrendo un potente strumento di augmentation dei dati per la guida autonoma.

In sintesi, SceneStreamer trasforma la generazione di scenari di traffico in un problema di modellazione linguistica (next-token prediction), permettendo una simulazione continua, scalabile e coerente che rispecchia la natura aperta e dinamica del traffico reale.