💻 computer science

SceneStreamer: Continuous Scenario Generation as Next Token Group Prediction

Dit paper introduceert SceneStreamer, een unificerend autoregressief framework dat realistische, interactieve verkeerssimulaties voor autonoom rijden genereert door scenario's als een token-sequentie te behandelen en agenten dynamisch over een onbeperkte horizon te introduceren en te verwijderen.

Oorspronkelijke auteurs: Zhenghao Peng, Yuxin Liu, Bolei Zhou

Gepubliceerd 2026-03-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhenghao Peng, Yuxin Liu, Bolei Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

SceneStreamer: De Regisseur van een Oneindig Verkeersdrama

Stel je voor dat je een regisseur bent van een enorme, levendige film over het verkeer. Tot nu toe hadden regisseurs voor zelfrijdende auto's een groot probleem: ze konden alleen maar opnames van echte situaties afspelen (zoals een video die je herhaaldelijk bekijkt) of ze moesten een statisch decor bouwen waar de acteurs (de andere auto's en voetgangers) stilstonden en niet reageerden op wat de hoofdpersoon deed.

Als je een nieuwe auto wilde testen, kon je niet zomaar een extra voetganger in de scène laten lopen of een verkeerslicht laten veranderen. De acteurs volgden een vast script. Dat is gevaarlijk, want in het echte leven is verkeer dynamisch: mensen stappen uit, auto's slaan af, en nieuwe voertuigen komen erbij.

SceneStreamer is de oplossing. Het is een slimme "AI-regisseur" die een verkeersscène niet als een video, maar als een oneindig verhaal ziet.

Hoe werkt het? (De Analogie van de Lego-steen)

Stel je voor dat je een verhaal schrijft, woord voor woord.

De oude manier: Je schrijft eerst een heel hoofdstuk over wie er in de auto's zit, waar ze staan en hoe snel ze gaan. Daarna schrijf je een tweede hoofdstuk over hoe ze bewegen. Als je een foutje maakt in het eerste hoofdstuk, klopt het tweede niet meer.
De SceneStreamer-methode: Deze AI schrijft het verhaal woord voor woord, stap voor stap.

Elke stap in de tijd (bijvoorbeeld elke halve seconde) bestaat uit drie soorten "woorden" (tokens) die de AI voorspelt:

Verkeerslichten: Zitten ze op rood of groen?
De Acteurs: Wie is er nu in de scène? (Een nieuwe bus? Een fietser?) Waar staan ze precies?
De Beweging: Wat doen ze nu? (Remmen, accelereren, een bocht maken).

Het mooie is: de AI kan op elk moment in het verhaal zeggen: "Oh, hier komt nu een nieuwe fietser!" of "Die vrachtwagen is net de afslag genomen en verdwijnt uit de scène." Het verhaal groeit en krimpt mee, precies zoals in het echte leven.

Waarom is dit zo slim? (De "Bakker" en de "Recept")

Vroeger maakten computers verkeerssimulaties alsof ze een recept volgden: "Neem 5 auto's, zet ze op de weg, en laat ze rijden." Als je een nieuwe auto wilde toevoegen, moest je het recept opnieuw schrijven.

SceneStreamer werkt als een meesterbakker die deeg kneedt.

Hij begint met een basis (de wegkaart).
Hij voegt ingrediënten toe (auto's, voetgangers) terwijl hij kneedt.
Als er een nieuw ingrediënt nodig is (een nieuwe auto), voegt hij dat er direct bij, zonder het hele deeg te hoeven herstarten.
Hij zorgt ervoor dat de nieuwe auto logisch past: hij rijdt niet door een muur en hij staat niet op de stoep als het een auto is.

Dit noemen de auteurs "Next Token Group Prediction". Klinkt ingewikkeld, maar het betekent simpelweg: "Ik voorspel de volgende groep van gebeurtenissen, gebaseerd op wat er net is gebeurd."

Wat levert dit op? (De "Vliegtraining")

Dit is het belangrijkste deel voor de toekomst van zelfrijdende auto's.

Stel je voor dat je een piloot traint.

Oude methode: Je laat de piloot vliegen in een simulator die alleen maar bekende routes aflegt. Als er een onverwachte storm opkomt, is de piloot niet voorbereid.
Nieuwe methode (SceneStreamer): Je laat de piloot vliegen in een simulator die onvoorspelbare situaties creëert. De AI-regisseur kan plotseling een honderdste auto toevoegen, een verkeerslicht laten springen, of een voetganger laten oversteken op een rare plek.

Omdat de zelfrijdende auto's (de "piloot") worden getraind in deze chaotische, maar realistische scenario's, worden ze veel sterker. Ze leren hoe ze moeten reageren op dingen die ze nog nooit hebben gezien, net als een echte mens.

Samenvatting in één zin

SceneStreamer is een slimme AI die verkeerssituaties niet als een statische foto of een vast script ziet, maar als een levend, oneindig verhaal dat stap voor stap wordt geschreven, waarbij nieuwe acteurs en gebeurtenissen op elk moment kunnen worden toegevoegd om zelfrijdende auto's te trainen voor elke denkbare situatie op de weg.

Probleemstelling

Realistische en interactieve verkeerssimulatie is cruciaal voor het trainen en evalueren van systemen voor autonoom rijden. Bestaande data-gedreven simulatiemethoden hebben echter twee fundamentele beperkingen:

Statische initialisatie of log-replay: De meeste methoden vertrouwen op vastgestelde startcondities of het afspelen van historische data. Hierdoor kunnen achtergrondagenten (andere voertuigen, voetgangers) niet reageren op de acties van het eigen voertuig (ego-vehicle), wat de bruikbaarheid voor gesloten-lus (closed-loop) evaluatie beperkt.
Gebrek aan dynamische agentpopulaties: Bestaande generatieve modellen behandelen vaak verkeersscenario's als een voorspelling van bewegingen voor een vast aantal agenten. Ze kunnen geen nieuwe agenten dynamisch introduceren of bestaande agenten verwijderen tijdens de simulatie, terwijl dit in de realiteit (een open systeem) constant gebeurt (bijv. voertuigen die een zijstraat in- of uitrijden).

Bestaande autoregressieve modellen lossen dit deels op, maar missen vaak de flexibiliteit om de initiële configuratie en de beweging voorspelling te combineren in één coherent proces, of ze leiden tot covariaatverschuiving (covariate shift) wanneer fouten zich ophopen tijdens het "rollen" van de simulatie.

Methodologie: SceneStreamer

De auteurs stellen SceneStreamer voor, een unificerend autoregressief framework dat het hele verkeersscenario modelleert als een enkele sequentie van discrete tokens. Het model genereert scenario's stap voor stap, waarbij het dynamisch agenten kan toevoegen of verwijderen.

1. Tokenisatie van het Scenario
Het dynamische verkeer wordt omgezet in een gestructureerde tokensequentie die per tijdstap ( $t$ ) bestaat uit drie groepen, gevolgd op statische kaart-tokens ():

Verkeerslicht Tokens (): Representeren de toestand (groen, geel, rood, onbekend) en positie van verkeerslichten.
Agent State Tokens (): Representeren de toestand van elke actieve agent. Dit is een innovatieve vier-token structuur per agent:
1. Start-of-Agent (SOA): Een vlag om een nieuwe agent te markeren.
2. Type: Categorie (voertuig, voetganger, fietser).
3. Map ID (MS): De index van het kaartsegment waar de agent zich bevindt.
4. Relative State (RS): Een vector met relatieve staten ten opzichte van het geselecteerde kaartsegment (afmetingen, longitudinale/laterale offset, heading residual, snelheid).
  Belangrijk: Deze relatieve representatie maakt het mogelijk om agenten compact en schaalbaar te modelleren zonder de hele kaart te hoeven discretiseren.
Motion Tokens (): Representeren de beweging als een paar van versnelling en draaisnelheid $(a, \omega)$ , gekwantiseerd in een 2D-vocabulaire.

2. Autoregressieve Generatie
SceneStreamer gebruikt een Encoder-Decoder Transformer-architectuur:

Encoder: Verwerkt de vectoriseerde kaartsegmenten tot statische kaart-tokens die dienen als cross-attention sleutels/waarden.
Decoder: Genereert de tokens stap voor stap (autoregressief).
- Eerst worden alle verkeerslicht-tokens voor de volgende stap voorspeld.
- Vervolgens worden de agent-state tokens gegenereerd. Voor nieuwe agenten wordt een sequentieel proces gebruikt: eerst het type voorspellen, dan het kaartsegment, en tenslotte de relatieve staten via een speciale "Relative State Head" (een kleine Transformer). Voor bestaande agenten worden de staten "state-forced" (deterministisch herberekend op basis van de vorige toestand en voorspelde beweging) om foutopbouw te voorkomen.
- Tot slot worden de motion tokens voor alle agenten in één batch gegenereerd.

3. Aandacht Mechanisme (Token Group Attention)
Om causale samenhang te garanderen, wordt een speciaal aandachtmasker gebruikt:

Tokens binnen dezelfde groep kunnen vrij naar elkaar kijken.
Tokens van hetzelfde object in latere stappen kunnen kijken naar eerdere stappen van dat object.
Groepen kunnen kijken naar logisch voorafgaande groepen (bijv. beweging kijkt naar de huidige toestand), maar niet andersom, wat de semantische causaliteit respecteert.

Kernbijdragen

Unificatie van State en Trajectoïde Tokenisatie: In plaats van een tweestapsproces (eerst initialisatie, dan beweging), gebruikt SceneStreamer één enkel autoregressief model dat zowel de starttoestand als de beweging genereert als één continue tokensequentie. Dit zorgt voor consistentie tussen waar een agent begint en hoe hij beweegt.
Autoregressieve Generatie van Agent State: Een nieuw schema waarbij agenten relatief worden geplaatst op kaartsegmenten. Dit maakt het mogelijk om agenten dynamisch toe te voegen (scenario densificatie) of te verwijderen, wat essentieel is voor langdurige simulaties.
Veelzijdigheid: Door dynamisch verschillende token-groepen te forceren (state-forcing) of te bemonsteren, kan het model worden gebruikt voor:
- Bewegingsvoorspelling (motion prediction).
- Generatie van volledige scenario's vanaf nul.
- Scenario-densificatie (het toevoegen van agenten aan een bestaand scenario).
- Gesloten-lus simulatie voor het trainen van planners.

Resultaten

De auteurs evalueren SceneStreamer op het Waymo Open Motion Dataset (WOMD):

Kwaliteit van Initie Toestand: Vergelijkend met state-of-the-art methoden zoals TrafficGen en UniGen, behaalt SceneStreamer concurrerende prestaties op de Maximum Mean Discrepancy (MMD) voor positie, richting, grootte en snelheid. Het autoregressieve decoderen is cruciaal; zonder dit (flat decoding) ontstaan er ongeldige combinaties (bijv. een voetganger op een snelwegbaan).
Bewegingsvoorspelling: Het model levert redelijke voorspellingen op (gemeten met ADE/FDE), met een iets lagere nauwkeurigheid maar hogere diversiteit (ADD/FDD) dan gespecialiseerde bewegingsmodellen, wat wijst op een betere balans tussen realisme en variatie.
RL Planner Training: Dit is de meest significante bevinding. Reinforcement Learning (RL) planners getraind in scenario's gegenereerd door SceneStreamer tonen superieure robuustheid en generalisatie vergeleken met planners getraind op traditionele log-replay data.
- Planners getraind met "SceneStreamer-Full" (met dynamische agenten) en adaptieve training (waarbij het ego-voertuig reageert op de gegenereerde agenten) behalen de hoogste succespercentages en routevoltooiing, en de laagste botsings- en off-road-rates.
WOSAC Resultaten: In de Waymo Sim Agents Challenge 2025 behaalt SceneStreamer competitieve resultaten op realisme-metrics, vergelijkbaar met complexe modellen zoals UniMM en CAT-K.

Significantie

SceneStreamer vertegenwoordigt een paradigmaverschuiving in verkeerssimulatie voor autonoom rijden:

Van Statisch naar Dynamisch: Het lost het probleem op van statische agentpopulaties door een open systeem te modelleren waar agenten continu kunnen binnenkomen en vertrekken.
Eén Model voor Alles: Het elimineert de noodzaak voor gescheiden modellen voor initialisatie en beweging, wat leidt tot betere contextuele consistentie.
Effectieve Data Augmentatie: Het bewijst dat generatieve simulatie niet alleen nuttig is voor het creëren van data, maar dat het trainen van RL-agenten in deze dynamische, reactieve omgevingen leidt tot veiligere en robuustere autonome rijstelsels die beter generaliseren naar nieuwe, onbekende omgevingen.

Kortom, SceneStreamer biedt een hoogwaardige, schaalbare en interactieve simulatieomgeving die de kloof tussen statische data-analyse en real-time, reactieve verkeersdynamiek overbrugt.