Optimization-Guided Diffusion for Interactive Scene Generation

Probleemstelling

Het genereren van realistische, diverse en controleerbare multi-agent rijscenario's is essentieel voor de evaluatie en ontwikkeling van autonoom rijden. Bestaande methodes hebben echter twee grote tekortkomingen:

1. Gebrek aan controleerbaarheid en fysieke consistentie: Bestaande diffusion-modellen genereren vaak trajecten die fysisch onhaalbaar zijn (bijv. kinematische onmogelijkheden), sociale regels schenden of botsingen veroorzaken die niet realistisch zijn. De structurele consistentie die tijdens het trainingstadium wordt geleerd, degradeert vaak tijdens de inferentie (het generatieproces).
2. Onderschatting van zeldzame en kritieke scenario's: Veiligheidskritieke gebeurtenissen (zoals botsingen of plotselinge remacties) zijn zeldzaam in real-world datasets ("long-tail events"). Diffusion-modellen neigen daarom naar de meest voorkomende patronen en hebben moeite om deze zeldzame, maar cruciale, interacties direct te genereren zonder dat ze retrainen of handmatig specifieke trajecten moeten opgeven.

Methodologie: OMEGA

De auteurs stellen OMEGA voor, een trainingsvrij (training-free) framework dat optimalisatie gebruikt om diffusion-based sampling te sturen. Het framework past geen bestaande diffusion-modellen aan, maar voegt een geleidingslaag toe tijdens het generatieproces.

1. Optimalisatie-gestuurde Diffusion Sampling

In plaats van puur te vertrouwen op de voorspellingen van het diffusion-model, herschrijft OMEGA elke stap van het reverse diffusion-proces als een conditionele sampling-taak die wordt "herverankerd" (re-anchored) via constrained optimization.

• Herverankering: Voor elke stap $t$ wordt de geschatte schone toestand $\tilde{x}_0$ van het model geoptimaliseerd tot een nieuwe anker $\hat{x}_0$.
• Beperkte Optimalisatie: Deze optimalisatie vindt plaats binnen een KL-gedreven vertrouwensgebied (KL-bounded trust region). Dit zorgt ervoor dat de generatie wordt gestuurd naar gebieden die voldoen aan structurele en gedragsmatige priors (zoals kinematische haalbaarheid en botsingsvermijding), zonder de onderliggende verdelingsconsistentie van het diffusion-model te verliezen.
• Formulering: Het probleem wordt omgezet in een Euclidische optimalisatie met gelijkheids- en ongelijkheidsbeperkingen (bijv. $h(x)=0$ voor kinematica, $g(x) \le 0$ voor botsingsvermijding).

2. Fase-gealigneerde Geleidingsplanning (Phase-Aligned Guidance Schedule)

Om zowel globale plausibiliteit als lokale reactie te waarborgen, introduceert OMEGA een twee-fasen denoising-schema:

• Warm-up fase: Een globale denoising over het volledige tijdsvenster onder agent-specifieke structurele priors (kinematica, snelheid, rijbaan). Dit zorgt voor een globaal plausibele bewegingsopzet zonder complexe agent-interacties te forceren.
• Rolling-Zero fase: Een fijnmazige, tijd-geïndexeerde denoising waarbij de resterende ruis stap voor stap wordt verwijderd. Hier worden inter-agent interactie-priors geactiveerd om lokale reacties (zoals remmen of uitwijken) te verfijnen, terwijl de globale structuur behouden blijft.

3. OMEGAAdv: Gevoeligheid-gebaseerde Adversariële Generatie

Voor het genereren van veiligheidskritieke scenario's wordt een game-theoretische benadering gebruikt:

• Speltheoretische Formulering: De interactie tussen het "ego"-voertuig en een "aanvaller" wordt gemodelleerd als een niet-coöperatief spel in de verdelingsruimte.
• Gevoeligheid (Sensitivity): De aanvaller probeert het ego-voertuig te maximaliseren binnen de geleerde verdeling, maar gebruikt een gevoeligheidsterm gebaseerd op de KKT-voorwaarden (Karush-Kuhn-Tucker). Deze term voorspelt hoe het ego-voertuig zal reageren op dreigende botsingsbeperkingen.
• Iteratieve Best Response: Door iteratief te optimaliseren (SE-IBR), worden realistische maar uitdagende scenario's gegenereerd (zoals "cut-in" of "forced merge") zonder dat de aanvaller expliciete trajecten hoeft op te geven.

Belangrijkste Bijdragen

1. Optimalisatie-gestuurde sampling: Een trainingsvrije methode die elke reverse-stap herankert via constrained optimization, wat structurele consistentie en stabiliteit garandeert.
2. Fase-gealigneerde planning: Een schema dat macro-plausibiliteit (Warm-up) koppelt aan micro-reactiviteit (Rolling-Zero), wat de kwaliteit van multi-agent interacties aanzienlijk verbetert.
3. Adversariële generatie: Een nieuwe aanpak voor het genereren van realistische, veiligheidskritieke scenario's via een gevoeligheid-gebaseerde speltheoretische formulering.
4. Compreheensieve validatie: Uitgebreide experimenten die aantonen dat de methode werkt op zowel het trainingsdataset (nuPlan) als op een onbekend dataset (Waymo) zonder fine-tuning.

Resultaten

De experimenten tonen significante verbeteringen ten opzichte van state-of-the-art baselines (zoals Nexus, SceneDiffuser):

• Validiteit: Het percentage fysiek en gedragsmatig geldige scenes steeg van 32,35% naar 72,27% voor vrije exploratie op nuPlan. Op Waymo (zero-shot) steeg dit van 61,71% naar 81,95%.
• Controleerbaarheid: Bij doel-geconditioneerde generatie (waarbij voertuigen naar specifieke punten moeten rijden) steeg de validiteit van 11% naar 80%.
• Adversariële Scenario's: De methode genereert 5x meer frames met een "Time-to-Collision" (TTC) onder de 3 seconden, terwijl de algehele realisme-score behouden blijft.
• Realisme: De methodes presteert beter op statistieken zoals snelheidsverdeling, laterale afwijking en kinematische haalbaarheid, met name in vergelijking met methodes die gebruikmaken van gradient-based guidance (zoals CTG of DPS).

Betekenis en Impact

OMEGA lost een fundamenteel probleem op in de simulatie voor autonoom rijden: het gebrek aan controleerbaarheid en fysieke consistentie in generatieve modellen.

• Efficiëntie: Omdat het trainingsvrij is, kan het direct worden toegepast op bestaande, krachtige diffusion-modellen zonder dure retraining.
• Veiligheid: Het maakt het mogelijk om systematisch grote hoeveelheden realistische, zeldzame en gevaarlijke scenario's te genereren om autonome systemen op te testen ("stress-testing").
• Generalisatie: De zero-shot prestaties op Waymo tonen aan dat de methode robuust is en generaliseert naar nieuwe omgevingen en verkeerspatronen.

Kortom, OMEGA brengt diffusion-based scene generation dichter bij praktische toepassing door de balans te vinden tussen creatieve diversiteit en strikte fysieke en sociale regels.