Technisch Overzicht: Training-vrije Norminjectie voor Driving World Models

Probleemstelling

Driving world models gebaseerd op grote video-diffusie backbones zijn in staat om realistische sensorstromen te genereren, maar lijden aan een kritiek gebrek aan controleerbaarheid. Huidige state-of-the-art strategieën om verkeersnormen af te dwingen (bijv. het naleven van snelheidslimieten, het vermijden van botsingen) vereisen doorgaans ofwel het fine-tunen van de backbone voor elke nieuwe beperking, ofwel het conditioneren van het model op handmatig opgebouwde layouts (kaarten, bounding boxes) die tijdens de training zijn ingebakken. Deze benaderingen zijn kostbaar om op te schalen en voorkomen dat een uitgerold model tijdens het samplen nieuwe regels kan toevoegen of prioriteiten kan herzien. De auteurs stellen de centrale vraag: Vereist controleerbaarheid überhaupt training? Specifiek: kan een bevroren world model worden gestuurd om aan rijnormen te voldoen uitsluitend door interventies tijdens het samplen?

Methodologie

Het artikel stelt een training-vrije energie-guidance aanpak voor, toegepast op een rectified-flow driving world model.

1. Modelarchitectuur

De backbone is een bevroren Open-Sora 2.0 MM-DiT (Multi-Modal Diffusion Transformer) model, post-getraind met LoRA om gezamenlijk te denoisen:

• Toekomstige videoframes (beeldstroom).
• Een geplande ego-traject $x_{ego} \in \mathbb{R}^{T \times d}$ (tekststroom, waarbij $T=40$ frames en $d=4$ componenten: $x, y, \theta, v$).
  Cruciaal is dat het model is getraind zonder agent- of kaartinformatie, waarbij het enkel vertrouwt op geobserveerde eerdere frames.

2. Training-vrij Guidance Mechanisme

De auteurs passen het concept van energy-based guidance aan voor rectified-flow modellen. In plaats van hertraining, worden rijnormen geïnjecteerd als differentiabele energiefuncties $E(\cdot)$ die worden geëvalueerd op het voorspelde schone ego-traject $\hat{x}_0$ bij elke samplingsstap.

Het proces omvat:

1. One-Step Estimatie: Op tijdstap $t$ schat het model het schone monster $\hat{x}_0$ in met behulp van het geleerde snelheidveld $v_\theta$:
   $$\hat{x}_0(x_t, t) = x_t - t \cdot v_\theta(x_t, t)$$
2. Energy Descent: Er wordt een gradiëntstap genomen in de schone trajectruimte om de energie van de rijnorm te minimaliseren:
   $$\hat{x}'_0 = \hat{x}_0 - \lambda(t) \nabla_{\hat{x}_0} E(\hat{x}_0)$$
   Hier wordt $E(\hat{x}_0)$ gedefinieerd als een Mean Squared Error (MSE) aantrekking naar een contrafactueel doel (bijv. een remdoel dat een langzaam voorliggend voertuig simuleert).
3. Velocity Correctie: De bijgewerkte schatting wordt teruggezet naar een snelheidscorrectie voor de samplings-ODE:
   $$v' = \frac{x_t - \hat{x}'_0}{\max(t, t_{min})}$$
4. Stabilisatie: Om te voorkomen dat het traject afwijkt van de data-manifold (een bekend probleem bij training-vrije guidance wanneer $\hat{x}_0$ vroeg in het samplingsproces onnauwkeurig is), wordt de per-stap guidance-correctie begrensd op een vast veelvoud van de eigen snelheid van de backbone. Er wordt een asymmetrische schema $\lambda(t)$ gebruikt, waarbij de guidance naar nul wordt gezet nabij $t=0$ en $t=1$ om numerieke instabiliteit te voorkomen en de prior de ruimte te geven de globale structuur te vestigen.

Belangrijkste Bijdragen

1. Formulering: De auteurs formuleren rij-norm naleving als een training-vrij energie-guidance probleem op een bevroren rectified-flow world model, waarmee zij aantonen dat kennis volledig tijdens het samplen kan worden toegevoegd.
2. Empirische Validatie: Zij demonstreren dat deze methode erin slaagt het ego-traject van een op Open-Sora 2.0 gebouwd world model te sturen naar een contrafactueel remdoel (het simuleren van een scenario waarbij een achteruitrijbotsing wordt vermeden) zonder de backbone te hertrainen.
3. Architecturaal Inzicht: Het artikel identificeert een kritieke beperking in huidige gezamenlijke generatie-architecturen: hoewel het traject succesvol wordt gestuurd, volgt de gegenereerde video het gestuurde traject niet. De auteurs wijten dit aan het specifieke cross-stream koppelingsmechanisme (joint self-attention) in het huidige model, waarbij de videostroom er niet in slaagt de veranderingen die in de trajectstroom zijn geïnduceerd, te propageren.

Experimentele Resultaten

De auteurs evalueerden de methode op 35 gesamplede clips met behulp van een contrafactueel remdoel:

• Trajectcontrole: De guidance was zeer effectief voor het traject. Het gestuurde traject eindigde gemiddeld 1,3 meter van het remdoel, vergeleken met 13,6 meter voor het ongestuurde (feitelijke) traject.
• Videoconsistentie: Ondanks de significante verandering in het ego-traject, reflecteerde de gegenereerde video deze verandering niet. Het verschil in per-frame optische flow tussen de gestuurde en ongestuurde video's was statistisch ononderscheidbaar (een verandering van $\lesssim 2\%$, binnen de ruis van variatie tussen clips).
• Conclusie over de resultaten: "Het gestuurde plan beweegt de pixels niet." De videostroom blijft ontkoppeld van de trajectstroom onder de huidige architectuur.

Betekenis en Claims

Het papier claimt dat naleving van rijnormen geen hertraining vereist. Een bevroren world model kan zijn geplande ego-traject tijdens het samplen sturen met behulp van differentiabele energiefuncties. Dit biedt een pad voor uitgerolde modellen om zich aan te passen aan nieuwe regels of om veiligheidsbeperkingen dynamisch prioriteit te geven.

De auteurs zijn echter bescheiden over de huidige staat van end-to-end controleerbaarheid. Zij stellen expliciet dat de videogeneratie het gestuurde traject nog niet volgt. Zij identificeren de cross-stream koppeling (specifiek het omzeilen van single-stream blocks in hun aangepaste model) als de centrale hindernis. Het artikel concludeert dat het bereiken van echte end-to-end controleerbare rollouts een diepere gezamenlijke denoising van de video- en trajectstromen vereist, waarbij zij voorstellen dat het routeren van beide stromen door de single-stream blocks van de backbone de noodzakelijke volgende stap is om de video af te stemmen op het gestuurde traject.

Het werk positioneert zichzelf als een brug tussen training-vrije guidance (voorheen alleen toegepast op traject-alleen modellen) en controleerbare world modellen (die voorheen training-tijd conditionering vereisten), waarbij het de architecturale kloof benadrukt die nog gedicht moet worden voor volledige semantische controle.