Technische Samenvatting: DISK – Dynamische Inferentie-overslag voor Wereldmodellen

1. Probleemstelling

Autoregressieve wereldmodellen, met name die gebaseerd op Diffusion Transformers (DiTs), hebben sterke capaciteiten getoond in het voorspellen van toekomstige scène-inhoud en ego-beweging voor closed-loop rijden. Echter, deze modellen lijden onder aanzienlijke inferentie-latentie en computationele kosten. In autoregressieve settings stapelen de kosten zich over de tijd op, omdat elk voorspelde frame en traject de volgende stap conditioneert. Lange-horizon rollouts vereisen duizenden model-evaluaties over gekoppelde visuele en traject-branches.

Bestaande versnellingsmethoden slagen er niet in dit specifieke probleem effectief aan te pakken:

• Fixed-step versnelling of globale stapreductie verslechtert de getrouwheid en stabiliteit, vooral wanneer kleine fouten zich ophopen in closed-loop rollouts.
• Training-time versnellers (bijv. consistency models, progressive distillation) vereisen dure hertraining of distillatie, wat de "plug-and-play" flexibiliteit doorbreekt die nodig is om bestaande fundamentmodellen te versnellen zonder hun geleerde gedrag te wijzigen.
• Inference-time aanpassingen (bijv. deterministische formuleringen, hogere-orde ODE-solvers) passen zich niet aan per-stap moeilijkheidsgraad en falen in het coördineren van visuele en traject-voorspellingen in gekoppelde branches.
• Single-branch optimizers (bijv. early exiting, feature caching) optimaliseren de berekening binnen een enkele netwerk, maar coördineren geen cross-modale branches, wat risico op desynchronisatie tussen verschijning en beweging met zich meebrengt.

De kernuitdaging is om de inferentiekosten dynamisch te verlagen op basis van scènecomplexiteit (bijv. statisch rijden op een snelweg versus kritieke manoeuvres) zonder het model te hertrainen of de consistentie tussen de gegenereerde video en het voorspelde traject in gevaar te brengen.

2. Methodologie

De auteurs stellen DISK (Dynamic Inference SKipping) voor, een training-vrije adaptieve inferentie-module die puur tijdens de testtijd opereert. DISK coördineert twee gekoppelde diffusion transformers—één voor video (Vision DiT) en één voor ego-traject (Trajectory DiT)—via dual-branch controllers met cross-modale skip-beslissingen.

2.1. Adaptieve Per-Stap Overslag

Voor elke diffusiestap $k$ in het reverse-time grid beslist de controller of er een nieuwe voorspelling wordt berekend of een gecachte voorspelling wordt hergebruikt. De beslissing is gebaseerd op een lokale gladheidstest:

• Moeilijkheidsgraad Proxy ($d_k$): De gemiddelde absolute verandering in de latente staat tussen opeenvolgende diffusiestappen.
• Curvatuur Check ($\Delta_k$): Een tweede-orde eindige-verschil criterium dat de lokale lineariteit van de latente evolutie meet. Als de latente veranderingen lokaal affien zijn (lage curvatuur), wordt de stap als voorspelbaar beschouwd.
• Skip Beslissing: Als $\Delta_k \leq \theta \cdot d_{k+1}$ (waarbij $\theta$ een tolerantiedrempel is), wordt de stap overgeslagen en wordt de gecachte voorspelling hergebruikt. Zo niet, dan wordt een volledige forward pass uitgevoerd.

Veiligheidsbewakers (Safety Guards): Om foutaccumulatie en degeneratief gedrag te voorkomen, worden drie bewakers afgedwongen:

1. Warm-up ($W$): Verplichte berekening voor de eerste $W$ stappen.
2. Consecutive Skip Cap ($C_{max}$): Limiteert het aantal opeenvolgende overslagen om drift te voorkomen.
3. Stall Threshold ($\epsilon$): Forceert berekening als de latente verandering numeriek minuscuul is (nabij nul), om oneindige overslag op stagnante staten te voorkomen.

2.2. Cross-Modale Coördinatie

Het individueel overslaan van branches kan de synchronisatie tussen verschijning en beweging verstoren. DISK introduceert een unidirectionele veiligheidspoort:

• De Trajectory Controller monitort zijn eigen veiligheidsbewakers. Als de traject-branch een complexe manoeuvre tegenkomt (wat een veiligheidsconditie triggert), wordt een signaal $\sigma^{(t)}_k$ verzonden.
• Unidirectionele Koppeling: Als $\sigma^{(t)}_k = 1$, wordt de Vision-branch gedwongen tot berekening, ongeacht zijn eigen gladheidstest. Dit zorgt ervoor dat complexe ego-bewegingen worden weergegeven met bijbehorende visuele veranderingen.
• Asymmetrie: Visuele complexiteit dwingt geen traject-berekening af. Dit geeft prioriteit aan throughput, aangezien de traject-branch doorgaans sneller is, terwijl het garandeert dat de tragere video-branch niet achterblijft bij kritieke manoeuvres.

2.3. Autoregressieve Stabiliteit

Om lange-horizon rollouts te stabiliseren, propageert DISK controller-statistieken door de autoregressieve keten. Na elke rollout-stap $s$ worden samenvattingen (compute/skip counts en safety fracties) doorgegeven aan de volgende stap. Een cross-modale moeilijkheidsscore ($\beta_s$) wordt berekend uit de maximale safety fraction van beide branches. Deze score past dynamisch de warm-up window en de skip-drempel voor de daaropvolgende stap aan, waarbij de compute window wordt uitgebreid na moeilijke manoeuvres en versoepeld wordt zodra de scène stabiliseert.

3. Belangrijkste Bijdragen

1. Training-Vrij Adaptief Framework: Een methode die visuele en traject-DiT's orkestreert met adaptieve per-stap skip-beslissingen, waardoor de computationele kosten worden verlaagd zonder hertraining of het wijzigen van modelgewichten.
2. Cross-Modale Skip Coördinatie: Een mechanisme dat de visuele en traject-branches harmoniseert via een unidirectionele veiligheidspoort en de propagatie van controller-statistieken, wat zorgt voor consistentie tussen beweging en verschijning tijdens lange-horizon rollouts.
3. Behoud van Chain-of-Forward Self-Conditioning: De methode richt zich expliciet op de uitdagingen van closed-loop rijden door de integriteit van de autoregressieve loop te behouden terwijl stappen worden overgeslagen.

4. Experimentele Resultaten

De methode werd geëvalueerd op 1500 samples van de NuPlan en NuScenes datasets met behulp van een NVIDIA L40S GPU, geïntegreerd in het Epona wereldmodel (een model met 2,5 miljard parameters).

4.1. Inferentie Snelheid

• Trajectory Branch (TrajDiT): Bereikte een ~2× versnelling (reductie van ~20ms naar ~10ms per stap).
• Vision Branch (VisDiT): Bereikte een ~1,6× versnelling (reductie van ~244ms naar ~155ms per stap).
• Totaal: Significante reductie in totale per-stap latentie terwijl dezelfde modelarchitectuur behouden blijft.

4.2. Planning Prestaties

• Open-Loop: DISK behield L2-verplaatsingsfouten die bijna identiek zijn aan de baseline (bijv. L2@3s: 0.3007 vs. 0.3011).
• Closed-Loop (NAVSIM): DISK behaalde concurrerende resultaten op de Predictive Driver Model Score (PDMS).
  • Baseline PDMS: 85.4
  • DISK PDMS: 83.6
  • Sub-metrieken (NC, DAC, TTC, Comf, EP) vertoonden slechts bescheiden dalingen, wat duidt op behouden veiligheid en rijbaarheid.

4.3. Visuele Kwaliteit

• Metrieken: FID steeg licht van 7.5 naar 12.5; FVD van 82.8 naar 88.1.
• Kwalitatief: Ondanks de verschuiving in metrieken, toonden visuele vergelijkingen aan dat de gegenereerde video's "visueel ononderscheidbaar" waren van de baseline, met een hoge temporele consistentie.

4.4. Ablatie Studies

• Drempel ($\theta$): $\theta=0.01$ werd geïdentificeerd als de optimale balans tussen versnelling (~2.03×) en kwaliteit.
• Max Consecutive Skips ($C_{max}$): $C_{max}=4$ bood de beste trade-off. Hogere waarden (bijv. 8) verhoogden de snelheid maar verslechterden de visuele stabiliteit (FID 12.65).
• Warm-up ($W$): $W=3$ was voldoende; $W=0$ bood vergelijkbare metrieken maar riskeerde vroege instabiliteit, terwijl $W=5$ de efficiëntie verminderde zonder kwaliteitswinst.

5. Betekenis en Claims

Het artikel claimt dat DISK aantoont dat praktische lange-horizon video-en-traject voorspelling mogelijk is tegen aanzienlijk lagere kosten. De primaire betekenis ligt in:

• Plug-and-Play Efficiëntie: Het biedt een manier om bestaande fundamentmodellen te versnellen zonder de verboden kosten van hertraining of distillatie.
• Dynamische Adaptatie: In tegenstelling tot fixed-step methoden, past DISK de toewijzing van berekeningen aan de scènecomplexiteit aan, waardoor middelen worden bespaard op eenvoudige frames terwijl precisie behouden blijft tijdens kritieke manoeuvres.
• Closed-Loop Levensvatbaarheid: Het slaagt erin de stabiliteit te behouden die vereist is voor closed-loop rijden, waarbij foutaccumulatie een kritieke faalmodus is, door cross-modale branches te coördineren en moeilijkheidsgraad-statistieken te propageren.

De auteurs concluderen dat hoewel er een kleine trade-off is in visuele metrieken (FID/FVD), de substantiële versnelling en behouden planning-accuratesse DISK een levensvatbare oplossing maken voor het verminderen van de energie- en latentiebudgetten van real-time autonome rij-simulaties en planning-pipelines.