Riepilogo Tecnico: DISK – Dynamic Inference SKipping per i Modelli di Mondo

1. Definizione del Problema

I modelli di mondo autoregressivi, in particolare quelli basati su Diffusion Transformers (DiT), hanno dimostrato forti capacità nella previsione del contenuto futuro della scena e del moto proprio (ego-motion) per la guida in loop chiuso. Tuttavia, questi modelli soffrono di una latenza di inferenza significativa e di costi computazionali elevati. In contesti autoregressivi, il costo si accumula nel tempo perché ogni fotogramma e traiettoria previsti condizionano il passaggio successivo. I rollout a lungo termine richiedono migliaia di valutazioni del modello attraverso rami accoppiati di visione e traiettoria.

Gli esistenti metodi di accelerazione non riescono ad affrontare efficacemente questa specifica sfida:

• L'accelerazione a passi fissi o la riduzione globale dei passi degrada la fedeltà e la stabilità, specialmente quando piccoli errori si accumulano nei rollout in loop chiuso.
• Gli acceleratori in fase di addestramento (ad es. modelli di coerenza, distillazione progressiva) richiedono un costoso riaddestramento o una distillazione, rompendo la flessibilità "plug-and-play" necessaria per accelerare i modelli fondazionali esistenti senza alterarne il comportamento appreso.
• Le adattazioni in fase di inferenza (ad es. formulazioni deterministiche, solver ODE di ordine superiore) non si adattano alla difficoltà per singolo passo e non riescono a coordinare le previsioni visive e di traiettoria nei rami accoppiati.
• Gli ottimizzatori a singolo ramo (ad es. early exiting, caching delle feature) ottimizzano la computazione all'interno di una singola rete ma non coordinano i rami cross-modali, rischiando la desincronizzazione tra aspetto visivo e movimento.

La sfida centrale è ridurre il costo di inferenza dinamicamente in base alla complessità della scena (ad es. crociera autostradale statica rispetto a manovre critiche) senza riaddestrare il modello o compromettere la coerenza tra il video generato e la traiettoria prevista.

2. Metodologia

Gli autori propongono DISK (Dynamic Inference SKipping), un modulo di inferenza adattiva privo di addestramento che opera puramente al tempo di test. DISK coordina due diffusion transformer accoppiati — uno per il video (Vision DiT) e uno per la traiettoria ego (Trajectory DiT) — tramite controllori a doppio ramo con decisioni di salto (skip) cross-modali.

2.1. Salto Adattivo per Passo

Per ogni passo di diffusione $k$ nella griglia temporale inversa, il controllore decide se calcolare una nuova previsione o riutilizzare una precedentemente memorizzata (cache). La decisione si basa su un test di fluidità locale:

• Proxy di Difficoltà ($d_k$): La variazione assoluta media dello stato latente tra passi di diffusione consecutivi.
• Controllo di Curvatura ($\Delta_k$): Un criterio di differenza finita del secondo ordine che misura la linearità locale dell'evoluzione latente. Se i cambiamenti latenti sono localmente affini (bassa curvatura), il passo è considerato prevedibile.
• Decisione di Salto (Skip Decision): Se $\Delta_k \leq \theta \cdot d_{k+1}$ (dove $\theta$ è una soglia di tolleranza), il passo viene saltato e la previsione in cache viene riutilizzata. Altrimenti, viene eseguito un intero passaggio in avanti (forward pass).

Garanzie di Sicurezza (Safety Guards): Per prevenire l'accumulo di errori e comportamenti degeneri, vengono applicate tre garanzie:

1. Warm-up ($W$): Computazione obbligatoria per i primi $W$ passi.
2. Limite di Salti Consecutivi ($C_{max}$): Limita il numero di salti consecutivi per evitare derive (drift).
3. Soglia di Stallo ($\epsilon$): Forza la computazione se la variazione latente è numericamente minima (vicina allo zero), evitando salti infiniti su stati stagnanti.

2.2. Coordinamento Cross-Modale

Saltare i rami singolarmente può desincronizzare l'aspetto visivo e il movimento. DISK introduce un cancello di sicurezza unidirezionale:

• Il Controller della Traiettoria monitora le proprie garanzie di sicurezza. Se il ramo della traiettoria incontra una manovra complessa (che attiva una condizione di sicurezza), viene emesso un segnale $\sigma^{(t)}_k$.
• Accoppiamento Unidirezionale: Se $\sigma^{(t)}_k = 1$, il ramo della Visione è costretto a computare, indipendentemente dal proprio test di fluidità. Ciò assicura che i movimenti ego complessi siano renderizzati con i corrispondenti cambiamenti visivi.
• Asimmetria: La complessità visiva non forza la computazione della traiettoria. Questo dà priorità al throughput, poiché il ramo della traiettoria è tipicamente più veloce, garantendo al contempo che il ramo video, più lento, non rimanga indietro rispetto alle manovre critiche.

2.3. Stabilità Autoregressiva

Per stabilizzare i rollout a lungo termine, DISK propaga le statistiche del controllore attraverso la catena autoregressiva. Dopo ogni passo di rollout $s$, i riepiloghi (conteggi di computazione/salto e frazioni di sicurezza) vengono passati al passo successivo. Un punteggio di difficoltà cross-modale ($\beta_s$) viene calcolato dalla massima frazione di sicurezza di entrambi i rami. Questo punteggio regola dinamicamente la finestra di warm-up e la soglia di salto per il passo successivo, espandendo la finestra di computazione dopo manovre difficili e rilassandola una volta che la scena si stabilizza.

3. Contributi Chiave

1. Framework Adattivo Senza Addestramento: Un metodo che orchestra Vision DiT e Trajectory DiT utilizzando decisioni di salto adattive per singolo passo, riducendo il costo computazionale senza riaddestrare o alterare i pesi del modello.
2. Coordinamento del Salto Cross-Modale: Un meccanismo che armonizza i rami della visione e della traiettoria tramite un cancello di sicurezza unidirezionale e la propagazione delle statistiche del controllore, garantendo la coerenza tra movimento e aspetto durante i rollout a lungo termine.
3. Preservazione della Catena di Self-Conditioning Forward: Il metodo mira esplicitamente alle sfide della guida in loop chiuso, mantenendo l'integrità del loop autoregressivo pur saltando alcuni passi.

4. Risultati Sperimentali

Il metodo è stato valutato su 1500 campioni dai dataset NuPlan e NuScenes utilizzando una GPU NVIDIA L40S, integrato nel modello di mondo Epona (un modello da 2.5 miliardi di parametri).

4.1. Velocità di Inferenza

• Ramo Traiettoria (TrajDiT): Ha ottenuto un accelerazione di circa 2× (riduzione da ~20ms a ~10ms per passo).
• Ramo Visione (VisDiT): Ha ottenuto un' accelerazione di circa 1.6× (riduzione da ~244ms a ~155ms per passo).
• Complessivo: Significativa riduzione della latenza totale per singolo passo mantenendo la stessa architettura del modello.

4.2. Prestazioni di Pianificazione

• Open-Loop: DISK ha mantenuto errori di spostamento L2 quasi identici al baseline (ad es. L2@3s: 0.3007 vs 0.3011).
• Closed-Loop (NAVSIM): DISK ha ottenuto risultati competitivi sul Predictive Driver Model Score (PDMS).
  • Baseline PDMS: 85.4
  • DISK PDMS: 83.6
  • I sub-metri (NC, DAC, TTC, Comf, EP) hanno mostrato solo lievi cali, indicando la preservazione della sicurezza e della guidabilità.

4.3. Qualità Visiva

• Metriche: FID è aumentato leggermente da 7.5 a 12.5; FVD da 82.8 a 88.1.
• Qualitativo: Nonostante lo spostamento delle metriche, i confronti visivi hanno mostrato che i video generati erano "visivamente indistinguibili" dal baseline, con un'alta coerenza temporale.

4.4. Studi di Ablazione

• Soglia ($\theta$): $\theta=0.01$ è stato identificato come l'equilibrio ottimale tra accelerazione (~2.03×) e qualità.
• Massimo Salto Consecutivo ($C_{max}$): $C_{max}=4$ ha fornito il miglior compromesso. Valori più alti (ad es. 8) hanno aumentato la velocità ma hanno degradato la stabilità visiva (FID 12.65).
• Warm-up ($W$): $W=3$ è stato sufficiente; $W=0$ ha offerto metriche simili ma rischiava instabilità precoce, mentre $W=5$ riduceva l'efficienza senza guadagni in qualità.

5. Significato e Rivendicazioni

Il documento afferma che DISK dimostra la capacità di previsione video-e-traiettoria a lungo termine con costi sostanzialmente ridotti. La sua importanza primaria risiede in:

• Efficienza Plug-and-Play: Offre un modo per accelerare i modelli fondazionali esistenti senza i costi proibitivi di riaddestramento o distillazione.
• Adattamento Dinamico: A differenza dei metodi a passi fissi, DISK adatta l'allocazione della computazione alla complessità della scena, risparmiando risorse sui fotogrammi semplici pur preservando la precisione durante le manovre critiche.
• Viabilità in Loop Chiuso: Gestisce con successo la stabilità richiesta per la guida in loop chiuso, dove l'accumulo di errori è un modo critico di fallimento, coordinando i rami cross-modali e propagando le statistiche di difficoltà.

Gli autori concludono che, sebbene vi sia un minore compromesso nelle metriche visive (FID/FVD), la sostanziale accelerazione e la preservazione dell'accuratezza della pianificazione rendono DISK una soluzione valida per ridurre i budget di energia e latenza delle simulazioni di guida autonoma in tempo reale e delle pipeline di pianificazione.