Sintesi Tecnica: Iniezione di Norme Senza Addestramento per i Modelli del Mondo per la Guida

Problema

I modelli del mondo per la guida basati su backbone di diffusione video di grandi dimensioni sono in grado di generare flussi di sensori realistici, ma soffrono di una critica mancanza di controllabilità. Le attuali strategie all'avanguardia per imporre le norme del traffico (ad esempio, rispettare i limiti di velocità, evitare collisioni) richiedono tipicamente o il fine-tuning del backbone per ogni nuova restrizione, o il condizionamento del modello su layout costruiti a mano (mappe, bounding box) integrati durante l'addestramento. Questi approcci sono costosi da scalare e impediscono a un modello distribuito di aggiungere o dare priorità a nuove regole al momento del campionamento. Gli autori pongono la domanda centrale: la controllabilità richiede davvero l'addestramento? Nello specifico, è possibile guidare un modello del mondo congelato per soddisfare le norme di guida esclusivamente attraverso interventi al momento del campionamento?

Metodologia

Il documento propone un approccio di guida tramite energia senza addestramento applicato a un modello del mondo per la guida a flusso rettificato (rectified-flow).

1. Architettura del Modello

Il backbone è un modello Open-Sora 2.0 MM-DiT (Multi-Modal Diffusion Transformer) congelato, post-addestrato con LoRA per denoisare congiuntamente:

• Frame video futuri (flusso d'immagine).
• Una traiettoria ego pianificata $x_{ego} \in \mathbb{R}^{T \times d}$ (flusso testuale, dove $T=40$ frame e $d=4$ componenti: $x, y, \theta, v$).
  Fondamentalmente, il modello è addestrato senza informazioni su agenti o mappe, basandosi solo sui frame passati osservati.

2. Meccanismo di Guida Senza Addestramento

Gli autori adattano il concetto di guida basata sull'energia ai modelli a flusso rettificato. Inveve di riaddestrare, le norme di guida vengono iniettate come funzioni di energia differenziabili $E(\cdot)$ valutate sulla traiettoria ego pulita predetta $\hat{x}_0$ ad ogni step di campionamento.

Il processo prevede:

1. Stima in un Passo (One-Step Estimation): Al passo temporale $t$, il modello stima il campione pulito $\hat{x}_0$ utilizzando il campo di velocità appreso $v_\theta$:
   $$\hat{x}_0(x_t, t) = x_t - t \cdot v_\theta(x_t, t)$$
2. Discesa dell'Energia: Viene eseguito un passo di gradiente nello spazio della traiettoria pulita per minimizzare l'energia della norma di guida:
   $$\hat{x}'_0 = \hat{x}_0 - \lambda(t) \nabla_{\hat{x}_0} E(\hat{x}_0)$$
   Qui, $E(\hat{x}_0)$ è definita come un Errore Quadratico Medio (MSE) di attrazione verso un target controfattuale (ad esempio, un target di frenata che simula un veicolo di testa lento).
3. Correzione della Velocità: L'estima aggiornata viene riconvertita in una correzione di velocità per l'ODE di campionamento:
   $$v' = \frac{x_t - \hat{x}'_0}{\max(t, t_{min})}$$
4. Stabilizzazione: Per evitare che la traiettoria si discosti dalla varietà dei dati (un problema noto con la guida senza addestramento quando $\hat{x}_0$ è impreciso nelle fasi iniziali del campionamento), la correzione della guida per singolo passo è limitata a un multiplo fisso della velocità del backbone stesso. Viene utilizzato uno schema asimmetrico $\lambda(t)$, impostando la guida a zero vicino a $t=0$ e $t=1$ per evitare instabilità numeriche e permettere al prior di stabilire la struttura globale.

Contributi Chiave

1. Formulazione: Gli autori inquadrano la conformità alle norme di guida come un problema di guida energetica senza addestramento su un modello del mondo a flusso rettificato congelato, dimostrando che la conoscenza può essere aggiunta interamente al momento del campionamento.
2. Validazione Empirica: Dimostrano che questo metodo guida con successo la traiettoria ego di un modello del mondo costruito su Open-Sora 2.0 verso un target di frenata controfattuale (simulando uno scenario di evitamento di collisione posteriore) senza riaddestrare il backbone.
3. Intuizione Architetturale: Il documento identifica un limite critico nelle attuali architetture a generazione congiunta: sebbene la traiettoria venga guidata con successo, il video generato non segue la traiettoria guidata. Gli autori attribuiscono questo fallimento allo specifico meccanismo di accoppiamento tra gli stream (auto-attenzione congiunta) nel modello attuale, dove lo stream video non riesce a propagare i cambiamenti indotti nello stream della traiettoria.

Risultati Sperimentali

Gli autori hanno valutato il metodo su 35 clip campionate utilizzando un target di frenata controfattuale:

• Controllo della Traiettoria: La guida è stata altamente efficace per la traiettoria. La traiettoria guidata terminava a una media di 1,3 metri dal target di frenata, rispetto ai 13,6 metri della traiettoria non guidata (fattuale).
• Consistenza del Video: Nonostante il cambiamento significativo nella traiettoria ego, il video generato non rifletteva tale cambiamento. La differenza di flusso ottico per frame tra i video guidati e non guidati è statisticamente indistinguibile (un cambiamento $\lesssim 2\%$, entro il rumore della variazione tra le clip).
• Conclusione sui Risultati: "La traiettoria guidata non muove i pixel". Lo stream video rimane disaccoppiato dallo stream della traiettoria sotto l'attuale architettura.

Significato e Rivendicazioni

Il documento afferma che la conformità alle norme di guida non richiede riaddestramento. Un modello del mondo congelato può avere la sua traiettoria ego pianificata guidata al momento del campionamento utilizzando funzioni di energia differenziabili. Ciò offre una via per permettere ai modelli distribuiti di adattarsi a nuove regole o dare priorità ai vincoli di sicurezza in modo dinamico.

Tuttavia, gli autori sono modesti riguardo allo stato attuale della controllabilità end-to-end. Essi dichiarano esplicitamente che la generazione video non segue ancora la traiettoria guidata. Identificano l'accoppiamento tra gli stream (specificamente il bypass dei blocchi a singolo stream nel loro modello modificato) come l'ostacolo centrale. Il documento conclude che ottenere rollout end-to-end realmente controllabili richiede un denoising congiunto più profondo dei flussi video e della traiettoria, proponendo che il routing di entrambi gli stream attraverso i blocchi a singolo stream del backbone sia il passo necessario per allineare il video alla traiettoria guidata.

Il lavoro si posiziona come un ponte tra la guida senza addestramento (precedentemente applicata solo a modelli di sola traiettoria) e i modelli del mondo controllabili (che richiedevano precedentemente il condizionamento durante l'addestramento), evidenziando il divario architettonico che deve ancora essere colmato per un pieno controllo semantico.