Sintesi Tecnica: Coarse-to-Fine Compositional Diffusion per la Pianificazione a Lungo Orizzonte

Definizione del Problema

I modelli di diffusione eccellono nella generazione di dati strutturati, ma sono tipicamente addestrati su scale a breve orizzonte. Molti compiti del mondo reale, come la navigazione robotica su lunghe distanze, la sintesi di immagini panoramiche o la generazione di video lunghi, richiedono output che superano la scala di addestramento di questi modelli. L'addestramento diretto di modelli per tali output a lungo orizzonte è spesso impraticabile a causa della scarsità di dati e della rapida crescita dei costi di modellazione con l'aumentare della lunghezza della sequenza o dell'estensione spaziale.

La generazione compositiva offre una soluzione, assemblando piani locali sovrapposti da un prior a breve orizzonte preaddestrato in un singolo output a lungo orizzonte. Tuttavia, gli approcci compositivi standard impongono principalmente la coerenza locale (l'accordo tra piani locali vicini nelle loro sovrapposizioni) senza specificare esplicitamente la struttura globale. Di conseguenza, piani localmente compatibili possono non formare un percorso globale, una sequenza di compiti o un'evoluzione temporale plausibile. I metodi esistenti tentano di migliorare la coerenza globale propagando ripetutamente segnali di coerenza locale o aggiungendo l'ottimizzazione durante l'inferenza (ad esempio, ricerca iterativa o pruning basato su popolazione). Sebbene efficaci, queste procedure diventano computazionalmente costose all'aumentare del numero di piani locali o della loro dimensionalità.

Metodologia: Coarse-to-Fine Compositional Diffusion (CoFi)

Gli autori propongono CoFi, un campionatore durante l'inferenza che scinde la formazione della struttura globale dal raffinamento del dettaglio locale. A differenza dei metodi che si affidano al passaggio di messaggi ripetuto o a costose ottimizzazioni nel ciclo interno, CoFi opera in due fasi distinte:

1. Costruzione dello Scaffold Globale Grossolano (Coarse Global Scaffold Construction)

La prima fase mira ad allineare le stime locali denoisate attorno a una struttura grossolana condivisa per stabilire la coerenza globale.

• Allineamento dello Scaffold: Per ogni passo di denoising $t$, il metodo calcola una "stima di Tweedie" $\hat{X}^i_{0|t}$ per ogni piano locale. Per imporre l'allineamento globale, risolve un obiettivo di ottimizzazione semplificato che bilancia la fedeltà locale con una componente globale condivisa. Ciò produce una soluzione in forma chiusa in cui ogni stima locale è ridotta verso una media di scaffold condivisa $\bar{X}_{0|t}$:
  $$\bar{X}^i_{0|t} = (1 - \lambda_t) \bar{X}_{0|t} + \lambda_t \hat{X}^i_{0|t}$$
  Qui, $\lambda_t$ è un coefficiente dipendente dalla pianificazione (schedule) che controlla il compromesso. All'inizio del processo di diffusione, $\lambda_t$ è piccolo, costringendo i piani locali ad allinearsi fortemente con lo scaffold globale. Man mano che $t$ diminuisce, $\lambda_t$ aumenta, permettendo l'emergere dei dettagli locali.
• Aggiornamento Guidato: Il passo di diffusione inversa viene aggiornato utilizzando questa stima allineata, orientata verso uno scaffold globalmente coerente ma localmente grossolano:
  $$X^i_{t-1} = \text{DDIM}_\theta(\bar{X}^i_{0|t}, t) + \sigma_t \nabla \hat{r}_t(X^i_t, X^{i+1}_t)$$
  Il primo termine impone l'allineamento globale, mentre il secondo termine (guida locale) assicura la coerenza dei confini tra segmenti adiacenti.

2. Raffinamento Preservante la Struttura (Structure-Preserving Refinement)

La seconda fase ripristina i dettagli locali fini soppressi durante la fase grossolana, preservando al contempo la struttura globale stabilita.

• Re-noising: Il piano globale grossolano $Y^c_0$ viene diffuso in avanti a un livello di rumore intermedio $t^*$ utilizzando una realizzazione di rumore condiviso. Questo è fondamentale; applicare rumore indipendente ai piani locali romperebbe l'allineamento ottenuto nella prima fase.
  $$Y^r_{t^*} = \sqrt{\bar{\alpha}_{t^*}} Y^c_0 + \sqrt{1 - \bar{\alpha}_{t^*}} \epsilon$$
• Raffinamento: Partendo da $t^*$, il campionatore esegue un secondo passaggio di diffusione inversa utilizzando lo stesso prior locale preaddestato e la guida locale. Questa fase recupera i dettagli locali ad alta frequenza e la texture, mentre lo scaffold globale ancora la struttura complessiva.

Contributi Chiave

1. Design Disaccoppiato: CoFi separa la formazione della struttura globale dal raffinamento del dettaglio locale, evitando la necessità di costosi passaggi di messaggi iterativi o ottimizzazioni basate sulla ricerca utilizzati nei precedenti metodi compositivi.
2. Meccanismo di Scaffold Condiviso: Introducendo una fase di allineamento grossolano che proietta le stime locali su uno scaffold condiviso, il metodo garantisce la coerenza a lungo raggio senza richiedere funzioni di ricompensa complesse, difficili da progettare per spazi ad alta dimensionalità.
3. Raffinamento Preservante la Struttura: L'uso di una realizzazione di rumore condivisa durante il passaggio di re-noising assicura che i piani locali raffinati rimangano viste compatibili dello stesso oggetto globale, prevenendo il "drift" (deriva) spesso osservato nella generazione a lungo orizzonte.
4. Efficienza: Il metodo richiede significativamente meno valutazioni del denoiser (NFE) rispetto ai baseline che si affidano a iterazioni interne o ricerca di popolazione.

Risultati Sperimentali

Gli autori hanno valutato CoFi in tre domini: pianificazione robotica a lungo orizzonte, generazione di immagini panoramiche e generazione di video lunghi.

• Pianificazione Robotica (OGBench): Nei compiti impegnativi "Giant" e "Scene-Play", CoFi ha raggiunto tassi di successo del 96% (PointMaze-Giant) e del 63% (Scene-Play), superando lo stato dell'arte precedente CDGS (rispettivamente 82% e 51%). La fase di scaffold è stata fondamentale per risolvere le inconsistenze a lungo raggio nelle traiettorie simili a labirinti.
• Generazione di Immagini Panoramiche: CoFi ha ottenuto i punteggi migliori in tutte le metriche (Intra-LPIPS, Intra-Style loss e CLIP score) rispetto ai baseline come Multi-Diffusion, SyncDiffusion e CDGS. Ha prodotto panorami con stili globali più stabili e meno transizioni brusche tra i confini delle patch.
• Generazione di Video Lunghi: Nella generazione di video da 273 frame partendo da prior di 50 frame, CoFi ha migliorato la coerenza del soggetto (94.11 vs 91.67 per CDGS) e la qualità estetica, avvicinandosi alla qualità della generazione nativa a breve orizzonte. Ha efficacementmente prevenuto la deriva del soggetto su lunghi orizzonti temporali.
• Efficienza Computazionale: CoFi ha dimostrato una riduzione di 2–8× nel numero di valutazioni della funzione (NFE) rispetto a CDGS, mantenendo o migliorando la qualità del campione. Ciò è attribuito alla sostituzione della ricerca iterativa con un singolo passaggio da grossolano a fine (coarse-to-fine).

Significato e Rivendicazioni

Il paper sostiene che CoFi fornisca un campionatore durante l'inferenza semplice ed efficace che soddisfa sia la coerenza locale che la coerenza globale senza l'overhead computazionale dei metodi esistenti. Separando la costruzione dello scaffold globale dal raffinamento del dettaglio locale, CoFi affronta il limite per cui la sola coerenza locale non riesce a garantire una struttura globale plausibile. Gli autori posizionano questo lavoro come un'alternativa pratica per scalare i prior a breve orizzonte verso compiti a lungo orcorso in robotica, visione e generazione di video, offrendo un favorevole compromesso tra prestazioni e costo computazionale.

Gli autori notano modestamente alcuni limiti: la qualità dell'output è limitata dall'espressività del prior locale preaddestato, e gli iperparametri (lo schedule dello scaffold $\lambda_t$ e la profondità di raffinamento $t^*$) richiedono una selezione specifica per ogni dominio. Inoltre, l'attuale meccanismo di consenso applica un peso uniforme a tutti i piani locali, il che potrebbe essere subottimale se i segmenti variano per importanza strutturale.