LatSearch: Latent Reward-Guided Search for Faster Inference-Time Scaling in Video Diffusion

1. Il Problema

La generazione di video tramite modelli di diffusione sta beneficiando delle tecniche di scaling al momento dell'inferenza (inference-time scaling), ispirate al successo ottenuto nei Large Language Models (LLM). Tuttavia, l'applicazione di queste tecniche alla generazione video presenta sfide significative:

• Limitazioni delle ottimizzazioni iniziali: I metodi precedenti cercano di trovare un "rumore iniziale" (noise) migliore ("golden noise") o di ottimizzarlo. Questi approcci spesso si basano su prior impostati all'inizio o non hanno meccanismi per correggere gli errori man mano che il processo di denoising avanza.
• Valutazione ritardata e costosa: I metodi di ricerca esistenti (come Best-of-N o EvoSearch) valutano i candidati solo dopo aver decodificato l'intero video finale. Questo comporta:
  • Segnali di reward ritardati: L'errore si accumula lungo l'intera traiettoria di denoising senza possibilità di correzione intermedia.
  • Costi computazionali proibitivi: La decodifica ripetuta di video completi per valutare i candidati rende l'uso di algoritmi di ricerca più potenti (che potrebbero migliorare drasticamente la qualità) troppo costoso.
• Mancanza di supervisione intermedia: Non esiste un modo affidabile per valutare i latent (rappresentazioni latenti) parzialmente denoizzati durante il processo, impedendo strategie flessibili come l'arresto anticipato o la selezione dinamica dei candidati.

2. Metodologia: LatSearch

Gli autori propongono LatSearch, un nuovo framework per lo scaling al momento dell'inferenza che integra un modello di reward latente con un meccanismo di ricerca guidato.

A. Modello di Reward Latente (Latent Reward Model)

A differenza dei verificatori tradizionali che operano sui video decodificati, il modello di reward di LatSearch valuta i latent parzialmente denoizzati a qualsiasi timestep ($t$) del processo di diffusione.

• Obiettivo: Assegnare punteggi di qualità (Qualità Visiva - VQ, Qualità del Movimento - MQ, Allineamento Testo-Video - TA) direttamente nello spazio latente, evitando la decodifica costosa.
• Costruzione del Dataset: Poiché non esistono ground-truth diretti per i reward a livello di latent, gli autori utilizzano una strategia di credit assignment basata sulla similarità.
  • Si calcola la similarità coseno ($s_t$) tra il latent intermedio $z_t$ e il latent finale pulito $z_0$.
  • Il reward video-level ($r$) viene moltiplicato per $s_t$ per ottenere un target latente ($\tilde{r}_t = s_t \cdot r$).
• Architettura: Il modello utilizza un backbone Transformer (basato su ViT e LLM) che prende in input i token del latent, l'embedding del timestep e il prompt testuale.
• Funzione di Loss: Il modello è addestrato con una combinazione di:
  1. Loss di Regressione: Per allineare i punteggi predetti ai valori assoluti.
  2. Loss di Preferenza: Per imparare l'ordinamento relativo tra i campioni (ispirata al RLHF), migliorando la capacità discriminativa del modello.

B. Algoritmo di Ricerca: Reward-Guided Resampling and Pruning (RGRP)

LatSearch mantiene un insieme di $N$ traiettorie candidate durante il processo di denoising. L'algoritmo procede in due fasi principali:

1. Resampling Guidato dal Reward: A intervalli specifici (es. timestep 10, 15, 20), i candidati vengono valutati dal modello di reward latente.
   • Invece di selezionare deterministicamente il migliore, i candidati vengono resampolati (campionati) con probabilità normalizzate in base ai reward.
   • Viene applicata una pruning dell'unicità: se un seed (rumore iniziale) viene selezionato più volte, le duplicazioni vengono rimosse per mantenere la diversità delle traiettorie senza sprecare risorse computazionali.
2. Pruning Finale: Al passo finale programmato, viene selezionato il singolo candidato con il reward cumulativo più alto tra tutti i passaggi di valutazione. Questo latent finale viene poi decodificato in video.

3. Contributi Chiave

• Valutazione Intermedia Efficiente: Introduzione di un modello di reward che opera direttamente nello spazio latente, fornendo feedback informativi e tempestivi durante il denoising, eliminando la necessità di decodificare video intermedi.
• Algoritmo RGRP: Un meccanismo di ricerca che bilancia esplorazione e sfruttamento attraverso il campionamento probabilistico basato sui reward e la rimozione delle duplicazioni, riducendo il costo computazionale rispetto alle ricerche exhaustive.
• Strategia di Credit Assignment: Una metodologia innovativa per generare ground-truth per i reward latenti basata sulla similarità coseno con il latent finale, rendendo possibile l'addestramento del modello.
• Efficienza Computazionale: La capacità di scartare precocemente i candidati di bassa qualità riduce drasticamente il numero di passaggi di denoising necessari per i percorsi non promettenti.

4. Risultati Sperimentali

Il metodo è stato valutato sul benchmark VBench-2.0 utilizzando il modello base Wan2.1-1.3B (e testato anche su Wan2.1-14B).

• Qualità: LatSearch migliora costantemente la generazione video rispetto al baseline e ai metodi dello stato dell'arte (come FreeInit, FreqPrior, VideoReward, EvoSearch).
  • Rispetto al baseline, ottiene un miglioramento medio di +3.35% nella qualità complessiva (con configurazione ottimizzata).
  • Supera i metodi di ricerca basati su evoluzione (EvoSearch) in termini di efficienza, raggiungendo qualità comparabili o superiori.
• Efficienza e Velocità:
  • Rispetto a EvoSearch, LatSearch è 4.77 volte più veloce pur mantenendo una qualità simile.
  • Rispetto al baseline, riduce il tempo di inferenza del 79% rispetto ai metodi di ricerca più pesanti, pur migliorando la qualità.
  • Il tempo totale di inferenza è di circa 164 secondi (vs 790s di EvoSearch e 283s di VideoReward), grazie al fatto che la valutazione avviene nello spazio latente (costo di decodifica quasi nullo fino alla fine).
• Robustezza: Il metodo funziona bene su diversi modelli backbone (1.3B e 14B) e su diverse dimensioni di valutazione (Creatività, Controllabilità, Fedeltà Umana, Fisica).

5. Significato e Impatto

LatSearch rappresenta un passo avanti significativo verso la scalabilità efficiente della generazione video.

• Superamento del collo di bottiglia della decodifica: Dimostra che è possibile guidare la ricerca e la selezione dei candidati direttamente nello spazio latente, aggirando il costo computazionale proibitivo della decodifica video ripetuta.
• Abilitazione di algoritmi di ricerca più forti: Rendendo la ricerca economica, permette l'uso di strategie di ricerca più sofisticate (come il campionamento probabilistico e la manutenzione di più traiettorie) che prima erano impraticabili.
• Qualità e Controllo: Migliora non solo la fedeltà visiva, ma anche la coerenza temporale, il movimento e l'allineamento con il prompt, aspetti critici per le applicazioni video reali.

In sintesi, LatSearch trasforma il processo di generazione video da una traiettoria singola e rigida a un processo di ricerca adattivo ed efficiente, offrendo un compromesso ottimale tra qualità del video e costi computazionali.