Sintesi Tecnica: HorizonRelight

Definizione del Problema

Il relighting video moderno, che consente modifiche controllabili dell'illuminazione da un singolo video di input, si affida pesantemente ai modelli di diffusione video. Tuttavia, gli attuali backbone allo stato dell'arte (ad es., DiffusionRenderer, UniRelight) sono addestrati su clip brevi a lunghezza fissa a causa dell'elevato costo di memoria dell'attenzione spazio-temporale nei Transformer di Diffusione (DiT). Per elaborare video a lungo termine, questi sistemi impiegano una strategia di inferenza a "finestra scorrevole a chunk" (frammenti).

Il documento identifica un modo critico di fallimento in questo regime: discontinuità temporali ai confini dei chunk. Poiché ogni chunk viene elaborato in modo ampiamente indipendente, il modello deve reinferire le cause latenti (come gli attributi intrinseci della scena e i segnali di aspetto) per ogni spostamento della finestra. Ciò crea un disallineamento tra addestramento e test (train-test mismatch), in cui il modello viene addestrato su clip brevi ma distribuito su sequenze lunghe, portando a flickering visibile, deriva dell'aspetto e inconsistenza dell'illuminazione attraverso i confini dei chunk. Come dimostrato nel documento, anche sotto un'illuminazione target identica, l'esecuzione di chunk indipendenti produce risultati visibilmente diversi, rompendo la coerenza a lungo termine.

Metodologia

HorizonRelight riformula il relighting a lungo termine non come una serie di generazioni indipendenti di brevi clip, ma come un problema di traduzione di dominio latente condizionato temporalmente. Il framework introduce due meccanismi centrali per imporre la continuità tra i chunk:

1. Contesto Propagato tramite Auto-Condizionamento del Dominio Target Mascherato

Gli autori propongono una strategia di addestramento e inferenza in cui il modello impara a continuare una sequenza relit partendo da evidenze parziali piuttosto che partendo da zero.

• Addestramento: Il modello viene addestrato con l'auto-condizionamento del dominio target mascherato. Durante l'addestramento, un sottoinsieme dei frame latenti del dominio target (l'output "relit") viene mascherato. Il modello è condizionato dal video sorgente (input) e dalla porzione non mascherata del dominio target, imparando a predire i frame mancanti. Questo insegna al modello a continuare una sequenza basandosi su un contesto temporale parziale.
• Inferenza (Generazione a Catena): Durante l'inferenza, il modello elabora i chunk video sequenzialmente. Per il chunk $k$, i frame latenti finali dalla predizione del chunk $k-1$ vengono propagati e utilizzati come ancora "osservata" per l'inizio del chunk $k$. Questo crea efficacementmente una generazione a catena, assicurando che lo stato relit venga continuato invece di essere reinferito, minimizzando così le giunture ai confini.

2. Prompting di Avvio a Caldo (Warm-Start Prompting)

Per inizializzare la catena per il primissimo chunk (dove non esiste un precedente contesto propagato), gli autori introducono il warm-start prompting.

• Inveve di un "avvio a freddo" (rumore casuale o generazione puramente condizionata dalla sorgente), il primo chunk viene inizializzato con un anchor di prompt relit.
• Questo anchor può essere un'immagine singola o un breve video generato da un modello generativo controllabile esterno (ad es., Nano Banana Pro, ChatGPT) che ritrae la scena di input sotto l'illuminazione target.
• Questo anchor stabilisce lo stato iniziale del dominio target (aspetto e illuminazione) per l'intera sequenza. Il framework supporta modalità di inizializzazione flessibili, inclusi l'approccio basato su immagini, video o avvio a freddo, sebbene il prompting basato su immagini con un anchor ben allineato fornisca i risultati più stabili.

Architettura

Il sistema segue una pipeline a due stadi adattata da DiffusionRenderer:

1. Stadio Inverso: Predice gli attributi della scena modificabili (G-buffer: basecolor, normal, depth, roughness, metallic) dal video di input.
2. Stadio Forward: Sintetizza il video RGB relit condizionato dai G-buffer predetti e dalla condizione di illuminazione target (HDRI).
   Entrambi gli stadi utilizzano il proposto auto-condizionamento mascherato e la propagazione del contesto. Lo stadio forward utilizza specificamente il latente relit propagato dal chunk precedente per condizionare la generazione del chunk corrente.

Contributi Chiave

• Riformulazione del Relighting a Lungo Termine: Il documento sposta il paradigma dall'elaborazione indipendente dei chunk a un processo di traduzione di dominio condizionato temporalmente e a catena.
• Auto-Condizionamento del Dominio Target Mascherato: Un obiettivo di addestramento innovativo che consente al modello di imparare a continuare il relighting da un contesto propagato parziale, affrontando direttamente il disallineamento tra addestramento e test nell'inferenza a finestra scorrevole.
• Warm-Start Prompting: Un metodo di inizializzazione principialista che utilizza modelli generativi esterni per impostare lo stato del dominio target, fornendo un'interfaccia generale per il relighting basato su prompt e il trasferimento di stile.
• Framework Unificato: L'approccio supporta sia la decomposizione inversa (predizione dei G-buffer) che il relighting forward con una propagazione temporale coerente attraverso entrambi gli stadi.

Risultati

Gli autori valutano HorizonRelight sia su dataset sintetici (renderizzati proceduralmente da Objaverse) che su video in stile "in-the-wild" da YouTube Creative Commons.

• Coerenza Temporale: I risultati qualitativi e quantitativi mostrano un marcato miglioramento della coerenza temporale.
  • Artefatti ai Confini: Il metodo riduce significativamente gli artefatti ai confini dei chunk. Le mappe di differenza tra chunk adiacenti mostrano che i cambiamenti si concentrano solo attorno alla reale dinamica della scena (movimento), mentre i baseline (DiffusionRenderer, UniRelight) mostrano cambiamenti di aspetto ampi e indesiderati nelle regioni statiche.
  • Metriche Quantitative: Su un dataset sintetico con una configurazione controllata "duplicate-reverse", HorizonRelight raggiunge un MSE (Mean Squared Error) significativamente inferiore ai confini dei chunk rispetto ai baseline. Ad esempio, nel compito di relighting, l'MSE al confine è sceso da circa 0,1048 (DiffusionRenderer) a circa 0,0729 (Nostro metodo). Su 100 clip YouTube in-the-wild, il metodo ha ridotto l'MSE al confine di oltre il 94% rispetto a UniRelight e DiffusionRenderer.
• Generalità: Il framework supporta varie modalità di inizializzazione (avvio a freddo, prompting video, prompting immagine). Sebbene gli avvii a freddo siano fattibili, il warm-start prompting con un anchor di alta qualità migliora significativamente la preservazione dei dettagli speculari e dei segnali di illuminazione.
• Applicazioni Estese: Il meccanismo di warm-start dimostra di supportare il trasferimento di stile e l'editing di contenuti a lungo termine, non solo il relighting, propagando un aspetto indotto da prompt attraverso l'intera sequenza.

Limitazioni e Dichiarazioni

Il documento mantiene una posizione modesta riguardo ai propri limiti:

• Degradazione dei Dettagli Sottili: Sebbene la coerenza del relighting sia mantenuta su lunghi orizzonti, il documento nota che i dettagli fini della scena degradano gradualmente dopo catene estremamente lunghe (ad es., oltre i ~300 frame o cinque chunk). Ciò è attribuito al prior dell'aspetto appreso e ai limiti di copertura dei dati, piuttosto che a un fallimento del meccanismo di propagazione stesso.
• Ambito (Scope): Gli autori chiariscono che il metodo è progettato per il relighting pratico di riprese lunghe (tipiche riprese cinematografiche di 5-25 secondi) piuttosto che per la generazione futura illimitata. La catena è destinata a essere resettata in corrispondenza dei cambi di scena nei flussi di lavoro pratici.
• Non è Generazione Autoregressiva: Il documento distingue il proprio approccio dalla generazione video autoregressiva. HorizonRelight non genera nuovo contenuto procedendo in avanti; ricontrolla ogni chunk utilizzando il video sorgente e i G-buffer, utilizzando l'output relit precedente solo come segnale di colore al confine per stabilizzare l'aspetto.

Significato

HorizonRelight affronta un collo di bottiglia fondamentale nell'applicazione dei modelli di diffusione video ai compiti a lungo termine: il compromesso tra vincoli computazionali (finestre fisse) e coerenza temporale. Trattando il relighting a lungo termine come un problema di traduzione di dominio con continuità appresa, questo lavoro consente la generazione di video relit di alta qualità e temporalmente coerenti da singoli input senza richiedere il riaddestramento del backbone su sequenze lunghe. L'introduzione del warm-start prompting colma ulteriormente il divario tra i modelli generativi controllabili e le pipeline di editing video, offrendo un'interfaccia flessibile per il relighting basato su prompt e il trasferimento di stile.