Riepilogo Tecnico: LightCrafter

Problematica

Il relighting video richiede di modificare l'aspetto di una scena preservando contenuto, geometria, materiali e movimento, il tutto mantenendo la coerenza temporale e la consistenza fisica. Gli approcci esistenti si dividono generalmente in due paradigmi, entrambi affetti da limitazioni significative:

1. Inverse Rendering + Forward Rendering: Questi metodi ricostruiscono esplicitamente le proprietà intrinseche della scena (geometria, materiali, illuminazione) e le renderizzano nuovamente sotto una nuova illuminazione. Sebbene offrano un controllo preciso e coerenza temporale, soffrono di ricostruzioni rumorose a causa della natura mal posta del rendering inverso monoculare. Gli errori nella stima della geometria o dei materiali si propagano direttamente sull'output, e questi metodi faticano a modellare effetti complessi come l'illuminazione globale.
2. Generative Video-to-Video Translation: Questi metodi inquadrano il relighting come un compito generativo condizionato dall'illuminazione target (ad esempio, mappe ambientali o testo). Sebbene sfruttino forti prior di diffusione per il fotorealismo, spesso mancano di un controllo preciso su ombre e shading, faticano con la coerenza temporale a lungo termine a causa di finestre di contesto limitate e sono ostacolati dalla scarsità di dati accoppiati del mondo reale.

Metodologia

Gli autori propongono LightCrafter, una pipeline ibrida che riformula il video relighting come un compito di raffinamento video condizionato da PBR. Invece di tradurre direttamente un video di input in un target relit, il metodo traduce un video proxy PBR (renderizzato sotto l'illuminazione target) in un output fotorealistico.

La pipeline opera in tre fasi principali:

1. Inverse Rendering (Recupero della Scena)

Dato un video di input monoculare, il sistema recupera le intrinseche della scena utilizzando metodi standard:

• Geometria e Camera: Le mappe di profondità e i parametri della camera vengono estratti (ad esempio, tramite MegaSAM) per costruire mesh allineate per pixel in coordinate mondiali.
• Materiali: Albedo, mappe normali e parametri BRDF (roughness, metalness) vengono estratti (ad esempio, tramite DiffusionRenderer).
• Illuminazione Sorgente: Una mappa ambientale viene stimata e raffinata tramite rendering differenziabile per corrispondere al video di input.
  Ciò produce uno stato di scena recuperato $S$ e una stima dell'illuminazione sorgente.

2. Forward Rendering (Generazione del Proxy PBR)

Utilizzando le intrinseche recuperate $S$ e un'illuminazione target $L_{target}$ specificata dall'utente, un renderer fisico genera un video proxy $P$.

• Il renderer risolve l'equazione di rendering utilizzando un lobo diffuso Lambertiano e un lobo speculare isotropo (modello microfacet Cook-Torrance).
• Poiché il rendering è deterministico e basato sulla geometria recuperata, il proxy $P$ risultante è allineato ai frame e temporalmente coerente per costruzione.
• Fondamentalmente, il proxy cattura la maggior parte dei cambiamenti di illuminazione strutturati (ombre, shading, riflessi), ma mantiene gli artefatti derivanti dall'imperfetta inverse rendering (ad esempio, sfarfallio, ombre frastagliate, buchi di disocclusione).

3. PBR-Conditioned Diffusion Refinement

Un modello di diffusione video (inizializzato da CogVideoX-5B) viene perfezionato per raffinare il proxy PBR rumoroso $P$ in un video fotorealistico relit.

• Obiettivo di Addestramento: Il modello impara a predire il rumore aggiunto al video ground-truth relit, condizionato dalla rappresentazione latente del proxy PBR.
• Corrispondenza degli Artefatti: Per affrontare il mismatch tra addestramento e test, i dati di addestramento sono curati in modo che i proxy PBR contengano gli stessi tipi di artefatti (rumore, errori geometrici) che il modello incontrerà durante l'inferenza.
• Coerenza a Lungo Termine: Per gestire video più lunghi della finestra di addestramento del modello, gli autori utilizzano il temporal tiling con fusione di sovrapposizione (overlap-fused temporal tiling). Il video viene suddiviso in finestre sovrapposte, denoisato e fuso nello spazio di predizione del rumore utilizzando pesi temporali tent. Ciò garantisce una singola traiettoria di denoising coerente, prevenendo la deriva dell'illuminazione tra i confini dei chunk.

Strategia di Curatela dei Dati

Gli autori introducono una nuova pipeline di curatela dei dati per colmare il divario tra dati sintetici e reali:

• Coppie Sintetiche: I video ground-truth vengono renderizzati, poi sottoposti a inverse rendering e nuovamente renderizzati per creare coppie di (Noisy PBR, Ground Truth). Questo insegna al modello come correggere gli artefatti di ricostruzione.
• Pseudo-Coppie del Mondo Reale: Video reali vengono sottoposti a inverse rendering e ri-renderizzati sotto la propria illuminazione stimata. La coppia (Re-rendered Input, Original Input) insegna al modello come correggere gli artefatti sulle apparenze del mondo reale senza richiedere video relit ground-truth.

Contributi Chiave

1. Pipeline Ibrida: Una riformulazione del video relighting come compito di raffinamento in cui un proxy PBR fornisce un controllo esplicito sull'illuminazione e la coerenza temporale, mentre un modello di diffusione gestisce il fotorealismo e la correzione degli artefatti.
2. Superiorità del Proxy PBR: Gli autori dimostrano che il rendering PBR da solo spesso supera i precedenti metodi end-to-end in termini di controllo dell'illuminazione e coerenza, validando la qualità dei moderni sistemi di inverse rendering.
3. Addestramento con Corrispondenza degli Artefatti: Una strategia di curatela dei dati che espone il modello di diffusione agli artefatti di rendering realistici durante l'addestramento, migliorando significativamente la generalizzazione alle condizioni di inferenza.
4. Coerenza a Lungo Termine: Un meccanismo di tiling temporale e fusione che consente il relighting coerente di video arbitrariamente lunghi senza la deriva comune nell'elaborazione a chunk.
5. Editing Downstream: Il framework supporta naturalmente compiti di editing della scena (cambio di materiali, inserimento di oggetti, inserimento di luci) semplicemente re-renderizzando il proxy PBR con input modificati, senza richiedere il ri-addestramento del modello di diffusione.

Risultati Sperimentali

Il metodo è stato valutato su benchmark sintetici e reali (MIT Multi-Illumination, DL3DV).

• Prestazioni Quantitative: LightCrafter raggiunge prestazioni state-of-the-art in PSNR, SSIM e LPIPS rispetto ai baseline come LightX, UniRelight e DiffusionRenderer. Supera significativamente i baseline nelle metriche di coerenza temporale (T-CLIP, Warp-SSIM).
• Risultati Qualitativi: Il metodo produce ombre, riflessi e aspetto globale stabili su sequenze lunghe, mentre i baseline mostrano degradazione visibile, ombre inconsistenti e deriva cromatica.
• Studi di Ablazione: Gli esperimenti mostrano che l'addestramento su dati sia sintetici che reali è fondamentale. Rimuovere i dati reali porta a strutture allucinate, mentre rimuovere i dati sintetici risulta in una scarsa accuratezza del relighting. La curatela con corrispondenza degli artefatti è essenziale per correggere gli artefatti "in-the-wild".

Significato

Il paper sostiene che LightCrafter raggiunga un nuovo equilibrio tra controllabilità e fotorealismo nel video relighting. Sfruttando la base fisica esplicita del rendering PBR per struttura e coerenza, e il potere generativo dei modelli di diffusione per il raffinamento, il metodo supera i limiti del puro inverse rendering (rumore/artefatti) e degli approcci puramente generativi (mancanza di controllo/deriva temporale). Gli autori affermano che questo approccio consente un relighting coerente e a lungo termine e si estende naturalmente a compiti di editing della scena più ampi, rilasciando al contempo il proprio dataset, i benchmark e il codice alla comunità.