Technische Samenvatting: LightCrafter

Probleemstelling

Video-relighting vereist het bewerken van de verschijning van een scène terwijl de inhoud, geometrie, materialen en beweging behouden blijven, waarbij tegelijkertijd temporele coherentie en fysieke consistentie worden gewaarborgd. Bestaande benaderingen vallen over het algemeen uiteen in twee paradigma's, die beide aanzienlijke beperkingen kennen:

1. Inverse Rendering + Forward Rendering: Deze methoden reconstrueren expliciet de intrinsieke eigenschappen van de scène (geometrie, materialen, verlichting) en renderen deze opnieuw onder nieuwe verlichting. Hoewel ze een nauwkeurige controle en temporele consistentie bieden, lijden ze aan ruisgevoelige reconstructies door de slecht te definiëren aard van monoculaire inverse rendering. Fouten in de geometrie- of materiaalschatting werken direct door naar de output, en ze hebben moeite met het modelleren van complexe effecten zoals globale illuminatie.
2. Generatieve Video-to-Video Translatie: Deze methoden kaderen relighting als een generatieve taak die geconditioneerd is op doelverlichting (bijv. environment maps of tekst). Hoewel ze gebruikmaken van sterke diffusie-priors voor fotorealisme, missen ze vaak nauwkeurige controle over schaduwen en shading, hebben ze moeite met langdurige temporele consistentie door beperkte contextvensters, en worden ze gehinderd door het gebrek aan gepaarde real-world trainingsdata.

Methodologie

De auteurs stellen LightCrafter voor, een hybride pipeline die video-relighting herformuleert als een PBR-geconditioneerde video-verfijningsopdracht. In plaats van een inputvideo direct te vertalen naar een herbelichte doelvideo, vertaalt de methode een Physically-Based Rendering (PBR) proxy-video (gerenderd onder de doelverlichting) naar een fotorealistische output.

De pipeline werkt in drie hoofdfasen:

1. Inverse Rendering (Scène-reconstructie)

Gegeven een monoculaire inputvideo, herstelt het systeem de intrinsieke eigenschappen van de scène met behulp van standaardmethoden:

• Geometrie & Camera: Dieptekaarten en cameraparameters worden geëxtraheerd (bijv. via MegaSAM) om per pixel uitgelijnde meshes in wereldcoördinaten te construeren.
• Materialen: Albedo, normal maps en BRDF-parameters (ruwheid, metaliteit) worden geëxtraheerd (bijv. via DiffusionRenderer).
• Bronverlichting: Een environment map wordt geschat en verfijnd via differentiële rendering om overeen te komen met de inputvideo.
  Dit resulteert in een herstelde scènetoestand $S$ en een schatting van de bronverlichting.

2. Forward Rendering (PBR Proxy Generatie)

Gebruikmakend van de herstelde intrinsieken $S$ en een door de gebruiker gespecificeerde doelverlichting $L_{target}$, genereert een physically-based renderer een proxy-video $P$.

• De renderer lost de renderingvergelijking op met een Lambertiaanse diffuse lobe en een isotrope speculaire lobe (Cook-Torrance microfacet model).
• Omdat de rendering deterministisch is en gebaseerd is op de herstelde geometrie, is de resulterende proxy $P$ frame-uitgelijnd en temporeel consistent door constructie.
• Cruciaal is dat de proxy de meeste gestructureerde verlichtingsveranderingen (schaduwen, shading, highlights) vastlegt, maar artefacten van de imperfecte inverse rendering behoudt (bijv. flikkering, grillige schaduwen, disocclusie-gaten).

3. PBR-geconditioneerde Diffusie-verfijning

Een video-diffusiemodel (geïnitialiseerd vanuit CogVideoX-5B) wordt gefinetuned om de ruisgevoelige PBR-proxy $P$ te verfijnen tot een fotorealistische, herbelichte video.

• Trainingsdoel: Het model leert ruis te voorspellen die is toegevoegd aan de grondwaarheid (ground-truth) van de herbelichte video, geconditioneerd op de latente representatie van de PBR-proxy.
• Artifact Matching: Om de mismatch tussen training en test aan te pakken, wordt de trainingsdata zo gecureerd dat de PBR-proxies dezelfde soorten artefacten bevatten (ruis, geometriefouten) die het model tijdens de inferentie zal tegenkomen.
• Langdurige Consistentie: Om video's te verwerken die langer zijn dan het trainingsvenster van het model, gebruiken de auteurs overlap-fused temporal tiling. De video wordt opgesplitst in overlappende vensters, gedenoised en samengevoegd in de ruisvoorspellingsruimte met behulp van temporele tent-gewichten. Dit zorgt voor een enkel coherent denoising-traject, wat lichtdrift over chunk-grenzen heen voorkomt.

Data Curation Strategie

De auteurs introduceren een nieuwe data-curatiepipeline om de kloof tussen synthetische en real-world data te overbruggen:

• Synthetische Paren: Grondwaarheid-video's worden gerenderd, waarna ze via inverse rendering en opnieuw worden gerenderd om paren te creëren van (Ruisige PBR, Grondwaarheid). Dit leert het model om reconstructie-artefacten te corrigeren.
• Real-World Pseudo-Paren: Real-world video's worden via inverse rendering en opnieuw gerenderd onder hun eigen geschatte verlichting. Het paar (Hergerenderde Input, Originele Input) leert het model om artefacten op real-world verschijningen te corrigeren zonder dat er grondwaarheid-herbelichte video's nodig zijn.

Belangrijkste Bijdragen

1. Hybride Pipeline: Een herformulering van video-relighting als een verfijningsopdracht waarbij een PBR-proxy expliciete controle over verlichting en temporele consistentie biedt, terwijl een diffusiemodel zorgt voor fotorealisme en correctie van artefacten.
2. Superieure PBR Proxy: De auteurs tonen aan dat de PBR-rendering alleen al vaak beter presteert dan eerdere state-of-the-art end-to-end methoden wat betreft controle over verlichting en consistentie, wat de kwaliteit van moderne inverse renderers valideert.
3. Artifact-Matched Training: Een data-curatiestrategie die het diffusiemodel blootstelt aan realistische rendering-artefacten tijdens de training, wat de generalisatie naar de condities tijdens de inferentie aanzienlijk verbetert.
4. Langdurige Consistentie: Een mechanisme voor temporele tiling en fusie dat consistente relighting mogelijk maakt voor willekeurig lange video's zonder de drift die gebruikelijk is bij chunked verwerking.
5. Downstream Editing: Het framework ondersteunt van nature taken voor scène-bewerking (materiaalwijzigingen, objectinvoeging, lichtinvoeging) door simpelweg de PBR-proxy te herrenderen met gewijzigde inputs, zonder dat de diffusie-model opnieuw getraind hoeft te worden.

Experimentele Resultaten

De methode is geëvalueerd op synthetische en real-world benchmarks (MIT Multi-Illumination, DL3DV).

• Kwantitatieve Prestaties: LightCrafter bereikt state-of-the-art prestaties in PSNR, SSIM en LPIPS vergeleken met baselines zoals LightX, UniRelight en DiffusionRenderer. Het presteert significant beter dan baselines op het gebied van temporele consistentie metrieken (T-CLIP, Warp-SSIM).
• Kwalitatieve Resultaten: De methode produceert stabiele schaduwen, highlights en een globale verschijning over lange sequenties, terwijl baselines zichtbare degradatie, inconsistente schaduwen en kleurdrift vertonen.
• Ablatie-studies: Experimenten tonen aan dat trainen op zowel synthetische als real-world data cruciaal is. Het verwijderen van real-world data leidt tot gehallucineerde structuren, terwijl het verwijderen van synthetische data resulteert in een slechte nauwkeurigheid van de relighting. De artifact-matched curatie is essentieel voor het corrigeren van in-the-wild artefacten.

Betekenis

Het artikel beweert dat LightCrafter een nieuw evenwicht bereikt tussen controleerbaarheid en fotorealisme in video-relighting. Door gebruik te maken van de expliciete fysieke fundering van PBR-rendering voor structuur en consistentie, en de generatieve kracht van diffusiemodellen voor verfijning, overwint de methode de beperkingen van puur inverse rendering (ruis/artefacten) en puur generatieve benaderingen (gebrek aan controle/temporele drift). De auteurs stellen dat deze aanpak consistente, langdurige relighting mogelijk maakt en zich natuurlijk uitbreidt naar bredere scène-bewerkingstaken, terwijl ze hun dataset, benchmarks en code beschikbaar stellen aan de community.