LumiMotion: Improving Gaussian Relighting with Scene Dynamics

Probleemstelling

Binnen het domein van 3D-reconstructie en inverse rendering (het terugvinden van geometrie, materiaaleigenschappen en verlichting uit afbeeldingen) vormen bestaande methoden op basis van Gaussian Splatting (zoals 3DGS en 2DGS) voornamelijk statische scènes. Deze methoden modelleren vaak de kleur van een scène zoals deze wordt waargenomen, inclusief schaduwen en andere verlichtingsafhankelijke effecten.

Dit leidt tot een verwarring tussen verlichting en materiaal: de "albedo" (de intrinsieke kleur van het materiaal) wordt verontreinigd door schaduwen. Hierdoor kunnen deze reconstructies niet worden "herverlicht" (relighted) onder nieuwe verlichtingsomstandigheden zonder dat de schaduwen als deel van het materiaal worden behandeld. Bestaande methoden voor inverse rendering falen vaak in realistische scènes met sterke directe verlichting, omdat het zonder beweging moeilijk is om te onderscheiden of een donker gebied een schaduw is of een donker materiaal.

Methodologie: LumiMotion

LumiMotion is de eerste op Gaussian Splatting gebaseerde aanpak die scènedynamiek (beweging) gebruikt als toezichtsignaal (supervisory signal) voor inverse rendering in willekeurige dynamische scènes. De methode werkt in twee fasen:

Fase 1: Dynamische Geometrie Leren

In deze fase wordt een 3D-reconstructie van de scène opgebouwd met behulp van 2D Gaussian Splatting (2DGS). 2DGS wordt gekozen omdat het nauwkeurige oppervlaktenormals genereert, wat essentieel is voor het scheiden van verlichting en materiaal.

• Dynamische Modelling: Een MLP (Multilayer Perceptron) voorspelt transformaties (positie, rotatie, kleur) voor de Gaussians op basis van de tijd $t$.
• Static-Dynamic Separation: Een cruciale innovatie is het introduceren van een variabele $P$ (gesampled via een Binary Concrete distribution) die voor elke Gaussian aangeeft of deze statisch of dynamisch is.
  • Dit voorkomt dat de MLP schaduwen op statische oppervlakten simuleert door Gaussians te laten bewegen. In plaats daarvan worden bewegende schaduwen gemodelleerd via kleurveranderingen ($\Delta c$) op statische Gaussians.
  • Er wordt een separatieverlies ($L_P$) toegepast om Gaussians te straffen die onnodig als dynamisch worden gemarkeerd, waardoor statische objecten stabiel blijven.
• Kleurvariatie: De kleur van een Gaussian op tijdstip $t$ wordt berekend als $c' = c(1 - \Delta c)$. Hierbij benadert $c$ de pseudo-albedo, terwijl $\Delta c$ de effecten van bewegende schaduwen en veranderende invalshoek van licht op dynamische objecten vastlegt.

Fase 2: Inverse Rendering

In deze tweede fase worden de geometrie en het dynamische netwerk "bevroren". De focus ligt op het gezamenlijk optimaliseren van:

1. Materiaaleigenschappen: Albedo ($\rho$) en ruwheid ($\alpha$) voor elke Gaussian.
2. Omgevingsverlichting: Een onbekende HDR-omgevingskaart ($L_{env}$).

• Rendering: In plaats van de kleur direct van de Gaussians te renderen, wordt de renderingvergelijking toegepast na rasterisatie. Dit gebeurt per pixel via ray-tracing om zichtbaarheid ($V$) en indirect licht ($L_{ind}$) te berekenen.
• Loss Functie: De methode minimaliseert het verschil tussen de gerenderde afbeeldingen (met de geschatte verlichting en materiaal) en de ground truth-pixels, terwijl de geometrie uit Fase 1 behouden blijft.

Belangrijkste Bijdragen

1. Eerste Dynamische Inverse Rendering: LumiMotion is de eerste Gaussian-based methode die inverse rendering uitvoert in willekeurige dynamische scènes zonder aannames over objectcategorieën of bekende trainingsverlichting.
2. Nieuwe Constraints: Een reeks nieuwe constraints (zoals de statisch-dynamische separatie en regularisatie op kleur/positie veranderingen) die het mogelijk maken om beweging te scheiden van veranderingen in verlichting, wat essentieel is voor het correct schatten van de albedo.
3. Nieuw Benchmark Dataset: De auteurs hebben een synthetische dataset gelanceerd met vijf scènes onder vier verschillende verlichtingsomstandigheden, elk in statische en dynamische varianten. Dit is de eerste dataset die systematische evaluatie van inverse rendering in dynamische omgevingen mogelijk maakt.

Resultaten

De prestaties van LumiMotion zijn geëvalueerd op zowel synthetische data als real-world data (ENeRF dataset):

• Kwalitatieve Verbetering: In vergelijking met state-of-the-art baselines (zoals IRGS, R-3DGS, GI-GS) slaagt LumiMotion erin om schaduwen effectief uit de albedo te verwijderen. Dit resulteert in realistische herverlichting waarbij nieuwe schaduwen correct worden geworpen op de juiste locaties.
• Kwantitatieve Verbetering:
  • Albedo Schatting: Een verbetering van 23% in LPIPS (een maatstaf voor perceptuele kwaliteit) ten opzichte van de beste baseline.
  • Herbelichting (Relighting): Een verbetering van 15% in LPIPS.
  • De methode presteert consistent beter op PSNR, SSIM en LPIPS, zelfs wanneer getraind op dynamische scènes (wat inherent moeilijker is dan statische scènes).
• Robuustheid: De methode toont consistente normals en materiaalverdeling over de tijd, wat leidt tot stabielere resultaten bij het renderen vanuit nieuwe hoeken en onder nieuwe verlichting.

Betekenis en Impact

LumiMotion doorbreekt de beperking van bestaande Gaussian Splatting-methoden die vastzitten in statische scènes of vereenvoudigde verlichting. Door beweging te gebruiken als een signaal om verlichting en materiaal te ontwarren, opent deze methode nieuwe mogelijkheden voor toepassingen in gaming, filmproductie en augmented reality, waar controle over verlichting en realistische materialen cruciaal zijn. Het bewijst dat dynamische content niet alleen een uitdaging is, maar een krachtig hulpmiddel kan zijn voor het verbeteren van de nauwkeurigheid van inverse rendering taken.