💻 computer science

AEGIR: Modeling Area Emitters for Indoor Inverse Rendering using Gaussian Splatting

AEGIR is een nieuw inverse rendering-framework dat Gaussian Splatting verbetert door lokale gebiedsemitters expliciet te modelleren via een differentieerbare deferred rendering-pipeline, waardoor de ambiguïteit tussen verlichting en materiaal wordt opgelost om realistische lichtattenuatie, nauwkeurige schaduwen en verbeterde relighting-mogelijkheden in complexe binnenruimtes te bereiken.

Oorspronkelijke auteurs: Mohamed Shawky Sabae, Philipp Langsteiner, Jan-Niklas Dihlmann, Hendrik Lensch

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohamed Shawky Sabae, Philipp Langsteiner, Jan-Niklas Dihlmann, Hendrik Lensch

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een foto kijंt van een gezellige woonkamer. Je ziet een lamp die op een tafel gloeit, een zachte lichtvlek op de vloer werpt en een zachte schaduw achter een stoel creëert.

Het Probleem: De "Tovertruc" die Misging
De huidige technologie voor het reconstrueren van 3D-werelden uit 2D-foto's (zoals die gebruikt worden in videogames of VR) is erg goed in het kopiëren van de vormen van objecten. Echter, wanneer de technologie probeert te begrijpen waarom een scène eruitziet zoals hij eruitziet — specifiek waar het licht vandaan komt en waar de objecten van gemaakt zijn — raakt het vaak in de war.

Beschouw dit als een goochelaar die probeert een konijn van een hoed te scheiden. Bestaande methoden proberen de lichtbron te raden door ervan uit te gaan dat deze óf:

Een gigantische, onzichtbare zon is die ver weg staat (een "omgevingskaart").
Een piepklein, puntvormig stipje is (een "puntlicht").

Het probleem is dat echte lampen geen kleine stipjes zijn, en ook niet oneindig ver weg staan. Ze hebben een grootte en een vorm. Wanneer de computer de grootte van de lamp negeert, krijgt hij de fysica verkeerd. Hij kan geen realistische "zachte" schaduwen creëren (de wazige randen die je onder een echte lamp ziet), en hij raakt vaak in de war, denkend dat de muur donkerder is omdat hij is gemaakt van donkere verf, terwijl de muur in werkelijkheid gewoon in de schaduw staat. De computer "bakt" deze verlichtingsfouten in de kleur van de muur, wat het onmogelijk maakt om de verlichting later aan te passen.

De Oplossing: AEGIR (Het "Slimme Lamp" Systeem)
Het paper introduceert een nieuw systeem genaamd AEGIR. In plaats van het licht te raden, bouwt AEGIR een 3D-model van de daadwerkelijke lichtarmaturen in de kamer.

Zo werkt het, met behulp van enkele eenvoudige analogieën:

De "Vormveranderende" Lichtbronnen:
Stel je voor dat de lichtbronnen in de kamer niet alleen stipjes zijn, maar kleine 3D-klodders die kunnen rekken en krimpen. AEGIR behandelt een ronde plafondlamp als een kleine bol, maar kan diezelfde klodder uitrekken tot een lange buis om een tl-armatuur te representeren. Het kan zelfs veranderen hoe "scherp" of "zacht" het licht zich verspreidt. Dit stelt de computer in staat om te begrijpen dat een lange buis een ander soort schaduw werpt dan een ronde lamp.
De "Uitgestelde" Keuken:
Om de verlichting te bepalen, gebruikt AEGIR een kookmethode die "deferred rendering" (uitgestelde rendering) wordt genoemd. Stel je een keuken voor waar je eerst alle ingrediënten voorbereidt (de vormen van de muren, de textuur van de meubels, de kleur van de vloer) en ze op een aanrecht legt. Pas nadat alles is neergelegd, zet je de lichten aan om te zien hoe ze eruitzien. Dit scheidt de "ingrediënten" (materialen) van de "verlichting" (illumination), zodat de computer ze niet door elkaar haalt.
De "Schaduwdetective":
AEGIR raadt niet alleen waar schaduwen zijn; het volgt lichtstralen als een detective die een spoor volgt. Het controleert of een lichtstraal een muur of een stoel raakt voordat deze het oppervlak bereikt. Dit stelt het systeem in staat om realistische, zachte schaduwen te creëren die overeenkomen met het echte leven, in plaats van de harde, blokkerige schaduwen die oudere methoden produceren.
Het "Trainingskamp":
Het leren van een computer om dit te doen is moeilijk omdat er te veel variabelen zijn. AEGIR gebruikt een "curriculum" (een stapsgewijs trainingsplan).
1. Eerst leert het de vorm van de kamer kennen.
2. Daarna raadt het waar de heldere plekken zijn (zoals de eigenlijke lampen) en verandert het deze in 3D-modellen.
3. Ten slotte verfijnt het alles samen, waarbij het een "focus map" gebruikt om extra aandacht te besteden aan de gebieden met een hoog contrast waar licht en schaduw samenkomen, om ervoor te zorgen dat de details scherp zijn.

De Resultaten: Wat Kun Je Hiermee Doen?
Omdat AEGIR de werkelijke vorm en positie van de lichten begrijpt, bereikt het drie hoofdzaken:

Betere 3D-foto's: Als je de kamer vanuit een nieuwe hoek fotografeert, ziet de verlichting er correct uit, niet nep.
Echte "Relighting": Je kunt de virtuele lamp in de foto verplaatsen, en de schaduwen zullen bewegen en van vorm veranderen op een realistische manier, net als in de echte wereld.
Virtuele Objecten Invoegen: Als je een virtuele stoel in de kamer wilt plaatsen, zal deze de juiste schaduw werpen op basis van de werkelijke lampen in de scène, waardoor het lijkt alsof de stoel er echt thuishoort.

Samenvattend
Eerdere methoden probeerden de verlichting te raden met eenvoudige, onnauwkeurige hulpmiddelen, wat leidde tot wazige schaduwen en verwarde kleuren. AEGIR bouwt een fysiek model van de daadwerkelijke lichtarmaturen (de "area emitters") binnen de 3D-scène. Door licht te behandelen als echte, gevormde objecten in plaats van wiskundige punten, scheidt het de "verf" (materialen) perfect van het "licht" (verlichting), wat het mogelijk maakt om realistische bewerkingen en nieuwe perspectieven van binnenruimtes te maken.

Technische Samenvatting: AEGIR – Modellering van Oppervlakte-emittenten voor Indoor Inverse Rendering met behulp van Gaussian Splatting

Probleemstelling
Inverse rendering beoogt het ontleden van geobserveerde beelden in geometrie, materialen en verlichting. Dit probleem is echter inherent slecht gesteld (ill-posed) vanwege de nauwe koppeling tussen oppervlakte-uiterlijk en verlichting. Recente vooruitgang in Neural Radiance Fields (NeRF) en 3D Gaussian Splatting (3DGS) heeft de synthese van nieuwe gezichtspunten verbeterd, maar het uitbreiden hiervan naar inverse rendering blijft uitdagend. Bestaande methoden benaderen de scèneverlichting doorgaans met globale omgevingkaarten, discrete puntlichtbronnen of impliciete neurale representaties. Deze benaderingen schieten tekort in begrensde binnenomgevingen omdat ze de fysieke ruimtelijke omvang van echte emittenten (bijv. lampen, plafondpanelen) negeren. Dit leidt tot incorrecte lichtattenuatie, onrealistische schaduwgrenzen en het vaak absorberen van resterende verlichtingseffecten direct in de oppervlakte-albedo, wat leidt tot een slechte ontkoppeling (disentanglement) van materialen en verlichting.

Methodologie
De auteurs stellen AEGIR voor (Area Emitters for Gaussian Inverse Rendering), een framework dat expliciet lokale oppervlakte-emittenten modelleert binnen een herbelichtbare Gaussian Splatting-representatie. De methodologie bestaat uit drie kerncomponenten:

Expliciete Lokale Oppervlakte-emittenten:
In plaats van puntlichtbronnen of globale kaarten, parametriseert AEGIR verlichting als gelokaliseerde 3D-primitieven. Elke emittent wordt gedefinieerd door:
- Ruimtelijke eigenschappen: Een centrumpositie, lokale orthonormale assen en fysieke schalen (anisotrope ellipsoïden).
- Emissieprofiel: Een RGB-emissiekleur en een Super-Gaussian hoekval-distributie.
- Flexibiliteit: Door anisotrope schaling te combineren met een leerbare Super-Gaussian machtsparameter ( $\rho$ ), kan een enkele primitief diverse bronnen vertegenwoordigen, variërend van isotrope puntlichtbronnen tot directionele, langwerpige armaturen (bijv. tl-buizen) met scherpe of zachte overgangen.
- Initialisatie: Emittenten worden geïnitialiseerd door hoog-intensieve pixels uit multi-view beelden terug te projecteren, deze te clusteren via DBSCAN, en de initiële parameters te schatten met behulp van Principal Component Analysis (PCA). Een adaptieve controller splitst of verwijdert emittenten dynamisch tijdens de optimalisatie op basis van energie- en schaalthresholds.
Deferred Rendering en Lichttransport:
AEGIR maakt gebruik van een deferred rendering pipeline gekoppeld aan 2D Gaussian Splatting (2DGS) om betrouwbare oppervlaktenormalen en geometrie te garanderen.
- G-Buffer: 2D Gaussians worden gerasterd om een buffer te genereren die albedo, ruwheid (roughness), metallic en normalen bevat.
- Sampling: De renderingvergelijking wordt geëvalueerd met een Monte Carlo-estimator met Multiple Importance Sampling (MIS). Dit combineert cosine-weighted hemisfeer-sampling (voor diffuse transport) met directe licht-sampling vanaf de expliciete oppervlaktes van de emittenten.
- Visibility: Zachte schaduwen en occlusies worden afgehandeld via differentiabele ray tracing door de 2D Gaussian scène, waarbij een visibility-term wordt berekend die rekening houdt met geaccumuleerde opaciteit en occlusieafstand.
- Indirect Licht: Een single-bounce benadering wordt gebruikt tijdens de training (met behulp van secundaire Gaussian hits) en een striktere single-bounce trace tijdens de inferentie.
Gezamenlijke Optimalisatie en Training Curriculum:
Om de ambiguïteit tussen materialen en verlichting op te lossen, hanteert het framework een progressieve optimalisatiestrategie met een gecombineerde verliesfunctie ( $L_{total} = L_{photo} + L_{prior} + L_{TV} + L_{light}$ ):
- Contrast-bewuste Fotometrische Loss: Verhoogt het gewicht van pixels met een hoog contrast om prioriteit te geven aan hoogfrequente verlichtingskenmerken.
- Diffusion Priors: Gebruikt een vooraf getrainde DiffusionRenderer om pseudo-ground truth voor materialen te bieden, wat voorkomt dat het model verlichting in de albedo "bakt".
- Edge-Aware Total Variation: Stimuleert stuksgewijs constante materialen op vlakke oppervlakken terwijl grenzen worden behouden.
- Emitter Regularisatie: Dwingt fysieke plausibiliteit af door excessieve schaling te bestraffen en kleurneutraliteit af te dwingen.
- Curriculum: Het proces begint met een geometrische baseline (DN-Splatter), gevolgd door gezamenlijke optimalisatie van geometrie, materialen en emittenten, en eindigt met een laatste fase waarin alleen de emittenten worden geoptimaliseerd om de verlichting te verfijnen zonder de materialen te wijzigen.

Belangrijkste Bijdragen

Nieuwe Emitter-formulering: Een expliciete oppervlakte-emittent representatie met behulp van anisotrope 3D ellipsoïden met Super-Gaussian hoekval, wat het modelleren van diverse real-world lichtvormen en emissieprofielen mogelijk maakt.
Gezamenlijk Optimalisatieframework: Een systeem dat simultaan expliciete lichtbronnen, scènegeometrie en Physically Based Rendering (PBR) materialen (albedo, roughness, metallic) herstelt uit multi-view beelden, waarbij een betere ontkoppeling wordt bereikt door radiometrische en geometrische beperkingen.
Fysiek Gegrond Renderingsmodel: Een differentiabele pipeline die illuminatie direct evalueert vanuit oppervlakte-emittenten, wat ondersteuning biedt voor fysiek consistente downstream taken.

Resultaten
De methode werd geëvalueerd op synthetische datasets (Hypersim, FIPT-Synthetic) en real-world indoor scans (Replica, ScanNet++), waarbij de prestaties werden vergeleken met state-of-the-art methoden zoals GS-ID, IRGS, IRIS en NeILF++.

Verlichting Schatting: In gecontroleerde re-rendering experimenten met ground-truth geometrie en materialen, behaalde AEGIR de hoogste PSNR (31.42 dB voor indoor verlichting) en laagste LPIPS, waarmee het methoden die vertrouwen op omgevingkaarten of puntlichtbronnen aanzienlijk overtreft. Het slaagde erin om vloeiende indoor schaduwwerking en accurate zachte schaduwen te herstellen.
Novel View Synthesis (NVS) & Materiaalherstel: AEGIR behaalde superieure of concurrerende NVS-prestaties (bijv. 21.50 PSNR op Hypersim) terwijl het een hogere albedo-accuratesse behield. In tegenstelling tot baselines die vaak de materiaalnauwkeurigheid opofferen voor renderingkwaliteit door verlichting in de albedo te bakken, behield AEGIR een betere balans.
Efficiëntie: Het optimalisatieproces duurt ongeveer 55 minuten op een enkele NVIDIA RTX 4090, wat het ongeveer drie keer sneller maakt dan NeILF++ en vergelijkbaar is met andere efficiënte baselines.
Ablatie-studies: Het verwijderen van componenten zoals diffusion priors of focus maps resulteerde in significante dalingen in albedo-accuratesse en verlichtingsschatting, wat de noodzaak van de volledige pipeline bevestigt voor stabiele ontkoppeling.

Betekenis en Beperkingen
Het artikel stelt dat AEGIR de kloof overbrugt tussen neurale scènemodellering en physically based rendering door de ruimtelijke omvang van lichtbronnen expliciet te modelleren. Dit leidt tot een meer consistente decompositie van geometrie, materialen en verlichting, wat realistische toepassingen mogelijk maakt zoals gecontroleerde herbelichting en virtuele objectplaatsing.

De auteurs erkennen bescheiden de huidige beperkingen:

Schaduwartsifacten kunnen ontstaan door ruis in de normalen.
De computationele kosten van schaduwtracing nemen toe met het aantal emittenten.
Het huidige materiaalmodel gaat niet om met spiegelende of transparante materialen.
Er zijn bredere ethische overwegingen met betrekking tot het potentieel voor misbruik van dergelijke technologie voor het genereren van misleidende media.

Ondanks deze beperkingen wordt AEGIR gepresenteerd als een betrouwbare aanpak voor het herstellen van verlichting in complexe binnenomgevingen, wat een flexibele fundering biedt voor realistische scène-editing.

Technische Samenvatting: AEGIR – Modellering van Oppervlakte-emittenten voor Indoor Inverse Rendering met behulp van Gaussian Splatting

Meer zoals dit