💻 computer science

VENI: Variational Encoder for Natural Illumination

Het artikel stelt VENI voor, een rotatie-equivariante variationele autoencoder die gebruikmaakt van een nieuwe Vector Neuron Vision Transformer en een conditioneel neuraal veld om natuurlijke verlichting op een sfeer te modelleren zonder 2D-projecties, waardoor een goed gedefinieerde latente ruimte met vloeiendere interpolatie wordt bereikt vergeleken met bestaande methoden.

Oorspronkelijke auteurs: Paul Walker, James A. D. Gardner, Andreea Ardelean, William A. P. Smith, Bernhard Egger

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Paul Walker, James A. D. Gardner, Andreea Ardelean, William A. P. Smith, Bernhard Egger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een foto probeert te reconstrueren via reverse engineering. Je hebt een foto van een scène, maar je weet niet hoe de zon eruitzag, waar de wolken waren of hoe laat het was. Dit wordt "inverse rendering" genoemd, en het is een lastige puzzel omdat veel verschillende lichtinstellingen exact dezelfde foto kunnen creëren.

Om dit op te lossen, hebben computers meestal een "regelboek" of een prior nodig—een set geleerde verwachtingen over hoe natuurlijk licht gewoonlijk werkt. We weten bijvoorbeeld dat de zon meestal boven de grond staat en niet eronder, en dat licht uit een beperkt bereik van kleuren komt.

De paper introduceert een nieuw hulpmiddel genaamd VENI (Variational Encoder for Natural Illumination). Zo werkt het, uitgelegd aan de hand van eenvoudige analogieën:

Het probleem met de oude manier (RENI++)

Voordat VENI bestond, was de beste tool voor deze klus RENI++. Denk aan RENI++ als een blinde beeldhouwer die probeert een standbeeld te recreëren op basis van een foto.

Het probleem: Elke keer dat de beeldhouwer aan een nieuw standbeeld begint (een nieuwe afbeelding), pakt hij een willekeurige brok klei op (een willekeurige "latent code") en begint hij te beitelen.
De tekortkoming: Omdat de beeldhouwer elke keer met een willekeurige brok klei begint, kunnen twee zeer vergelijkbare foto's resulteren in totaal verschillende brokken klei. Erger nog, de beeldhouwer kan per ongeluk hetzelfde standbeeld eruit laten zien als twee totaal verschillende brokken klei. Dit maakt de "kleiliberary" rommelig en verwarrend. Als je probeert twee brokken klei samen te voegen om een nieuw standbeeld te maken, is het resultaat een vreemde, kapotte bende.

De VENI-oplossing: Een slimme, georganiseerde bibliotheek

VENI verandert het spel door te fungeren als een slimme bibliothecaris in plaats van een blinde beeldhouwer.

De Encoder (De bibliothecaris): Wanneer VENI een foto ziet, raadt hij niet. Het heeft een speciaal systeem dat direct naar de foto kijkt en de exacte juiste "klomp klei" (latent code) uit zijn georganiseerde bibliotheek vindt om die specifieke verlichting te representeren.
De Decoder (De beeldhouwer): Zodra het de juiste klomp klei heeft, gebruikt het een speciale 3D-printer (een neural field) om de lichtomgeving perfect te recreëren.

Het geheime ingrediënt: Rotatie en 3D-denken

De paper benadrukt twee belangrijke trucs die VENI gebruikt om beter te zijn dan de concurrentie:

1. De "Tol"-regel (Rotatie-equivariante)
Stel je een tol voor die ronddraait. Als je de tol laat draaien, ziet hij er anders uit vanaf de zijkant, maar het is nog steeds dezelfde tol. Natuurlijk licht werkt op dezelfde manier. Als je een kamer 90 graden draait, verandert de verlichting, maar de regels van hoe het licht zich gedraagt blijven hetzelfde.

Oude modellen moesten vaak een 3D-bol van licht nemen, deze platdrukken op een 2D-vel papier (zoals een kaart), en vervolgens proberen ervan te leren. Dit platdrukken creëert vervormingen (zoals hoe Groenland op een platte kaart enorm groot lijkt).
VENI werkt direct in de 3D-ruimte. Het behandelt het licht als een draaiende tol. Het gebruikt een speciale "Vector Neuron"-hersenstructuur die begrijpt dat als je de input roteert, de output ook mee roteert, zonder in de war te raken of vervormd te worden. Het is alsoals leren dansen door daadwerkelijk te draaien, in plaats van te proberen danspassen te leren van een platte tekening.

2. Het "Magische Kompas" (SO(2)-Equivariance)
De auteurs realiseerden zich dat hoewel licht rond de verticale as kan draaien (zoals een kompasnaald), het in een natuurlijke buitenomgeving niet logisch is dat licht ondersteboven kantelt of opzij helt.

Ze bouwden een speciale laag in hun AI die slim genoeg is om te weten: "Oké, draaien naar links en rechts is prima, maar laat de kleuren of de 'bovenkant' niet in de war raken." Dit maakt het model veel efficiënter en nauwkeuriger.

Waarom VENI beter is

De paper bewijst dat VENI op twee manieren wint:

Een nette bibliotheek (Uniekheid): Bij de oude methode kunnen twee vergelijkbare foto's twee totaal verschillende "klei-codes" krijgen. In VENI krijgen twee vergelijkbare foto's twee zeer vergelijkbare codes. Dit betekent dat de "bibliotheek" georganiseerd is. Als je een code opzoekt, weet je precies welke verlichting deze representeert.
Soepele blending (Interpolatie): Omdat de bibliotheek georganiseerd is, kun je de code voor "Zonsopgang" en de code voor "Middag" samenvoegen.
- Oude methode: Het samenvoegen hiervan zou een vreemd artefact kunnen creëren, zoals een zon die plotseling uit het niets verschijnt in het midden van de lucht.
- VENI: Het samenvoegen hiervan creëert een vloeiende, realistische overgang waarbij de zon natuurlijk over de hemel beweegt en de kleuren zachtjes verschuiven van oranje naar blauw.

Samenvatting

VENI is een nieuw AI-systeem dat leert hoe natuurlijk licht werkt door het te behandelen als een 3D-object dat kan draaien, in plaats van als een platte, vervormde afbeelding. Het organiseert zijn kennis zodat vergelijkbare lichten vergelijkbare "ID's" hebben, waardoor het vloeiend kan overgaan tussen verschillende momenten van de dag zonder vreemde visuele fouten te maken. Het is een betrouwbaardere, meer georganiseerde en wiskundig meer onderbouwde manier voor computers om de verlichting in onze wereld te begrijpen.

Technische Samenvatting: VENI: Variational Encoder voor Natuurlijke Illuminatie

Probleemstelling

Inverse rendering is een slecht gesteld probleem (ill-posed problem), aangezien één enkele afbeelding gegenereerd kan worden door meerdere combinaties van vorm, materiaal en verlichting. Hoewel mensen gebruikmaken van sterke geleerde priors over illuminatieruimtes om dit op te lossen, schieten huidige computationele benaderingen vaak tekort in het adequaat modelleren van natuurlijke illuminatie. De huidige state-of-the-art methoden kampen met twee primaire beperkingen:

Gebrek aan Rotatie-equivariante eigenschappen: Veel modellen negeren de sferische en rotatie-equivariante aard van illuminatieomgevingen. Hoewel sommige recente werken (bijv. RENI++) proberen dit aan te pakken, vertrouwen ze vaak op 2D-projecties (equirectangulaire of cube maps), wat vervorming introduceert, of ze slagen er niet in om equivariantie in de encoder te handhaven.
Slechte Eigenschappen van de Latente Ruimte: Bestaande rotatie-equivariante priors, zoals RENI++, maken gebruik van een "autodecoder"-architectuur. In deze opzet worden latente codes voor elke afbeelding willekeurig geïnitialiseerd en gezamenlijk geoptimaliseerd met het model. Dit leidt tot een niet-unieke latente ruimte waarbij vergelijkbare afbeeldingen door zeer verschillende latente codes gerepresenteerd kunnen worden. Bovendien schaalt deze aanpak niet naar grote datasets omdat er voor elke individuele afbeelding een nieuwe latente code moet worden geoptimaliseerd.

Methodologie

De auteurs stellen VENI (Variational Encoder for Natural Illumination) voor, een rotatie-equivariante variatone encoder (VAE) die ontworpen is om natuurlijke illuminatie op de sfeer te modelleren zonder afhankelijk te zijn van 2D-projecties. De architectuur bestaat uit drie hoofdcomponenten:

1. SO(2)-Equivariante Volledig Verbonden Laag

Om de specifieke symmetrieën van natuurlijke buitenilluminatie te behandelen, breiden de auteurs het Vector Neuron-framework uit. Terwijl standaard Vector Neurons SO(3)-equivariante eigenschappen bieden, bezitten natuurlijke illuminatieomgevingen een canonieke "boven"-richting, waardoor alleen rotaties rond de verticale as (SO(2)) fysiek betekenisvol zijn. De auteurs ontwerpen een nieuwe SO(2)-equivariante volledig verbonden laag die:

De input scheidt in equivariante componenten (x, y dimensies) en invariante componenten (z-dimensie en kleur).
Invariante en equivariante operaties combineert binnen één enkele neuron.
Zorgt dat de invariante dimensies (kleur, verticale as) invariant blijven voor rotaties in het xy-vlak, terwijl ze nog steeds de equivariante dimensies beïnvloeden.
Deze laag blijkt beter te presteren dan standaard Vector Neurons wanneer deze binnen een SO(2)-equivariante model wordt toegepast.

2. Vector Neuron Vision Transformer (VN-ViT) Encoder

De kern van de encoder is een Vision Transformer aangepast voor sferische data en rotatie-equivariante eigenschappen:

Input Representatie: In plaats van 2D-projecties werkt het model direct in het 3D-domein. Patches worden gesampled als verticale strepen op de sfeer. Om equivariantie te behouden zonder positionele codering (wat de equivariantie zou verbreken), worden kleurwaarden geconcateneerd met de 3D-richtingsvectoren van de gesamplede pixels.
Architectuur: Alle standaard ViT-componenten worden vervangen door hun Vector Neuron-tegenhangers. Een leerbare "class token" wordt voorafgevoegd aan de patch-embeddings; deze token is alleen leerbaar in invariante dimensies om de equivariantie te bewaren.
Output: De transformer-output wordt geprojecteerd via twee SO(2)-equivariante volledig verbonden lagen om de gemiddelde waarde ( $\mu$ ) en variantie ( $\sigma$ ) voor de latente code te produceren.

3. Rotatie-Equivariante Variatone Sampling en Decoder

Sampling: Om te garanderen dat de latente ruimte rotatie-equivariante eigenschappen heeft, samplen de auteurs uit een 3D isotrope sferische normale verdeling, gedefinieerd door een 3D gemiddelde vector en een 1D variantie, in plaats van uit drie onafhankelijke 1D-verdelingen te samplen.
Decoder: Het model neemt de RENI++ decoder over, een rotatie-equivariante conditionele neurale veld. Deze neemt een richtingsvector en de 3D latente vector als input om kleur te produceren. De conditionering wordt bereikt door de richting te coderen relatief aan de latente code en door gebruik te maken van Vector Neuron invariante lagen.

Trainingsstrategie

Het model wordt getraind op een combinatie van datasets om het volledige dynamische bereik van natuurlijk licht te behandelen:

RENI++ Dataset: 1.694 hoogwaardige HDR equirectangulaire afbeeldingen (buitenomgevingen).
StreetLearn Dataset: 43.310 LDR 360°-afbeeldingen van Google Street View, geconverteerd naar HDR.
Curriculum Learning: Het model wordt eerst voorgetraind op de grote StreetLearn-dataset en vervolgens gefinetuned op de kleinere, kwalitatief hoogwaardigere RENI++ dataset.
Verliesfuncties: De training maakt gebruik van een log-ruimte verlies om menselijke visuele perceptie te matchen, een Mean Absolute Gradient Error (MAGE) om hoogfrequente details vast te leggen, een schaal-invariante verliesfunctie, een cosine similarity verlies voor kleurnauwkeurigheid, en een Kullback-Leibler divergentie (KLD) term die is aangepast voor 3D isotrope verdelingen.

Belangrijkste Bijdragen

Nieuwe Encoder Architectuur: Een rotatie-equivariante panoramische vision transformer (VN-ViT) mogelijk gemaakt door een nieuwe SO(2)-equivariante uitbreiding van Vector Neurons, wat directe verwerking van sferische signalen mogelijk maakt zonder 2D-projectievervorming.
Goed Gedrag van de Latente Ruimte: Een rotatie-equivariante natuurlijke illuminatie prior die een unieke latente ruimte produceert, waarmee de problemen van niet-uniekheid bij autodecoder-gebaseerde benaderingen zoals RENI++ worden overwonnen.
Schaalbaarheid: Door afbeeldingen te coderen via een forward pass in plaats van per afbeelding de latente codes te optimaliseren, schaalt de methode naar grote datasets.
Uitgebreide Evaluatie: Uitgebreide evaluatie met behulp van intuïtieve metrieken voor de uniciteit van de latente ruimte en reconstructieconsistentie.

Resultaten

Het paper evalueert VENI tegenover RENI++ over diverse latente dimensies ( $D=27, 147, 300$ ):

Reconstructie Kwaliteit: VENI presteert beter dan RENI++, vooral in laag-dimensionale settings ( $D=27$ ), waarbij hogere PSNR en SSIM worden behaald en lagere LPIPS-scores in zowel LDR tone-mapped als lineaire HDR-ruimtes.
Uniciteit van de Latente Ruimte: De auteurs demonstreren dat de latente ruimte van VENI aanzienlijk unieker is. Wanneer twee latente codes worden geoptimaliseerd voor dezelfde afbeelding, levert de interpolatie tussen hen consistente resultaten op voor VENI, terwijl RENI++ significante divergentie vertoont (MSE van 0,04 versus 1,46 voor $D=27$ ).
Interpolatie: Kwalitatieve resultaten laten zien dat VENI vloeiende, semantisch betekenisvolle interpolaties mogelijk maakt (bijv. de overgang van zonsopgang naar middaguur) zonder artefacten zoals spooklichtbronnen of ruis te introduceren, wat wel wordt waargenomen bij RENI++ interpolaties.
Schaalbaarheid: Experimenten tonen aan dat VENI zijn prestaties behoudt wanneer het getraind wordt op de grote StreetLearn-dataset, terwijl RENI++ (dat per afbeelding optimalisatie vereist) niet effectief naar dergelijke grote datasets kan schalen.

Betekenis

Het paper stelt dat VENI kritische beperkingen in huidige natuurlijke illuminatie priors aanpakt door rotatie-equivariante eigenschappen te combineren met een goed gestructureerde, unieke latente ruimte. Door af te stappen van het autodecoder-paradigma naar een variatone encoder, zorgt het model ervoor dat vergelijkbare afbeeldingen naar vergelijkbare latente codes leiden, wat vloeiende interpolatie faciliteert en het gebruik van grootschalige datasets mogelijk maakt. Dit resulteert in een robuustere prior voor inverse rendering-taken, in staat om de complexe statistische regelmatigheden van natuurlijke buitenilluminatie te behandelen terwijl de fysieke beperkingen van sferische geometrie worden gerespecteerd.