💻 computer science

LumiTokens: 3D Relighting via Token-Space Lighting Transformation

LumiTokens is een nieuw 3D-relightingframework dat expliciete materiaalscheiding en rendervergelijkingen omzeilt door compacte latente scène-tokens direct te transformeren naar herbelichte afbeeldingen via een op zelf-aandacht gebaseerde editor, wat verenigde, progressieve en composabele belichtingsbewerkingen voor diverse lichtbronnen mogelijk maakt.

Oorspronkelijke auteurs: Yiwen Chen, Matheus Gadelha, Huaizu Jiang

Gepubliceerd 2026-08-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yiwen Chen, Matheus Gadelha, Huaizu Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een foto maakt van een personage in een filmstudio of een product in een laboratorium en deze in een totaal andere wereld wilt plaatsen. Je wilt dat personage misschien laten staan onder de warme gloed van een zonsondergang, of dat product op een aanrecht willen plaatsen, verlicht door een ochtendvenster. Decennialang heeft computergraphics gestreden met deze taak. Om een 3D-object er in een nieuw licht echt uit te laten zien, vereisten traditionele methoden een moeizaam proces van het reverse-engineeren van het object. Kunstenaars en algoritmen moesten de lagen van de afbeelding afpellen om de vorm van het object, de textuur en hoe glanzend of ruw het oppervlak was, te achterhalen. Pas nadat dit complexe puzzelstukje was opgelost, konden ze de afbeelding weer samenstellen onder een nieuw licht. Deze aanpak was traag, vereiste vaak honderden foto's om correct te werken, en werd beperkt door hoe goed de computer de fysieke eigenschappen van het materiaal kon raden.

Een nieuwere golf van technologie heeft geprobeerd dit op te lossen door kunstmatige intelligentie te gebruiken om simpelweg te raden hoe de nieuwe afbeelding eruit zou moeten zien, vergelijkbaar met hoe een schilder een scène improviseert. Hoewel deze methoden prachtige resultaten kunnen opleveren, hebben ze vaak moeite om het object consistent te houden wanneer het vanuit verschillende hoeken wordt bekeken. Als je de camera rondom het object beweegt, kan de verlichting aan de ene kant goed lijken, maar aan de andere kant fout, wat de illusie van een solide 3D-wereld doorbreekt. Bov�of bovendien betekende het veranderen van het licht meestal dat het hele schilderproces vanaf nul opnieuw moest worden gestart. Er was geen manier om de staat van het object op te slaan en simpelweg een nieuwe lamp toe te voegen of de zon te verplaatsen zonder alles opnieuw te genereren.

Onderzoekers aan de Northeastern University en Adobe Research hebben een nieuwe aanpak geïntroduceerd genaamd LumiTokens die de manier waarop we over dit probleem denken, verandert. In plaats van te proberen de fysieke vorm van een object te achterhalen of de uiteindelijke afbeelding pixel voor pixel te raden, behandelt hun systeem de gehele 3D-scène als een compacte set digitale tokens. Zie deze tokens als een zeer efficiënte, gecomprimeerde samenvatting van het object die alle geometrie en verschijning bevat, maar niet gebonden is aan een specifieke fysieke beschrijving zoals een 3D-model of een raster van punten. De onderzoekers ontdekten dat ze deze samenvatting direct konden manipuleren. Door het systeem een beschrijving van een nieuwe lichtbron te voeren, konden ze deze tokens transformeren om de nieuwe lichtomstandigheden te reflecteren, en vervolgens het resultaat decoderen naar een verse, hoogwaardige afbeelding.

De kern van deze methode is een hulpmiddel dat ze een Scene Token Editor noemen. Deze component neemt de gecomprimeerde samenvatting van de scène en de beschrijving van het nieuwe licht, en mengt deze met elkaar via een mechanisme dat vergelijkbaar is met hoe een zoekmachine gerelateerde ideeën met elkaar verbindt. Het systeem hoeft niet de exacte 3D-coördinaten van het object te weten of de fysica van hoe licht van een oppervlak afkaatst. In plaats daarvan leert het de tokens aan te passen zodat, wanneer ze worden terugveranderd in een afbeelding, de schaduwen correct vallen, de highlights op de juiste plaatsen schitteren en de reflecties natuurlijk verschijnen. Cruciaal is dat dit proces werkt voor veel verschillende soorten licht, of het nu gaat om een brede hemel, een enkele puntlamp of een groot gloeiend paneel. Het systeem zet al deze verschillende lichtbronnen om in een gemeenschappelijke taal van lichtstralen, waardoor het ze uniform kan afhandelen.

Een van de meest significante mogelijkheden van dit nieuwe systeem is dat het progressief editen mogelijk maakt. Omdat het systeem werkt op de gecomprimeerde samenvatting in plaats van de uiteindelijke afbeelding, kan een gebruiker een verlichtingsscène stap voor stap op te bouwen. Ze kunnen beginnen met een basisomgeving, een hoofdlicht toevoegen en dan een invullicht toevoegen, waarbij elke stap dezelfde onderliggende samenvatting wijzigt. Het systeem onthoudt de wijzigingen die in de vorige stap zijn aangebracht, zodat de gebruiker niet opnieuw hoeft te beginnen of de hele scène opnieuw hoeft te berekenen voor elke nieuwe toevoeging. Dit creëert een vloeiende workflow waarbij verlichting stapsgewijs kan worden ontworpen, vergelijkbaar met het toevoegen van ingrediënten aan een gerecht, terwijl een consistente look vanuit elke hoek behouden blijft.

De onderzoekers testten hun systeem op duizenden 3D-objecten, variërend van eenvoudige vormen tot complexe modellen met glanzende en transparante oppervlakken. Ze ontdekten dat hun methode afbeeldingen produceerde die even scherp en accuraat waren als de beste bestaande technieken, en in veel gevallen zelfs superieur. Wanneer ze hun resultaten vergeleken met andere methoden die vertrouwen op het raden van de uiteindelijke afbeelding of die proberen de fysica te reverse-engineeren, vertoonde LumiTokens minder fouten in de manier waarop het licht met het object interageerde. Het vermeed veelvoorkomende fouten zoals inconsistente schaduwen of verlichting die er anders uitzag afhankelijk van de camerahoek. Het systeem was in staat om slechts een handvol foto's van een object te nemen en dit opnieuw te verlichten onder omstandigheden die het nog nooit eerder had gezien, waarbij resultaten werden geproduceerd die fysiek plausibel oogden.

Dit werk suggereert een nieuwe weg vooruit voor het creëren van 3D-assets voor films, videogames en virtual reality. Door af te stappen van de noodzaak om fysieke materialen expliciet te definiëren of zware fysica-simulaties uit te voeren, hebben de onderzoekers aangetoond dat verlichting kan worden behandeld als een directe transformatie van de digitale essentie van een scène. Het systeem beweert niet de fysica van het licht te begrijpen zoals een menselijke fysicus dat doet, maar het heeft geleerd de visuele uitkomst zo effectief na te bootsen dat het verschil onzichtbaar is voor het oog. Deze aanpak biedt een snellere, flexibelere manier om digitale objecten in nieuwe werelden te brengen, waardoor makers de stemming en atmosfeer van een scène kunnen aanpassen met een niveau van controle dat voorheen moeilijk te bereiken was.

Technische Samenvatting: LumiTokens: 3D Relighting via Token-Space Lighting Transformation

Probleemstelling

3D relighting—het vermogen om een gereconstrueerde scène te renderen onder een willekeurige doelverlichting—is een cruciale stap voor het inzetten van 3D-assets in praktische toepassingen zoals filmproductie, videogames en e-commerce. Bestaande benaderingen voor dit probleem vallen over het algemeen uiteen in drie categorieën, die elk aanzienlijke trade-offs met zich meebrengen:

Inverse Rendering: Deze methoden herstellen expliciete 3D-representaties (geometrie, normalen, albedo, ruwheid) en evalueren opnieuw de rendering-vergelijkingen. Hoewel ze multi-view consistent zijn, vereisen ze dichte captures, kostbare optimalisatie per scène en worden ze beperkt door de expressiviteit van hun gekozen BRDF-modellen.
Diffusion-Based Generation: Deze methoden maken gebruik van diffusiemodellen als verschijningsvoorbeelden (appearance priors) om herbelichte views te synthetiseren. Hoewel ze realistische effecten produceren, opereren ze doorgaans in view-space of video-space zonder een gedeelde, persistente scène-representatie. Bijgevolg vereist elke verandering in verlichting een volledige generatieve pass, en lichtbewerkingen kunnen niet accumuleren.
Hybride Benaderingen: Deze combineren feed-forward geometrie-codering met generatieve verschijningssynthese. Hoewel ze per-scène optimalisatie vermijden, vertrouwen ze nog steeds op expliciete 3D-parameterisaties (zoals 3DGS) en generatieve takken die voor elke nieuwe lichtconditie opnieuw moeten worden uitgevoerd.

Een gemeenschappelijke beperking van alle bestaande paradigma's is dat lichtbewerkingen niet worden onderhouden als incrementele updates aan een persistente scène-representatie. Dit artikel merkt op dat recente latente scène-representaties, die multi-view afbeeldingen coderen in compacte tokens zonder vaste fysieke semantiek, een nieuw ontwerpgebied bieden waar relighting kan worden geformuleerd als een directe transformatie in de latente ruimte.

Methodologie

De auteurs stellen LumiTokens voor, een op transformer gebaseerd framework dat 3D relighting volledig uitvoert binnen een geleerde latente token-ruimte, waarbij expliciete 3D-representaties, rendering-vergelijkingen en physics-gebaseerde decompositie worden omzeild.

Architectuur Overzicht

Het framework bestaat uit drie hoofdonderdelen:

Encoder: Een transformer die een ijle set geposte multi-view inputafbeeldingen (en hun Plücker ray embeddings) in kaart brengt naar een compacte, vaste set 1D ongestructureerde scène-tokens ( $z$ ).
Scene Token Editor: Een transformer-module die de relighting-operatie uitvoert. Deze neemt de scène-tokens ( $z$ ) en een set lichtstraal-tokens ( $\ell$ ) als input. Door middel van self-attention verwerkt de editor de scène- en licht-tokens gezamenlijk om geüpdatete scène-tokens ( $z'$ ) te produceren. Cruciaal is dat de output in dezelfde latente ruimte blijft als de input, wat persistent bewerken mogelijk maakt.
Decoder: Een ray-geconditioneerde transformer die novel views rendert vanuit de scène-tokens. Het gebruikt een DPT-head om output-tokens te herassembleren tot dichte, hoog-resolutie afbeeldingen, wat zorgt voor scherpe texturen en hoogfrequente details.

Lichtsignaal Tokenisatie

Om diverse typen verlichting via een uniforme interface te ondersteunen, worden alle lichtsignalen geparametriseerd als Plücker ray tokens. De illuminatie wordt gediscretiseerd in een collectie lichtstralen gesampled vanaf de bron richting de scène. Elk licht-token wordt gedefinieerd door zijn ray-geometrie (Plücker-coördinaten), spectrale intensiteit en radiante kracht. Deze uniforme representatie accommodeert:

Environment Maps: Gemodelleerd als directionele stralen met een zero moment.
Point Lights: Gemodelleerd als stralen die origineren vanuit een specifieke 3D-positie.
Area Lights: Gemodelleerd als stralen gesampled over een emitterend oppervlak.

Deze tokenisatie maakt natuurlijke 3D-interactie mogelijk (bijv. het plaatsen van een puntlicht op een specifieke coördinaat), ondanks dat de latente ruimte geen expliciete ruimtelijke structuur heeft.

Progressieve Relighting

Een kernkenmerk van LumiTokens is progressieve relighting. Omdat de output van de editor ( $z'$ ) in dezelfde latente ruimte blijft als de input ( $z$ ), kunnen gebruikers stapsgewijs de illuminatie opbouwen met één lichtbron tegelijk. Het bewerkingsproces volgt een recursie:
$z^{(s)} = T(z^{(s-1)}, \ell^{(s)})$
waarbij $z^{(s)}$ de staat van de scène is na $s$ bewerkingen. Dit staat toe dat lichtbewerkingen in de token-ruimte componeren zonder dat her-encoding, her-evaluatie van rendering-vergelijkingen of regeneratie van views bij elke stap nodig is.

Trainingsdoelstellingen

Het model wordt getraind door de encoder en de Scene Token Editor gezamenlijk te optimaliseren, terwijl een pre-trained decoder bevroren blijft. De trainingsverliesfunctie combineert:

Rendering Loss ( $\mathcal{L}_{render}$ ): Een combinatie van pixel-wise $\ell_2$ loss en LPIPS perceptuele loss, die de gedecodeerde output superviseert tegen grondwaarheid (ground-truth) herbelichte afbeeldingen. Om progressieve bewerking te ondersteunen, wordt het model getraind op willekeurige ketens van lichtsignalen, waarbij de loss op elke stap in de sequentie wordt toegepast om distributieve drift te voorkomen.
Lighting Invariance Loss ( $\mathcal{L}_{inv}$ ): Deze loss straft verschillen af in de gecodeerde tokens wanneer dezelfde scène onder verschillende bron-illuminaties wordt vastgelegd. Dit moedigt de encoder aan om effecten van de bronverlichting weg te filteren, zodat de scène-tokens een persistente identiteit (geometrie en materialen) vastleggen, terwijl de editor de lichtafhankelijke variaties afhandelt.

Belangrijkste Bijdragen

Latent Token Relighting: Het artikel demonstreert dat 3D relighting kan worden uitgevoerd als een directe transformatie in een geleerde latente token-ruimte, waardoor de noodzaak voor expliciete 3D-representaties, rendering-vergelijkingen of physics-gebaseerde decompositie vervalt.
Scene Token Editor: De introductie van een transformer-module die relighting uitvoert via self-attention tussen scène-tokens en Plücker ray-tokens. Dit ondersteunt een uniforme interface voor environment maps, puntlichten en area lights, wat natuurlijke 3D-interactie mogelijk maakt.
Progressieve en Composable Editing: De formulering ondersteunt progressieve relighting waarbij lichtbewerkingen in de token-ruimte componeren. Dit maakt incrementele lichtontwerp mogelijk, een capaciteit die bestaande paradigma's alleen kunnen bereiken door volledige herberekening bij elke stap.

Experimentele Resultaten

De auteurs evalueren LumiTokens op een grootschalige synthetische dataset (20k objecten uit Objaverse) en vergelijken het met state-of-the-art methoden.

Multi-view Relighting: LumiTokens bereikt superieur kwantitatief resultaat vergeleken met diffusion-gebaseerde baselines (Neural Gaffer, DiffusionRenderer, LightSwitch) in termen van PSNR, SSIM en LPIPS. Het behoudt verschijning en lichteffecten consistent over verschillende views, terwijl baselines artefacten vertonen zoals residu van de bronverlichting en inconsistente highlights.
Novel-view Relighting: Wanneer geëvalueerd op ongeziene standpunten, presteert LumiTokens beter dan inverse rendering methoden (TensoIR, NVDiffrecMC) en de multi-view diffusion methode (LightSwitch). Opvallend genoeg bereikt LumiTokens deze resultaten met aanzienlijk minder input-views (8) vergeleken met de inverse rendering baselines (50 views) en de diffusion baseline LightSwitch (16 views).
Kwalitatieve Prestaties: Visuele vergelijkingen tonen aan dat LumiTokens complexe verlichtingsscenario's succesvol afhandelt, inclusioneel inter-object schaduwen en reflecties, en de progressieve toevoeging van lichtbronnen ondersteunt (bijv. het toevoegen van een environment map, gevolgd door een puntlicht, en dan een area light) met hoge getrouwheid.

Betekenis en Claims

Het artikel claimt dat LumiTokens een fundamentele verschuiving in relighting-paradigma's vertegenwoordigt. Door relighting te behandelen als een transformatie op latente scène-tokens in plaats van een decompositie- of generatieprobleem, bereikt de methode:

Persistentie: Lichtbewerkingen accumuleren in een herbruikbare scène-staat zonder regeneratie.
Efficiëntie: Het vermijdt de computationele kosten van per-scène optimalisatie of volledige diffusion passes voor elke lichtverandering.
Flexibiliteit: Het ondersteunt diverse typen verlichting en progressieve bewerking via een uniforme token-interface.

De auteurs merken op dat hoewel eerder werk latente tokens heeft gebruikt voor view-synthese, dit het eerste werk is dat aantoont dat dergelijke representaties relighting kunnen ondersteunen via directe, composabele transformaties in de token-ruimte. De aanpak adresseert de uitdaging om coherente lichttransformaties te behouden in een ruimte waar geometrie en verschijning verstrengeld zijn, wat een nieuwe vorm van interactieve 3D-bewerking mogelijk maakt.