💻 computer science

ReLi3D: Relightable Multi-view 3D Reconstruction with Disentangled Illumination

ReLi3D introduceert de eerste end-to-end pipeline die binnen één seconde complete, belichtbare 3D-assetten met geometrie, materialen en verlichting reconstrueert uit enkele meerkleurige beelden door multi-view beperkingen te benutten voor het ontkoppelen van verlichting en materiaal.

Oorspronkelijke auteurs: Jan-Niklas Dihlmann, Mark Boss, Simon Donne, Andreas Engelhardt, Hendrik P. A. Lensch, Varun Jampani

Gepubliceerd 2026-03-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jan-Niklas Dihlmann, Mark Boss, Simon Donne, Andreas Engelhardt, Hendrik P. A. Lensch, Varun Jampani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

ReLi3D: De Magische 3D-Fotograaf die Licht en Materiaal Scheidt

Stel je voor dat je een foto maakt van een glimmende, gouden trofee in een donkere kamer. Als je die foto naar een computer geeft, is het voor de machine een raadsel: Is het object goud omdat het van echt goud is gemaakt, of is het gewoon een goedkoop plastic poppetje dat verlicht wordt door een fel licht? Of misschien is het een mat object dat door een heel sterk licht wordt beschenen?

Vroeger moesten computers dit raadsel oplossen door eerst de vorm te tekenen, dan te raden welk materiaal het is, en daarna te proberen het licht te achterhalen. Dit was als het proberen te bouwen van een huis terwijl je eerst de muren moet metselen, dan pas de verf moet kiezen, en tot slot de lampen moet ophangen. Het duurde lang en het resultaat zag er vaak raar uit.

ReLi3D is een nieuwe, slimme uitvinding die dit alles in één keer doet, en dat in minder dan een seconde. Het is alsof je een foto maakt en de computer direct een volledig, 3D-bouwpakket teruggeeft dat je overal kunt verplaatsen en opnieuw kunt belichten.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het Grote Raadsel: Licht vs. Materiaal

Het grootste probleem bij het maken van 3D-modellen uit foto's is dat licht en materiaal vaak door elkaar lopen.

De Analogie: Denk aan een witte muur. Als je er een fel oranje lamp op schijnt, lijkt de muur oranje. Als je er een oranje verf op plakt, is de muor ook oranje. Voor een computer is het bijna onmogelijk om te weten of het de verf of het licht is, als je maar één foto hebt.
De Oplossing van ReLi3D: ReLi3D kijkt niet naar één foto, maar naar meerdere foto's tegelijk (van verschillende hoeken). Het is alsof je rond het object loopt. Als je ziet dat het "oranje" op de muur verandert terwijl je beweegt, weet je: "Aha, dat is het licht!" Als het oranje blijft, weet je: "Dat is de verf!" Door meerdere hoeken te combineren, lost ReLi3D dit raadsel op.

2. De Twee Sporen (Het Twee-Track Systeem)

ReLi3D gebruikt een slimme architectuur die werkt als een tweesporig treinnetwerk:

Spoor 1 (Het Bouwvakker): Deze trein kijkt naar de foto's en bouwt direct het skelet (de vorm) en de huid (het materiaal) van het object. Het leert precies hoe ruw, glanzend of metaalachtig het oppervlak is op elke kleine plek.
Spoor 2 (De Lichtmeester): Deze trein kijkt naar de achtergrond en de reflecties op het object om te achterhalen waar het licht vandaan komt. Het maakt een "lichtkaart" (een HDR-omgeving) die beschrijft hoe de wereld eromheen eruitziet.

Deze twee treinen communiceren voortdurend met elkaar. Als de Bouwvakker denkt dat een plek glanzend is, maar de Lichtmeester zegt "er is daar geen licht", dan passen ze hun verhaal aan tot het klopt.

3. De "Magische" Oefening: Het Trainen

Om dit systeem slim te maken, hebben de makers het getraind met een speciale methode.

De Analogie: Stel je voor dat je een kunstenaar traint. Je geeft hem eerst tekeningen van kunstmatige objecten (waar je precies weet hoe ze eruitzien) en daarna echte foto's van de wereld (waar je dat niet weet).
ReLi3D gebruikt een differentieerbare Monte Carlo-renderer. Klinkt ingewikkeld, maar het is simpel: het is een simulator die het licht fysiek correct berekent. Het dwingt het systeem om te leren dat licht en materiaal zich moeten gedragen zoals in de echte natuurkunde. Als het systeem een fout maakt (bijvoorbeeld: het licht is te fel voor dat materiaal), "voelt" de simulator het en corrigeert het systeem zichzelf.

4. Waarom is dit geweldig?

Vroeger duurde het maken van zo'n 3D-object minuten of zelfs uren, en het resultaat kon vaak niet opnieuw worden verlicht zonder dat het er raar uitzag.

Snelheid: ReLi3D doet dit in 0,3 seconden. Dat is sneller dan het knipperen van je oog.
Flexibiliteit: Omdat het het licht en het materiaal heeft gescheiden, kun je het object later in een andere kamer zetten. Het gouden trofee ziet er dan nog steeds goud uit, maar het licht valt er nu anders op, waardoor er nieuwe schaduwen en reflecties ontstaan.
Realisme: Het werkt zelfs met echte, rommelige foto's uit de echte wereld, niet alleen met perfecte computerfoto's.

Samenvattend

ReLi3D is als een super-snelle, slimme assistent die een foto bekijkt en zegt: "Ik zie een object van roestig ijzer in een zonnige tuin. Hier is het 3D-model, hier is het roestige materiaal, en hier is de zon. Je kunt het nu verplaatsen naar een regenachtige stad, en het ijzer zal nat en glanzend lijken, terwijl de roest er nog steeds echt uitziet."

Het is een grote stap voorwaarts in het maken van 3D-inhoud voor games, films, en virtual reality, omdat het de barrière tussen "een foto maken" en "een werkend 3D-object hebben" volledig wegneemt.

Probleemstelling

Het reconstrueren van product-ready 3D-assets uit afbeeldingen is een complex probleem. Bestaande methoden vereisen vaak gescheiden pijplijnen voor geometrie-reconstructie, materiaalschatting en verlichtingsherstel, wat leidt tot hoge rekenkosten en beperkingen.

Het fundamentele probleem: Het scheiden van materiaal eigenschappen (zoals albedo, ruwheid) van verlichtingseffecten is een "ill-posed" probleem voor single-image methoden. Dezelfde 2D-uitstraling kan voortkomen uit talloze combinaties van oppervlakte-reflectie en verlichting.
Beperkingen van bestaande werken:
- Generatieve modellen (Diffusion): Bereiken hoge geometrische kwaliteit maar zijn traag in inferentie en lijden onder hallucinaties.
- Directe reconstructiemodellen (LRMs zoals SF3D, TripoSR): Zijn snel, maar voorspellen vaak slechts globale materiaaleigenschappen (geen ruimtelijk variërende materialen) en missen verlichtingsschatting. Ze optimaliseren vaak voor single-view reconstructie, waardoor materiaal-verlichting disentanglement onoplosbaar blijft.

Methodologie: ReLi3D

ReLi3D is de eerste end-to-end pijplijn die binnen één seconde volledige 3D-geometrie, ruimtelijk variërende PBR-materialen (Physically Based Rendering) en HDR-omgevingsverlichting reconstrueert vanuit een willekeurig aantal input-beelden.

Kerninzicht:
Multi-view constraints (meerdere perspectieven) bieden de ontbrekende beperkingen om materiaaleigenschappen te scheiden van verlichtingseffecten. Wanneer meerdere observaties hetzelfde oppervlak zien onder dezelfde verlichting, wordt de oplossingsruimte ingeperkt.

Architectuur:
De aanpak gebruikt een uniek twee-paden strategie die wordt aangedreven door een gedeelde cross-conditioning transformer:

Cross-view Feature Fusion:
- Een transformer verwerkt een willekeurig aantal input-beelden.
- Eén "hero view" dient als query-stream, terwijl andere views via een "latent mixing" mechanisme worden gefuseerd tot een compacte memory.
- Dit resulteert in een uniforme Triplane-representatie ( $3 \times C \times H \times W$ ) die consistent is over alle perspectieven.
Pad 1: Geometrie & Verschijning (Geometry + Appearance Path):
- Voorspelt de mesh-structuur en ruimtelijk variërende BRDF-parameters (albedo, ruwheid, metallic, normaal) direct uit de gedeelde triplane.
- Gebruikt Flexicubes voor hoogwaardige mesh-extractie en snelle UV-unwrapping voor textuur.
Pad 2: Omgevingsverlichting (Illumination Path):
- Voorspelt een HDR-omgeving (RENI++ latent code) door mask-aware tokens te fuseren.
- Dual-mode training: Het netwerk wordt getraind met stochastische achtergrondmaskering. Soms is de achtergrond zichtbaar (directe verlichting), soms gemaskeerd (verlichting moet worden afgeleid uit reflecties op het object). Dit maakt het robuust voor real-world scènes waar achtergronden vaak onvolledig zijn.
Disentangled Training via MC+MIS:
- Een differentieerbare Monte Carlo (MC) renderer met Multiple Importance Sampling (MIS) koppelt beide paden.
- Deze renderer dwingt fysiek betekenisvolle disentanglement af: de voorspelde materialen en verlichting moeten samen de waargenomen afbeeldingen verklaren via fysieke lichttransport.
- Dit maakt mixed-domain training mogelijk: het model leert op synthetische PBR-data (met ground truth) én real-world RGB-captures (zonder ground truth), wat generalisatie garandeert.

Belangrijkste Bijdragen

Eerste Unified Feed-forward Pijplijn: ReLi3D is het eerste systeem dat geometrie, ruimtelijk variërende PBR-materialen en HDR-verlichting simultaan voorspelt in interactieve snelheid (< 1 seconde).
Multi-view Disentanglement: Het bewijst dat multi-view constraints het fundamentele ill-posed probleem van materiaal-verlichting scheiding oplossen, wat single-view methoden niet kunnen.
Novel Architectuur: De combinatie van cross-conditioning transformers, een twee-paden voorspelling en een differentieerbare MC+MIS renderer.
Mixed-Domain Training: Een trainingsprotocol dat synthetische data en real-world captures combineert via image-space self-supervision, wat leidt tot robuuste prestaties in de echte wereld.

Resultaten

ReLi3D werd geëvalueerd op diverse datasets (synthetisch en real-world, o.a. Stanford ORB, UCO3D, Google Scanned Objects) en vergeleken met state-of-the-art methoden zoals SF3D, SPAR3D, 3DTopia-XL en Hunyuan3D.

Snelheid: ReLi3D is extreem snel (~0.3s per reconstructie), wat 100x sneller is dan generatieve methoden zoals Hunyuan3D.
Materiaalkwaliteit: ReLi3D voorspelt volledig ruimtelijk variërende materialen. Op de PSNR-maatstaf voor albedo scoort het 25.00 dB (vs 18.42 dB voor SF3D).
Relighting: Het model kan objecten overtuigend opnieuw belichten in nieuwe omgevingen. Zelfs wanneer concurrenten de ground-truth verlichting als input krijgen, presteert ReLi3D beter in relighting-metrics.
Multi-view Voordeel: Het toevoegen van meer views (van 1 tot 16) verbetert de kwaliteit aanzienlijk, vooral in het oplossen van ambiguïteiten in onzichtbare gebieden en het nauwkeurig schatten van lichtbronnen.
Robuustheid: Het model werkt goed op real-world data met bewegingsonscherpte, imperfecte maskers en complexe belichting, waar andere methoden vaak falen of artefacten produceren.

Betekenis en Impact

ReLi3D markeert een doorbraak in 3D-vision door de kloof tussen snelle reconstructie en fysiek accurate, opnieuw belichtbare assets te overbruggen.

Industriële Toepassing: Het stelt ontwerpers en ontwikkelaars in staat om direct vanuit foto's of video's productie-klaar 3D-materiaal te genereren voor games, VR/AR en robotica.
Wetenschappelijke Vooruitgang: Het bewijst dat multi-view constraints de sleutel zijn tot het oplossen van inverse rendering-problemen zonder dure iteratieve optimalisatie.
Open Source: De auteurs publiceren code, gewichten en dataset-scripts om de adoptie en reproduceerbaarheid te stimuleren.

Kortom, ReLi3D transformeert de 3D-reconstructie van een traag, gespecialiseerd proces naar een snelle, robuuste en fysiek accurate tool die direct toepasbaar is in real-world scenario's.