💻 computer science

Lumos3D: A Single-Forward Framework for Low-Light 3D Scene Restoration

Lumos3D is een nieuw pose-vrij, single-forward framework dat 3D-scènes herstelt uit ongeposeerde, zwak verlichte multi-view afbeeldingen door gebruik te maken van cross-illumination distillatie en een gespecialiseerde verliesfunctie, waardoor de noodzaak voor per-scène optimalisatie wordt geëlimineerd terwijl het concurrerende resultaten behaalt.

Oorspronkelijke auteurs: Hanzhou Liu, Peng Jiang, Jia Huang, Mi Lu

Gepubliceerd 2026-08-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hanzhou Liu, Peng Jiang, Jia Huang, Mi Lu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een foto van een kamer te maken in het donker, om er vervolgens achter te komen dat de resulterende afbeelding zo korrelig en vaag is dat je niet kunt zien waar de muren ophouden of het meubilair begint. Stel je nu voor dat je probeert een volledige, driedimensionale kaart van diezelfde kamer te maken met behulp van alleen die kwalitatief slechte foto's. Dit is de uitdaging waarmee onderzoekers worden geconfronteerd wanneer zij proberen 3D-scènes te reconstrueren vanuit foto's met weinig licht. Jarenlang vertrouwden de meest succesvolle methoden voor het creëren van deze digitale 3D-werelden op het weten waar de camera precies stond voor elke afzonderlijke foto, om vervolgens uren of zelfs dagen te besteden aan het verfijnen van het computermodel voor elke specifieke kamer. Hoewel deze aanpak goed werkt in gecontroleerde omgevingen, is het te traag en te rigide voor echt wereldgebruik, waarbij de verlichting vaak slecht is en camerastandpunten onbekend zijn. Het doel is al lang het creëren van een systeem dat een verzameling donkere, ongeorganiseerde foto's kan bekijken en direct de vorm en verlichting van de scène begrijpt, zonder dat daarvoor de details voor die specifieke locatie berekend hoeven te worden.

Een team van onderzoekers heeft nu een nieuwe methode geïntroduceerd genaamd Lumos3D die dit probleem rechtstreeks aanpakt. In plaats van elke nieuwe donkere kamer te behandelen als een unieke puzzel die een op maat gemaakte oplossing vereist, werkt hun systeem als een enkele, krachtige snapshot. Het neemt een verzameling foto's met weinig licht vanuit verschillende hoeken en genereert in één snelle passage een hoogwaardige 3D-representatie van de scène. Het systeem hoeft vooraf niet te weten waar de camera's gepositioneerd waren, noch hoeft het opnieuw getraind of aangepast te worden voor elke nieuwe omgeving. Het kijkt simpelweg naar de donkere input en geeft een hersteld, helder en geometrisch accuraat 3D-model output. Deze verschuiving van een traag, op maat gemaakt proces naar een snel, universeel proces markeert een belangrijke stap naar het praktisch bruikbaar maken van 3D-scène-reconstructie voor dagelijks gebruik.

De kern van deze prestatie ligt in de manier waarop de onderzoekers de computer hebben geleerd om in het donker te zien. Ze gebruikten een techniek genaamd "distillatie", wat kan worden beschouwd als een meester-gezelrelatie. Ze creëerden een "leraar"-netwerk dat al had geleerd om perfecte, goed verlichte beelden te begrijpen. Deze leraar was vastgezet, wat betekende dat deze niets nieuws kon leren, maar diende als een betrouwbare bron van waarheid over hoe objecten er in goed licht uitzien. Het "leerling"-netwerk, dat het deel van het systeem is dat daadwerkelijk de donkere foto's verwerkt, werd vervolgens getraind om de kennis van de leraar over vormen en diepte na te bootsen, ook al keek de leerling naar veel minder kwalitatieve afbeeldingen. Door de leerling te dwingen zijn vermoedens over de geometrie van de scène af te stemmen op de kennis van de leraar over de scène in normaal licht, leerde het systeem de verwarrende ruis van de duisternis te negeren en zich te concentreren op de ware structuur van de wereld.

Om te garanderen dat het eindresultaat niet slechts een gok was maar een reconstructie met hoge getrouwheid, hebben de onderzoekers ook een gespecialiseerde set regels, of "loss functions", ontwikkeld om de training te begeleiden. Deze regels controleerden het werk op drie verschillende niveaus. Ten eerste zorgden ze ervoor dat de algemene vormen en objecten er juist uitzagen. Ten tweede controleerden ze of de individuele pixels in de gegenereerde afbeeldingen overeenkwamen met de helderheid en kleur van een echte, goed verlichte foto. Ten derde, en misschien wel het belangrijkste, verifieerden ze dat de 3D-structuur consistent bleef vanuit alle verschillende hoeken, om er zeker van te zijn dat de virtuele kamer niet vervormde of uit elkaar viel wanneer deze vanuit verschillende zijden werd bekeken. Deze meerlaagse aanpak stelde het systeem in staat om resultaten te produceren die niet alleen helderder waren, maar ook structureel solide.

Bij tests op echte datasets demonstreerde het systeem zijn vermogen om te concurreren met methoden die veel langer nodig hebben om resultaten te produceren. Hoewel andere benaderingen die uren aan specifieke afstemming voor elke scène vereisen, in sommige nauwe metrieken iets hogere scores kunnen behalen, bereikte Lumos3D een vergelijkbare visuele kwaliteit in een fractie van de tijd, zonder enige noodzaak voor aanpassingen per scène. De onderzoekers ontdekten ook dat het systeem robuust genoeg was om andere soorten slechte verlichting aan te kunnen, zoals scènes die te licht of overbelicht waren, wat suggereert dat de onderliggende logica sterk genoeg is om diverse uitdagingen op het gebied van verlichting aan te kunnen. Door te bewijzen dat een enkel, snel proces 3D-scènes uit slechte verlichting kan herstellen zonder voorafgaande kennis van de camerastandpunten, opent dit werk de deur naar real-time toepassingen waar 3D-begrip direct nodig is, ongeacht hoe donker of licht de omgeving ook is.

Technische Samenvatting: Lumos3D

Probleemstelling

Het herstellen van 3D-scènes die zijn vastgelegd onder omstandigheden met weinig licht is een aanzienlijke uitdaging in computer vision. Bestaande benaderingen vertrouwen doorgaans op Neural Radiance Fields (NeRF) of 3D Gaussian Splatting (3DGS) die zijn aangepast voor uitdagende verlichting. Deze methoden vereisen echter over het algemeen vooraf berekende camerapozen en per-scène optimalisatie. Deze afhankelijkheden beperken hun toepasbaarheid in reële scenario's ernstig, waardoor het moeilijk is om te generaliseren naar onbekende omgevingen of om nieuwe 3D-scènes in een real-time, feed-forward manier te herstellen. Bovendien is de uitbreiding van single-forward 3D-reconstructiemethoden (bijv. DUSt3R, VGGT, AnySplat) naar restauratie bij weinig licht nog niet verkend.

Methodologie

De auteurs stellen Lumos3D voor, een pose-vrij, single-forward framework ontworpen om zowel verlichting als structuur te herstellen uit ongeposeerde, low-light multi-view beelden zonder per-scène training of optimalisatie.

1. Architectuur Overzicht

Lumos3D maakt gebruik van VGGT als geometrische backbone. De pipeline werkt als volgt:

Input: Multi-view low-light beelden ( $\tilde{I}$ ).
Feature Extractie: Het netwerk extraheert geometrie-bewuste features om per-view poses, depth maps en point maps te schatten.
3D Representatie: Deze schattingen worden getransformeerd naar pixel-wise Gaussian primitives, die vervolgens differentiabel gevoxeliseerd worden om voxel-wise Gaussian primitives te produceren.
Output: Het systeem reconstrueert de 3D Gaussian scène en rendert hoogwaardige RGB-beelden in een enkele forward pass.

2. Cross-Illumination Distillatie

Om het gebrek aan geometrische aanwijzingen in beelden met weinig licht aan te pakken, introduceren de auteurs een teacher-student framework:

Teacher Network: Een bevroren netwerk dat getraind is op normal-light ground-truth beelden. Het biedt stabiele, geometrie-rijke en illuminatie-invariante supervisie.
Student Network: Een trainbaar netwerk dat direct opereert op low-light context beelden.
Mechanisme: De student leert de voorspellingen van de teacher te benaderen (specifiek camera poses en depth) ondanks de degradatie in zichtbaarheid. Hierdoor kan de student de structurele redeneer-capaciteiten erven terwijl hij zich aanpast aan de omstandigheden met weinig licht.
Distillatie Verlies ( $\mathcal{L}_{distill}$ ): Combineert Huber loss voor pose alignment en MSE voor depth alignment tussen de low-light voorspellingen van de student en de normal-light pseudo-ground-truth van de teacher.

3. Lumos Loss

Om de kwaliteit van de restauratie binnen de gereconstrueerde 3D Gaussian ruimte te verbeteren, is een uniforme Lumos Loss gedefinieerd, bestaande uit drie componenten:

Content Loss ( $\mathcal{L}_{content}$ ): Zorgt voor hoge-niveau semantische consistentie door tussenliggende VGG-features van de gerenderde beelden te vergelijken met de normal-light ground truth.
Image-Level Loss ( $\mathcal{L}_{image}$ ): Een standaard $\ell_1$ loss die pixel-wise nauwkeurigheid afdwingt tussen de gerenderde en de ground-truth beelden.
Voxel-Level Loss ( $\mathcal{L}_{voxel}$ ): Dwingt geometrische coherentie af over multi-view observaties. Het projecteert multi-view 2D features terug naar een gedeelde 3D voxel grid en stemt de gemiddelde en variantie statistieken van deze gevoxeliseerde features af tussen de student- en de teacher-branches.

Het totale trainingsdoel combineert reconstructieverlies, distillatieverlies en de Lumos loss.

Belangrijkste Bijdragen

Eerste Single-Forward Low-Light Framework: Lumos3D is de eerste methode die single-forward 3D-reconstructie uitbreidt naar low-light restauratie, waardoor per-scène optimalisatie wordt geëlimineerd.
Cross-Illumination Distillatie: Een innovatieve strategie waarbij een bevroren teacher netwerk op normal-light data een student netwerk op low-light data begeleidt, wat een duidelijkere geometrische sturing biedt dan enkel te distilleren van low-light inputs alleen.
Lumos Loss: Een samengestelde verliesfunctie die illuminatie-bewuste structurele stabiliteit reguleert op content-, image- en voxel-niveau.
Generalisatie: Het framework is getraind op een enkele dataset (DL3DV) met synthetische degradaties, maar voert inferentie uit op real-world ongeposeerde low-light data zonder fine-tuning.

Experimentele Resultaten

De methode is geëvalueerd op de LOM dataset (scènes: bike, buu, chair, sofa) en vergeleken met scene-specifieke methoden zoals Aleth-NeRF en Luminance-GS.

Kwantitatieve Prestaties: Lumos3D behaalt over het algemeen competitieve resultaten. Met name op de sofa scène bereikte het een PSNR van 22.21 dB en een SSIM van 0.848, waarmee het beide baselines versloeg. Op de chair scène behaalde Lumos3D een PSNR van 17.82 dB, wat lager is dan de best presterende baseline, Luminance-GS (18.58 dB), hoewel het het voordeel behoudt van single-forward inferentie snelheid.
Ablatie Studies:
- Distillatie Target: Het gebruik van normal-light ground truth voor distillatie leverde nauwkeurigere depth schattingen en schonere 3D reconstructies op vergeleken met low-light distillatie, ondanks een marginale trade-off in ruwe PSNR.
- Loss Componenten: De volledige combinatie van content, image en voxel losses leverde de beste prestaties op (19.76 dB PSNR op de ablation set), wat aantoont dat elke component de reconstructiekwaliteit incrementeel verbetert.
Over-Exposure Extensie: Het paper demonstreert dat het framework generaliseert naar over-exposure restauratie zonder fine-tuning, waarbij het indrukwekkende prestaties levert op high-exposure scènes.

Betekenis en Claims

De auteurs positioneren Lumos3D als een fundamentele stap richting schaalbare, optimalisatie-vrije 3D scène-restauratie. Door de afhankelijkheid van vooraf berekende poses en per-scène fitting te verwijderen, maakt het framework de restauratie van 3D-scènes uit ongeposeerde inputs mogelijk op een real-time, feed-forward manier. Het paper claimt dat deze aanpak een nieuwe basis legt voor geünificeerde en real-time relighting systemen, die niet alleen low-light maar ook andere uitdagende illuminatiecondities zoals over-exposure kunnen afhandelen, terwijl ze een geometrische nauwkeurigheid en visuele kwaliteit behouden die competitief is met gespecialiseerde, scene-specifieke methoden.