Fast Low-light Enhancement and Deblurring for 3D Dark Scenes

FLED-GS is een nieuw, snel framework dat 3D-scènes met weinig licht, ruis en bewegingsonscherpte herstelt door een cyclisch proces van versterking en reconstructie te gebruiken, waardoor het aanzienlijk sneller is dan bestaande methoden zoals LuSh-NeRF.

De kern

Stel je voor dat je 's nachts een foto maakt met je telefoon. Het is donker, je hand trilt een beetje en de foto komt eruit als een wazige, korrelige rommel. Nu, probeer je met die ene slechte foto een compleet 3D-model van de kamer te maken, zodat je er virtueel doorheen kunt lopen. Dat is eigenlijk wat dit papier doet, maar dan veel geavanceerder.

De auteurs van dit paper hebben een nieuwe manier bedacht om dit probleem op te lossen, genaamd FLED-GS. Hier is hoe het werkt, vertaald naar alledaagse taal:

Het Probleem: De "Slechte Koffie"

Stel je voor dat je een kopje koffie hebt dat koud, vies en vol met zand is. Je wilt er een heerlijke, warme, schone kop van maken.

• De oude manier: Je probeert alles in één keer te doen. Je giet er heet water bij (verhogen van de helderheid), maar dan wordt het zand (ruis) ook heet en explosief. Je probeert het zout (wazigheid) eruit te halen, maar door het zout te verwijderen, verdwijnt ook de smaak (details). Het resultaat is vaak nog steeds een rotte kop koffie.
• Het probleem in 3D: Als je dit doet met 3D-modellen, krijg je een model dat eruitziet alsof het uit een droom is gehaald: wazig, korrelig en onherkenbaar.

De Oplossing: De "Trap van Licht"

FLED-GS doet iets heel slim: in plaats van van "donker" direct naar "helder" te springen, bouwen ze een trap.

1. De Tussenstappen (Ankers): Ze maken een paar tussenliggende niveaus van helderheid. Het is alsof je de koffie eerst een beetje opwarmt, dan nog een beetje, en pas op het einde heet maakt. Hierdoor wordt het "zand" (de ruis) niet ineens te heet en oncontroleerbaar.
2. De Dans van Verbetering: Ze laten twee specialisten met elkaar dansen:
   • De Slijper (Deblurring): Deze maakt de wazige foto's scherper.
   • De 3D-Bouwer: Deze bouwt het 3D-model op basis van die scherpere foto's.
   • De Ruis-Filter: Deze kijkt naar het 3D-model en zegt: "Hier zit nog wat ruis, haal dat weg."

Ze doen dit in een cyclus: Maak scherp -> Bouw 3D -> Haal ruis weg -> Maak iets helderder -> Herhaal.

Waarom is dit zo snel? (De Lego-vergelijking)

De vorige methoden (zoals LuSh-NeRF) waren als het bouwen van een kasteel van klei. Je moest elke steen met de hand vormen en het duwde eeuwenlang om het perfect te maken. Het was traag en zwaar.

FLED-GS gebruikt Lego-blokken (3D Gaussian Splatting).

• Je kunt Lego-blokken veel sneller neerzetten dan klei vormen.
• Het resultaat is net zo mooi, maar je bent er 21 keer sneller mee klaar om te trainen en 11 keer sneller om het eindresultaat te bekijken.

Wat levert het op?

• Scherper beeld: De foto's zijn niet meer wazig.
• Minder ruis: De "koffie" is schoon, zonder zand.
• Snelheid: Waar de oude methoden 14 uur nodig hadden om te leren, doet FLED-GS dit in 41 minuten.
• Realiteit: Het werkt zelfs als je camera heel erg trilt of als het bijna volledig donker is.

Korte samenvatting

Stel je voor dat je een wazige, donkere foto van een kamer hebt. FLED-GS is als een slimme chef-kok die niet probeert de hele maaltijd in één keer te koken. In plaats daarvan:

1. Kookt hij eerst een beetje (verhoogt de helderheid stap voor stap).
2. Haalt hij het vuil eruit (denoising).
3. Scherpt hij de kruiden op (deblurring).
4. En hij doet dit allemaal met een super-snel recept (Lego-blokken in plaats van klei).

Het resultaat? Een prachtige, scherpe 3D-weergave van een donkere scène, gemaakt in een flits van tijd, terwijl de oude methoden er uren over deden en vaak faalden.

Technische samenvatting

Probleemstelling

Het synthetiseren van nieuwe weergaven (novel view synthesis) vanuit beelden die zijn opgenomen bij weinig licht, met ruis en bewegingsonscherpte, is een complexe uitdaging met grote praktische waarde voor toepassingen zoals nachtelijk autonoom rijden, robotnavigatie in donkere omgevingen en immersive VR.

Bestaande methoden kampen met de volgende beperkingen:

• Volumetrische rendering-methoden (zoals NeRF en 3DGS) hebben moeite om scherpe, heldere en schone beelden te herstellen wanneer er sprake is van een combinatie van slechte zichtbaarheid, hoge ISO-ruis en camera-trillingen.
• Sequentiële 2D-voorverwerking (eerst verbeteren, dan reconstrueren) introduceert artefacten door de complexe onderlinge afhankelijkheden tussen de taken.
• Bestaande geïntegreerde methoden (zoals LuSh-NeRF) sufferen van trage convergentie en zijn onbetrouwbaar bij vergelijkbare onscherpte-patronen over verschillende weergaven. Bovendien veroorzaakt hun multi-ray sampling aanzienlijke computerohead, wat real-time implementatie verhindert.

Methodologie: FLED-GS

De auteurs introduceren FLED-GS, een snel framework voor lage-lichtversterking en ontscherping dat 3D-scèneherstel omvormt tot een alternerende cyclus van verbetering en reconstructie.

De kern van de methode bestaat uit drie hoofdstappen:

1. Progressieve Iteratieve Versterking (PIE):

   • In plaats van direct van donker naar het doellichtniveau te gaan (wat ruis overmatig versterkt en hoge-frequentie details vernietigt), introduceert het framework meerdere tussenliggende helderheidsniveaus ("anchors").
   • Dit creëert een iteratief proces met $N+1$ optimalisatiecycli. In elke iteratie $i$ wordt het beeld eerst versterkt, vervolgens ontscherpt en tenslotte gereconstrueerd.
   • Ontkoppeling van taken: De ontscherping gebeurt met een bestaand 2D-deblurring-netwerk (NAFNet), terwijl het ruisverwijderingsproces wordt uitbesteed aan de 3D-reconstructie. Dit voorkomt dat ruis de geometrische reconstructie of de ontscherping verstoort.

2. Ruisbewuste 3DGS Reconstructie (Noise-Aware 3DGS):

   • Na de ontscherping wordt een 3D Gaussian Splatting (3DGS) model getraind dat specifiek ruis schat en onderdrukt.
   • Een ruis-schatting module (een MLP met 4 lagen) schat een ruimtelijk ruisveld op basis van de camerapositie en kijkrichting.
   • De uiteindelijke voorspelde afbeelding ($I_{pred}$) is de som van de gerenderde 3DGS-afbeelding ($I_r$) en de geschatte ruiskaart ($I_{Noise}$). Door deze ruis expliciet te modelleren en te minimaliseren tijdens de backpropagation, wordt een schoner "prior" gegenereerd voor de volgende iteratie.

3. Iteratief Cyclus:

   • De schone weergaven die uit de reconstructie komen, dienen als priors voor de volgende helderheidsniveaus.
   • Het proces herhaalt zich totdat het einddoel is bereikt, wat resulteert in een scherpe radiance field ($V^N$) voor hoogwaardige nieuwe weergaven.

Belangrijkste Bijdragen

1. Eerste 3DGS-framework voor lage lichtsituaties met bewegingsonscherpte: FLED-GS is, voor zover bekend, het eerste framework dat 3D Gaussian Splatting toepast op de combinatie van lage lichtverlichting en camera-bewegingsonscherpte.
2. Herformulering van 3D-herstel: De auteurs transformeren het probleem naar een iteratieve cyclus die versterking en reconstructie afwisselt. Dit ontkoppelt de taken effectief en onderdrukt ruisversterking via een tweestaps-suppressie (via 2D-deblurring en een lichtgewicht ruis-schatting).
3. Significante snelheidswinst: In vergelijking met de state-of-the-art LuSh-NeRF, biedt FLED-GS een trainingssnelheid die 21x sneller is en een renderingssnelheid die 11x sneller is.

Resultaten

De methode is geëvalueerd op meerdere datasets, waaronder het synthetische en real-world LuSh-NeRF dataset, het extreem donkere LOM dataset en het ExBlur dataset (extreme bewegingsonscherpte).

• Kwaliteit: FLED-GS presteert consistent beter dan bestaande methoden (inclusief LuSh-NeRF en combinaties van 2D-methoden met 3DGS) op de metrics PSNR, SSIM en LPIPS. Op het LuSh-NeRF dataset behaalde FLED-GS (2 rondes) een gemiddelde PSNR van 22.60, vergeleken met 19.37 voor LuSh-NeRF.
• Efficiëntie:
  • Trainingstijd: 41 minuten voor FLED-GS (2 rondes) versus 14,5 uur voor LuSh-NeRF.
  • Renderingstijd: 0,8 seconden per beeld voor FLED-GS versus 9,1 seconden voor LuSh-NeRF.
  • Hoewel het model meer parameters heeft (12,17M vs 1,24M), compenseert de inherent snellere aard van 3DGS dit ruimschoots.
• Ablatie-studie: De studie bevestigt dat zowel de Progressieve Iteratieve Versterking (PIE) als de Ruis-schatting (NE) essentieel zijn. PIE verbetert de structurele kwaliteit, terwijl NE de perceptuele kwaliteit herstelt die door de iteratieve ruisversterking verloren kan gaan.

Betekenis en Conclusie

FLED-GS biedt een doorbraak in de reconstructie van 3D-scènes onder moeilijke omstandigheden. Door het probleem te decomponeren in een progressieve cyclus en ruis expliciet te modelleren binnen de 3DGS-architectuur, slaagt het erin om de trade-off tussen kwaliteit en snelheid te doorbreken.

De methode maakt real-time toepassing mogelijk voor scenario's zoals nachtelijk rijden en navigatie in donkere omgevingen, waar eerdere methoden te traag of onnauwkeurig waren. De enige beperking die wordt opgemerkt, is de afhankelijkheid van COLMAP voor extreem sterke bewegingsonscherpte, wat suggereert dat toekomstig werk zich kan richten op COLMAP-vrije benaderingen voor dergelijke extreme gevallen.