Technische Samenvatting: Naar Robuuste en 3D-bewuste RGB-NIR Beeldvorming in het Donker

Probleemstelling

Robuuste beeldvorming bij weinig licht blijft een fundamentele uitdaging in computer vision. Terwijl conventionele strategieën zoals lange sluitertijd en burst-fotografie lijden onder bewegingsonscherpte en zichtbaarheidsproblemen, en bestaande deep learning-gebaseerde verbeteringsmethoden vaak vertrouwen op "ruisige RGB–NIR–schone RGB"-triplets, vertonen deze gesuperviseerde modellen een slechte cross-domain generalisatie en beperkte robuustheid onder variërende ruisniveaus. Er bestaat een kritieke kloof in het bereiken van robuuste verbetering bij weinig licht met alleen Nabij-Infrarood (NIR) en ruisige RGB-observaties, zonder te vertrouwen op enige vorm van schone RGB-supervisie.

Methodologie

Het artikel stelt een nieuwe 3D-bewuste neurale impliciete fusie-architectuur voor die een volume rendering-framework gebruikt om extreem ruisige RGB-observaties impliciet te fuseren met NIR-kenmerken in de 3D-ruimte. De aanpak is gebouwd op Multi-Layer Perceptrons (MLP's) en volume rendering, herontworpen om de complementaire eigenschappen van RGB-NIR-modaliteiten te benutten zonder schone RGB-grondwaarheid.

Belangrijke Architecturale Componenten

1. 3D-bewuste Fusiestructuur (NIR-geconditioneerde MLP):

   • In tegenstelling tot een parallelle structuur waarbij aparte MLP's RGB en NIR afhandelen, gebruikt de voorgestelde methode een NIR-geconditioneerde structuur.
   • Een NIR MLP schat de volumendichtheid ($\sigma$) in met behulp van de NIR-observatie.
   • De output van de NIR MLP wordt naar de RGB MLP gevoerd om structurele begeleiding te bieden. Cruciaal is dat een gradient-stopping strategie voorkomt dat de ruisige RGB-observaties de leerprocessen van de NIR-representatie verslechteren.
   • Dit ontwerp stelt de RGB MLP in staat om de structurele informatie die in NIR is gecodeerd te benutten, terwijl de integriteit van de NIR-representatie behouden blijft, waardoor fijne 2D-textuurdetails kunnen worden hersteld die pure 3D-consistentie mogelijk zou missen.

2. NIR-gemoduleerde Positionele Codering (NIR-P.E.):

   • Standaard sinusvormige positionele codering (P.E.) toegepast op 3D-coördinaten ($x$) en kijkrichtingen ($d$) leidt vaak tot "checkerboard-artefacten" onder zware ruis, omdat het netwerk overfit op hoogfrequente ruis in plaats van op structurele details.
   • Analyse in het frequentiedomein laat zien dat schone RGB en NIR vergelijkbare gladde frequentieverdelingen delen, terwijl ruisige RGB wordt gedomineerd door willekeurige hoogfrequente ruis.
   • Om dit aan te pakken, passen de auteurs P.E. toe op de NIR-schatting ($c_N$) in plaats van op de ruimtelijke coördinaten. De RGB MLP neemt $x$, $d$, en de gecodeerde $\gamma(c_N)$ als input.
   • Dit fungeert als een frequentie-uitgelijnde modulatie, die structureel consistente frequenties die aanwezig zijn in NIR versterkt terwijl ruis-gedreven componenten uit de ruisige RGB-supervisie worden onderdrukt.

3. Kleurcode MLP (C.C. MLP):

   • De mapping van NIR naar RGB is inherent slecht gedefinieerd; één enkele NIR-waarde kan overeenkomen met meerdere verschillende RGB-kleuren (bijv. objecten met verschillende kleuren maar vergelijkbare reflectie in NIR). Standaard MLP's, vanwege hun gladheid, hebben de neiging om "gemengde" of gemiddelde RGB-schattingen te produceren voor punten met identieke NIR-waarden.
   • Om deze ambiguïteit op te lossen, is een Color Code MLP geïntroduceerd om een probabilische kleurdistributie voor elke NIR-waarde te leren.
   • Het voorspelt een niet-uniforme log-waarschijnlijkheidsverdeling ($\pi$) en gebruikt Gumbel-Softmax om een one-hot kleurcode ($\delta$) te samplen.
   • Deze code wordt aan de RGB MLP gevoed, waardoor het model in staat is om te onderscheiden tussen verschillende RGB-kleuren die dezelfde NIR-waarde delen, wat diverse kleurrepresentaties behoudt.

Optimalisatie

Het model wordt geoptimaliseerd door de L2-fotometrische loss te minimaliseren tussen de gerenderde schattingen en de observaties. Opvallend genoeg bevat de verliesfunctie geen schone RGB-supervisie. In plaats daarvan minimaliseert het het verschil tussen de gerenderde NIR/RGB en de geobserveerde ruisige RGB/NIR. De ruisige RGB-observatie wordt vermenigvuldigd met een hyperparameter $\phi$ om rekening te houden met verschillen in belichting.

Belangrijkste Bijdragen

1. Een Nieuw 3D-bewust Fusiemodel: Het artikel stelt een model voor voor RGB-NIR donkerbeeldvorming dat effectief ruisige RGB-observaties fust met NIR-kenmerken in de 3D-ruimte zonder dat daarvoor schone RGB-supervisie nodig is.
2. Inzichtelijke Architecturale Componenten: Twee specifieke componenten zijn geïntroduceerd om het complementaire potentieel van RGB-NIR-modaliteiten te ontsluiten:
   • NIR-gemoduleerde Positionele Codering: Om overfitten door ruis te onderdrukken en checkerboard-artefacten te elimineren.
   • Color Code MLP: Om de fundamentele NIR-naar-RGB ambiguïteit op te lossen en kleurvervaging te voorkomen.
3. Datasets: De auteurs dragen zowel synthetische als real-world multi-view datasets bij die NIR-beelden en ruisige RGB-observaties bevatten om toekomstig onderzoek te faciliteren.

Resultaten en Evaluatie

Het voorgestelde framework werd geëvalueerd op zowel synthetische datasets (gegenereerd via Mitsuba3) als real-world opnames (met behulp van een JAI FS-3200T10GE-NNC camera).

• Synthetische Data: Het model werd getest over vijf ruisniveaus ($s \in \{1/10, \dots, 1/200\}$). Het presteerde consequent beter dan state-of-the-art gesuperviseerde methoden (SANet, NAID), ongesuperviseerde methoden (NVEU) en andere NeRF-gebaseerde benaderingen (RawNeRF, LLNeRF) in termen van SSIM, PSNR en LPIPS.
• Real-World Data: Evaluaties omvatten non-referentie metrieken (PI, MUSIQ, MANIQA) en menselijke subjectieve evaluatie (HSE). De voorgestelde methode behaalde de beste scores over alle metrieken, wat een superieure structurele integriteit en kleurgetrouwheid aantoont vergeleken met bestaande baselines.
• Ablatie-studies: Het verwijderen van de NIR-P.E. resulteerde in ernstige checkerboard-artefacten. Het verwijderen van de C.C. MLP leidde tot vervagingsartefacten waarbij verschillende kleuren werden samengevoegd. Het volledige model was noodzakelijk voor hoogwaardige reconstructie.
• RAW-domein Generalisatie: De methode werd ook geëvalueerd in het 12-bit RAW-domein, waarbij bleek dat het effectief generaliseert en baselines zoals RawNeRF en NVEU overtreft zonder witbalans of kleurcorrectie te vereisen.

Betekenis en Claims

Het artikel claimt dat robuuste verbetering bij weinig licht kan worden bereikt met alleen NIR en ruisige RGB-observaties, waardoor de noodzaak voor moeilijk te verkrijgen schone RGB-supervisiedata wordt weggenomen. Door 3D-bewuste neurale modellering te integreren, generaliseert de methode over verschillende ruisniveaus en scenario's waar traditionele gesuperviseerde modellen falen. Het werk toont aan dat impliciete neurale representaties, wanneer ze zorgvuldig zijn herontworpen om rekening te houden met de specifieke kenmerken van RGB-NIR-modaliteiten (frequentie-uitlijning en kleurambiguïteit), effectief schone beelden kunnen herstellen uit extreem ruisige inputs. De auteurs benadrukken dat deze aanpak een nieuw perspectief biedt voor dark imaging, en een oplossing biedt die zowel robuust als generaliseerbaar is zonder de beperkingen van gepaard (paired) trainingsdata.