Frequency-Decomposed INR for NIR-Assisted Low-Light RGB Image Denoising

Probleemstelling

In omstandigheden met zeer weinig licht (bijvoorbeeld 's nachts, in bosrijke gebieden of bij zonsopgang/zonsondergang) lijden zichtbare RGB-beelden van drones en andere sensoren aan ernstige degradatie. Dit wordt veroorzaakt door een gebrek aan fotonen, wat leidt tot kwantum- en elektronische ruis. De gevolgen zijn:

• Verlies van hoge frequenties: Fijne texturen en randen worden gemaskeerd door ruis.
• Kleurfouten en contrastverlies: Het beeld vertoont kleurafwijkingen en een gebrek aan detail.
• Beperkingen van bestaande methoden: Traditionele single-modal methoden (zoals Retinex of CNN's) moeten vaak kiezen tussen ruisreductie en detailbehoud, wat leidt tot oververzachting of artefacten. Bestaande multi-modale fusie-methoden (RGB + Near-Infrared/NIR) werken vaak in de ruimtelijke domein, wat resulteert in kleurverschuivingen en artefacten door de fysische inconsistenties tussen de twee sensoren (verschillende reflectie-eigenschappen en frequentie-afhankelijke degradatie).

Methodologie: FD-INR

De auteurs stellen FD-INR (Frequency-Decoupled Implicit Neural Representation) voor. Dit is een raamwerk dat beelden modelleert als continue functies in plaats van discrete roosters, en expliciet de frequentiecomponenten ontkoppelt.

1. Frequentie-ontkoppeling en Dual-Branch Architectuur
Het kernidee is gebaseerd op de statistische prior dat RGB-signalen betrouwbaar zijn in lage frequenties (globale vorm en kleur), terwijl NIR-signalen een hogere signaal-ruisverhouding (SNR) hebben in hoge frequenties (structuur en textuur).

• Lage-frequentie tak ($F_{LF}$): Deze tak reconstructeert de kleurmanifold en globale helderheid. Hij wordt geleid door het lage-licht RGB-beeld. Om ruis te filteren, gebruikt deze tak spare feature grids (spaarsamplings), wat een structurele "low-pass" filterwerking creëert.
• Hoge-frequentie tak ($G_{HF}$): Deze tak reconstructeert sub-pixel structuren en texturen. Hij wordt geleid door het NIR-beeld. Deze tak gebruikt dichte feature grids om de "spectrale bias" van INR's te omzeilen en fijne details van het NIR-signaal met hoge fideliteit over te nemen.
• Combinatie: Het uiteindelijke beeld $\hat{I}(x)$ is de som van beide takken, gecorrigeerd voor een leerbare bias ($\beta$) om de DC-component (gemiddelde helderheid) tussen de sensoren te kalibreren.

2. Wavelet-domein Supervisie
Om te garanderen dat de takken zich strikt aan hun respectievelijke frequentiebanden houden, wordt een Discrete Wavelet Transform (DWT) gebruikt als spectrale constraint-operator.

• Spectrale Ontkoppeling Regularisatie: Een verliesfunctie straft de hoge-frequentie componenten in de lage-frequentie tak en de lage-frequentie componenten in de hoge-frequentie tak. Dit voorkomt "spectrale lekken" (bijv. dat NIR-helderheid de RGB-kleuren verstoort).
• Verliesfuncties:
  • Lage-frequentie kleurverlies: Gebruikt Charbonnier-verlies op de benaderingscoëfficiënten van het RGB-beeld.
  • Hoge-frequentie structuurverlies: Combineert $\ell_1$-verlies en SSIM-verlies op de detailcoëfficiënten van het NIR-beeld.
  • Gradient-consistentie: Zorgt voor scherpe randen door de gradiënten van het gereconstrueerde beeld af te stemmen op het NIR-beeld.
  • Zero-mean constraint: Zorgt ervoor dat de hoge-frequentie tak alleen residu's (details) levert en geen globale helderheid.

3. Adaptieve Optimalisatie

• Homoscedastic Uncertainty: Een adaptieve wegingsstrategie wordt geïntroduceerd waarbij de ruisvariatie ($\sigma_k$) van elke taak (kleur, structuur, gradiënt) als leerbare parameter wordt gemodelleerd. Dit balanceert automatisch de bijdrage van elke verliesfunctie tijdens het trainen.
• Muon Optimizer: Voor de efficiëntie van de training in hoge dimensies wordt de Muon-optimizer gebruikt voor de lineaire lagen van de MLP, wat snellere convergentie mogelijk maakt.

Belangrijkste Bijdragen

1. FD-INR Framework: Een nieuwe implicit neural representation methode die fysieke prioren ("RGB voor lage frequenties, NIR voor hoge frequenties") integreert in een continue functieruimte via wavelet-ontkoppeling. Dit lost het probleem van modale conflicten en feature-aliasing op dat gebruikelijk is bij ruimtelijke fusie.
2. Adaptieve Mechanismen: Een combinatie van homoscedastic uncertainty voor dynamische weging en de Muon-optimizer voor efficiënte training, wat een evenwicht creëert tussen kleurbehoud en detailherstel.
3. Resolutie-onafhankelijkheid: Dankzij de continue aard van INR kan het model beelden reconstrueren op willekeurige resoluties, wat een groot voordeel is ten opzichte van discrete, rooster-gebaseerde methoden.

Resultaten

De methode is getest op de Dark Vision Dataset (DVD), een benchmark voor RGB-NIR fusie met real-world data.

• Kwalitatief: FD-INR produceert scherpe randen, zuivere kleuren en geen zichtbare artefacten of "olieverf-effecten" die vaak voorkomen bij concurrenten zoals DVN of naive DWT-fusie. De lage-frequentie tak herstelt de natuurlijke kleur, terwijl de hoge-frequentie tak de textuur van het NIR-beeld perfect overneemt.
• Kwantitatief: FD-INR behaalt state-of-the-art (SOTA) prestaties op de NIQE (Naturalness Image Quality Evaluator, lager is beter) en NCC (Normalized Cross Correlation, hoger is beter) metrics.
  • Volledig model: NIQE 2.896, NCC 0.961.
  • Ablatiestudies tonen aan dat het verwijderen van de zero-mean constraint leidt tot ernstige overbelichting, en het verwijderen van de gradient-supervisie leidt tot onscherpe randen.
• Efficiëntie: Het model heeft slechts 0.3M parameters en vereist ongeveer 17.6 GFLOPs voor een 512x512 invoer, met een inferentie-tijd van ongeveer 20ms per frame.

Betekenis

Dit werk is significant omdat het een fundamenteel nieuwe aanpak biedt voor beeldherstel in extreme omstandigheden. Door de fysieke beperkingen van sensoren te omzeilen via een frequentie-gedecoupeerde, continue representatie, overtreft FD-INR bestaande deep learning-methoden die vaak vastlopen in het compromis tussen ruisreductie en detailbehoud. De methode verbetert niet alleen de visuele kwaliteit, maar verhoogt ook de robuustheid van downstream taken zoals objectdetectie en 3D-reconstructie voor autonome systemen (zoals drones) die in slecht verlichte omgevingen opereren. Bovendien biedt de resolutie-onafhankelijke aard van INR een schaalbaarheidsvoordeel dat traditionele methoden missen.