Frequency-Decomposed INR for NIR-Assisted Low-Light RGB Image Denoising

1. Problemstellung

Das Paper adressiert die Herausforderungen der Bildwiederherstellung unter extremen Lichtverhältnissen, insbesondere im Kontext von autonomen Systemen wie Drohnen (UAVs).

• Herausforderungen: Bei schwacher Beleuchtung leiden RGB-Bilder unter starkem Quanten- und elektronischem Rauschen. Dies führt zu einer Degradierung hochfrequenter Strukturen (Texturen) sowie zu Farbverzerrungen und Kontrastverlust.
• Grenzen bestehender Methoden:
  • Einzelmodale Ansätze: Methoden, die nur RGB-Daten nutzen (z. B. Retinex-basierte oder Deep-Learning-Verfahren), stehen vor einem Trade-off zwischen Rauschunterdrückung und Detailerhaltung. Sie neigen entweder zu Überglättung oder erzeugen „halluzinierte" Artefakte.
  • Multi-modale Fusion (RGB + NIR): Nahe-Infrarot (NIR)-Signale bieten unter schwachem Licht ein besseres Signal-Rausch-Verhältnis (SNR) und strukturelle Details. Herkömmliche Fusionsmethoden im räumlichen Domain (Spatial Domain) führen jedoch oft zu Farbverschiebungen und Artefakten, da sie die physikalischen Inkonsistenzen zwischen den Modalitäten (unterschiedliche Reflexionseigenschaften) und die frequenzselektive Degradation nicht ausreichend berücksichtigen. Zudem basieren viele Ansätze auf diskreten Gittern, was die Anpassungsfähigkeit an beliebige Auflösungen einschränkt.

2. Methodik: FD-INR (Frequency-Decoupled Implicit Neural Representation)

Die Autoren schlagen FD-INR vor, ein Framework, das auf einer expliziten Frequenzzerlegung innerhalb eines kontinuierlichen impliziten neuronalen Darstellungsraums (INR) basiert.

• Kernkonzept: Anstatt das Bild als diskretes Gitter zu behandeln, wird es als kontinuierliche Funktion modelliert, die räumliche Koordinaten auf Pixelwerte abbildet. Das Bildfeld wird als lineare Überlagerung zweier komplementärer Funktionen definiert:
  $$\hat{I}(x) = F_{LF}(x; \theta) + G_{HF}(x; \phi) - \beta$$
  Dabei repräsentiert $F_{LF}$ die niederfrequente Farb- und Helligkeitskonsistenz und $G_{HF}$ die hochfrequenten strukturellen Details. $\beta$ ist ein lernbarer Bias zur Kalibrierung von Helligkeitsunterschieden.

• Dual-Branch-Architektur:

  1. Niederfrequenter Zweig ($F_{LF}$): Nutzt das schwach beleuchtete RGB-Bild als Hauptsupervision. Durch sparse Feature Grids (spärliche Abtastung) wird die Darstellungsfrequenz begrenzt (Low-Pass-Effekt), was Rauschen filtert und natürliche Farben sowie globale Helligkeit sicherstellt.
  2. Hochfrequenter Zweig ($G_{HF}$): Nutzt das NIR-Bild zur Führung. Durch dense Feature Grids (dichte Abtastung) werden subpixelgenaue Gradienten und Texturen rekonstruiert, ohne von Rauschen beeinflusst zu werden.

• Wellentransformation (DWT) und Frequenz-Entkopplung:

  • Ein Multi-Scale Discrete Wavelet Transform (DWT) dient als spektrale Beschränkung.
  • Spektrale Entkopplungs-Regularisierung: Erzwingt eine strikte Trennung der Frequenzbänder. Der niederfrequente Zweig darf keine hochfrequenten Anteile enthalten (Vermeidung von Rauschen), und der hochfrequente Zweig darf keine niederfrequenten Helligkeitsanteile enthalten (Vermeidung von Farbverfälschung durch NIR-Helligkeit).
  • Nullmittelwert-Bedingung: Stellt sicher, dass der hochfrequente Zweig nur Reststrukturen (Details) liefert und keine globale Helligkeit überlagert.

• Adaptive Verlustfunktion:

  • Es wird eine homoskedastische Unsicherheitsmodellierung eingeführt. Die Gewichte der verschiedenen Verlustterme (Farbe, Struktur, Gradient) werden dynamisch während des Trainings basierend auf dem geschätzten Rauschniveau angepasst.
  • Der Gesamtverlust kombiniert Farbwiedergabe (Charbonnier-Loss), Strukturerhaltung (L1 + SSIM auf NIR-Daten) und Gradienten-Konsistenz.

• Optimierung: Der Muon-Optimizer wird für die linearen Schichten des MLPs verwendet, um die Konvergenz in hochdimensionalen Koordinatenräumen zu beschleunigen.

3. Wichtige Beiträge

1. FD-INR Framework: Ein neuartiger Ansatz, der physikalische Priors („RGB für niedrige Frequenzen/Farben, NIR für hohe Frequenzen/Strukturen") in einen kontinuierlichen Funktionsraum integriert. Dies löst Konflikte und Feature-Aliasing, die bei räumlichen Fusionsmethoden auftreten.
2. Adaptive Gewichtung & Orthogonale Optimierung: Kombination aus homoskedastischer Unsicherheit zur dynamischen Balance der Aufgaben und dem Muon-Optimizer für effizientes Lernen der kontinuierlichen Darstellung.
3. Auflösungsunabhängigkeit: Dank der INR-Grundlage kann das Modell Bilder in beliebigen Auflösungen rekonstruieren, was bei diskreten Methoden nicht möglich ist.

4. Ergebnisse

• Experimentelles Setup: Evaluation auf dem Dark Vision Dataset (DVD) mit echten RGB-NIR-Paaren. Das Modell ist „Zero-Shot" (kein Vor-Training auf großen Datensätzen nötig, instanzspezifisches Fitting).
• Qualitative Ergebnisse: Im Vergleich zu Naiven DWT-Fusionen und State-of-the-Art-Methoden (wie DVN) zeigt FD-INR schärfere Kanten, reinere Farbmäntel und weniger Artefakte. Es vermeidet das typische „Ölgemälde"-Aussehen durch Überglättung.
• Quantitative Ergebnisse: Auf dem DVD-Dataset erzielt FD-INR den besten Wert für NIQE (Natural Image Quality Evaluator, niedriger ist besser: 2.896) und NCC (Normalized Cross Correlation, höher ist besser: 0.961).
• Ablationsstudie: Zeigt, dass jeder Komponente (Adaptiver Offset, Nullmittelwert-Bedingung, Gradienten-Supervision, Frequenz-Entkopplung, Unsicherheits-Gewichtung) essenziell für die Leistung ist. Das Entfernen der Frequenz-Entkopplung führt z. B. zu unscharfen Mustern durch Frequenzüberlappung.

5. Bedeutung und Ausblick

Das Paper bietet einen signifikanten Fortschritt in der computergestützten Bildverarbeitung für extreme Umgebungen.

• Robustheit: FD-INR verbessert die Zuverlässigkeit von nachgelagerten Aufgaben wie Objekterkennung und 3D-Rekonstruktion unter schlechten Lichtverhältnissen.
• Paradigmenwechsel: Der Wechsel von diskreten Gittern zu kontinuierlichen, frequenzentkoppelten INRs bietet einen neuen Weg, um physikalische Grenzen von Sensoren zu überwinden, ohne auf massive Trainingsdaten angewiesen zu sein.
• Anwendbarkeit: Die Methode ist besonders relevant für autonome Systeme (Drohnen, Robotik), die in der Dämmerung, Nacht oder in Schattenzonen operieren müssen.

Zusammenfassend demonstriert FD-INR, dass eine explizite Trennung von Frequenzkomponenten in einem kontinuierlichen Darstellungsraum die besten Ergebnisse für die Rauschunterdrückung und Detailwiederherstellung in multimodalen Szenarien liefert.