RetinexDualV2: Physically-Grounded Dual Retinex for Generalized UHD Image Restoration

1. Problemstellung

Die Wiederherstellung von Ultra-High-Definition (UHD)-Bildern (4K/8K) stellt aufgrund der enormen Datenmenge und der hohen Auflösung eine erhebliche Herausforderung dar. Bestehende Methoden stoßen oft an Grenzen:

• Rechenkomplexität: Viele State-of-the-Art-Modelle erfordern massive Rechenressourcen, was sie für den Einsatz auf Standardhardware unpraktisch macht.
• Verlust von Details: Ansätze, die auf Downsampling-Enhancement-Upsampling basieren, neigen dazu, hochfrequente Details zu verlieren.
• Fehlende Generalisierung: Viele Modelle sind auf spezifische Degradationen (z. B. nur Low-Light oder nur Entnebelung) spezialisiert und nutzen die Retinex-Theorie oft nur eingeschränkt oder ohne physikalische Fundierung für allgemeine Bildwiederherstellungsaufgaben.
• Physikalische Inkonsistenz: Rein datengesteuerte „Black-Box"-Modelle ignorieren oft die zugrunde liegenden physikalischen Prozesse der Bildentstehung, was zu weniger plausiblen Ergebnissen bei komplexen Szenen führt.

Das Ziel ist es, ein einheitliches, recheneffizientes Framework zu schaffen, das verschiedene Degradationen (Regen, Schatten, Dunst, schlechte Beleuchtung) in UHD-Auflösung bewältigen kann, ohne die Architektur für jede Aufgabe neu anpassen zu müssen.

2. Methodik: RetinexDualV2

Das vorgeschlagene RetinexDualV2 ist ein physikalisch fundiertes, dual-branch Framework, das auf der Retinex-Theorie basiert. Es zerlegt ein degradiertes Bild $I$ in effektive Reflexionskomponenten ($R_{eff}$) und Beleuchtungskomponenten ($L_{eff}$), korrigiert diese separat und rekonstruiert das Bild.

Die Architektur besteht aus folgenden Kernkomponenten:

A. Task-Specific Physical Grounding Module (TS-PGM)

Dies ist ein entscheidender Innovationsschritt. Anstatt nur allgemeine Merkmale zu extrahieren, berechnet das TS-PGM aufgaben-spezifische physikalische Priors (Vorwissen), die den Restaurierungsprozess steuern:

• Entregnung (Deraining): Berechnung einer Regen-Intensitätsmaske (Residual Rain Mask) basierend auf Gradienten und Intensitätsunterschieden.
• Niedriglicht-Verbesserung (LLIE): Extraktion eines struktur-bewussten Beleuchtungspriors unter Verwendung von Weber-Invarianz und Farbmodellen, um Struktur auch bei extremer Unterbelichtung zu erhalten.
• Entnebelung (Dehazing): Nutzung des „Dark Channel Prior" zur Identifizierung von Dunstregionen.
• Schattenentfernung (Shadow Removal): Anwendung einer log-chromatischen, schattenresistenten Darstellung, um Beleuchtungsvariationen von der Reflexion zu trennen.

B. Dual-Branch Netzwerkstruktur

Das Netzwerk verarbeitet die Retinex-Komponenten in zwei parallelen Zweigen:

1. PG-SAMBA (Physical-Grounded Scale Attentive Mamba): Ein Subnetzwerk zur räumlich adaptiven Korrektur der Reflexion. Es nutzt Mamba-Blöcke (State Space Models) für effiziente Langstrecken-Kontextmodellierung und integriert physikalische Priors über PC-MSA.
2. PG-FIA (Physical-Grounded Frequency Illumination Adaptor): Ein Subnetzwerk zur physikalisch konsistenten Anpassung der Beleuchtung. Es arbeitet im Frequenzbereich (Fourier-Transformation), um globale Kontraste und Farbverzerrungen effizient zu korrigieren, und bleibt dabei parameterarm.

C. Physical-conditioned Multi-head Self Attention (PC-MSA)

Dies ist der Mechanismus, der die physikalischen Priors in die tiefen Lernschichten integriert.

• Herkömmliche Self-Attention-Mechanismen werden modifiziert, indem die Value-Vektoren ($V$) elementweise mit dem physikalischen Prior ($P_m$) multipliziert werden ($V' = V \odot P_m$).
• Dies zwingt das Netzwerk, die Aufmerksamkeit auf physikalisch relevante Regionen (z. B. Regentropfen oder Schattenbereiche) zu lenken und stellt sicher, dass die Ausgabe physikalisch plausibel bleibt.

D. Multi-Level Training

Das Modell wird mit einer Deep-Supervision-Strategie trainiert, die Ausgaben auf drei verschiedenen Auflösungen generiert. Die Verlustfunktion kombiniert Charbonnier-Loss, SSIM, FFT-Loss (Frequenzbereich) und perceptual Loss, um sowohl strukturelle als auch frequenzbasierte Genauigkeit zu gewährleisten.

3. Hauptbeiträge

1. RetinexDualV2: Eine physikalisch fundierte Weiterentwicklung von RetinexDual, die die Zerlegung in Reflexion und Beleuchtung innerhalb spezialisierter Subnetzwerke bewertet.
2. TS-PGM (Task-Specific Physical Grounding Module): Ein Modul, das physikalische Merkmale (wie Dark Channel, Regenmasken, Schatteninvarianz) direkt aus dem Eingabebild extrahiert und als Prior nutzt.
3. PC-MSA Mechanismus: Eine modulierte Self-Attention, die physikalische Karten in den Restaurierungsprozess injiziert, um die Ausgabe zu regularisieren und physikalische Plausibilität zu erzwingen.
4. Einheitliche Architektur: Ein einzelnes Modell, das ohne strukturelle Änderungen verschiedene komplexe Degradationen bewältigt, was die Generalisierungsfähigkeit stark erhöht.

4. Ergebnisse

Das Modell wurde umfassend auf Benchmark-Datensätzen und in den NTIRE 2026 Challenges evaluiert:

• Quantitative Leistung:
  • Entregnung (4K-Rain13K): Erzielte einen PSNR von 34.56 dB und SSIM von 0.973, was einen neuen State-of-the-Art darstellt (besser als ERR, RetinexDual und UDR-Mixer).
  • Low-Light Enhancement (UHD-LL): Erzielte 28.91 dB PSNR und 0.935 SSIM, übertrifft damit Modelle wie ERR und Wave-Mamba.
• Wettbewerbsplatzierungen (NTIRE 2026):
  • 4. Platz im „Day and Night Raindrop Removal Challenge".
  • 5. Platz im „Joint Noise Low-light Enhancement Challenge".
  • Auch in den Disziplinen Nachtentnebelung und Schattenentfernung wurden konkurrenzfähige Ergebnisse erzielt.
• Effizienz: Das Modell ist mit 4.848 Millionen Parametern sehr effizient und deutlich kleiner als viele konkurrierende Transformer-Modelle (z. B. Restormer mit 26M Parametern), was es für UHD-Anwendungen praktikabel macht.
• Ablationsstudie: Zeigte, dass sowohl die Dual-Branch-Architektur als auch die Kombination aus TS-PGM und PC-MSA essenziell für die hohe Leistung sind. Das Entfernen der physikalischen Priors führte zu einem signifikanten Leistungsabfall.

5. Bedeutung und Fazit

RetinexDualV2 markiert einen wichtigen Fortschritt im Bereich der Bildwiederherstellung, indem es die Lücke zwischen rein datengesteuerten Deep-Learning-Ansätzen und physikalisch fundierten Modellen schließt.

• Generalisierung: Es beweist, dass ein einheitliches Framework durch die Integration physikalischer Priors robust auf diverse, komplexe Szenarien (Wetter, Licht, Schatten) angewendet werden kann.
• Effizienz: Durch die Kombination von Mamba-Architekturen und Frequenzbereichsverarbeitung wird eine hohe Qualität bei geringem Rechenaufwand erreicht.
• Interpretierbarkeit: Der Ansatz bewegt sich weg von „Black-Box"-Modellen hin zu interpretierbaren Grundlagenmodellen, die die physikalischen Gesetze der Bildentstehung respektieren.

Zusammenfassend bietet RetinexDualV2 einen skalierbaren, physikalisch fundierten und hocheffizienten Ansatz für die zukünftige UHD-Bildwiederherstellung in realen, anspruchsvollen Umgebungen.