RetinexDualV2: Physically-Grounded Dual Retinex for Generalized UHD Image Restoration

Probleemstelling

Ondanks de snelle vooruitgang in beeldsensoren en displays die Ultra-High-Definition (UHD) beelden mogelijk maken, blijft het herstellen van beelden die zijn vervormd door licht, mist, schaduwen of weersomstandigheden een grote uitdaging. Bestaande methoden hebben moeite met UHD-beelden vanwege de enorme datahoeveelheid en het hoge rekenvermogen dat vereist is.

• Bestaande beperkingen:
  • Methoden die gebruikmaken van een "Downsampling-Enhancement-Upsampling"-paradigma verliezen vaak hoge-frequentie details.
  • Frequentiedomein-methoden zijn niet universeel toepasbaar, vooral bij lokale ruimtelijke degradaties.
  • Bestaande Retinex-modellen (zoals RetinexDual) behandelen reflectie en verlichting vaak als homogene componenten en missen een fysische onderbouwing (physical grounding) voor het leerproces, wat hun prestaties in complexe scenario's beperkt.
  • Pure datagedreven modellen missen vaak de fysische plausibiliteit die nodig is voor robuuste restauratie onder diverse omstandigheden.

Methodologie: RetinexDualV2

De auteurs stellen RetinexDualV2 voor, een unificerend, fysisch onderbouwd dual-branch framework dat gebaseerd is op de Retinex-theorie. Het doel is om een enkele architectuur te creëren die diverse degradaties aankan zonder taakspecifieke structurele aanpassingen.

De kern van de methode bestaat uit de volgende componenten:

1. Dual-Branch Architectuur:
   Het model decomposeert het vervormde beeld $I$ in twee componenten volgens de Retinex-theorie:

   • Reflectie ($R_{eff}$): Bevat de objectdetails en textuur.
   • Verlichting ($L_{eff}$): Bevat de belichting en kleurinformatie.
     Deze componenten worden afzonderlijk verwerkt door twee gespecialiseerde sub-netwerken:
   • PG-SAMBA (Physical-Grounded Scale Attentive Mamba): Een ruimtelijke corrector die details behoudt en adaptief werkt op verschillende schalen.
   • PG-FIA (Physical-Grounded Frequency Illumination Adaptor): Een frequentiedomein-corrector die globale contrast- en kleurbias aanpast.

2. Task-Specific Physical Grounding Module (TS-PGM):
   Dit is een cruciale innovatie. In plaats van alleen te vertrouwen op data, extrahert deze module taakspecifieke fysische priors (voorafgaande kennis) uit het invoerbeeld:

   • Regenverwijdering: Een residuale regenintensiteitsmasker (via een UNet) om regenplekken te identificeren.
   • Lage lichtomstandigheden: Een structuur-bewuste verlichtingsprior gebaseerd op kleur-invariante convoluties (Weberized invariant).
   • Ontmisting (Dehazing): De "Dark Channel Prior" om gebieden met atmosferische verstrooiing te detecteren.
   • Schaduwverwijdering: Een log-chromaticiteit prior die schaduwen isoleert onafhankelijk van absolute helderheid.

3. Physical-Conditioned Multi-head Self Attention (PC-MSA):
   De fysische priors ($P_m$) die door de TS-PGM zijn gegenereerd, worden niet zomaar toegevoegd, maar actief geïntegreerd in het leerproces via PC-MSA.

   • De prior modereert de "Value"-vectoren in de self-attention mechanismen.
   • Dit zorgt ervoor dat de feature-interacties binnen het netwerk strikt worden gereguleerd door de fysische eigenschappen van de degradatie, wat leidt tot fysisch plausibele oplossingen.

4. Trainingsstrategie:
   Het model maakt gebruik van multi-level supervisie op drie resoluties. De totale loss functie combineert Charbonnier loss, SSIM loss, FFT loss (voor frequentie-consistentie) en perceptuele loss.

Belangrijkste Bijdragen

• RetinexDualV2: Een uitbreiding van RetinexDual die de restauratie van Retinex-componenten binnen gespecialiseerde sub-netwerken plaatst, gefundeerd op fysische principes.
• TS-PGM: Een module die specifiek fysische kenmerken (zoals regendruppels, donkere kanalen, schaduwinvariantie) extrahert en deze gebruikt als leidraad voor het herstelproces.
• PC-MSA Mechanisme: Een innovatieve manier om fysische kaarten te injecteren in het restauratieproces via gemoduleerde self-attention, wat de output regulariseert.
• Universele Toepasbaarheid: Het model behoudt een enkele architectuur voor diverse taken (regen, mist, schaduwen, lage lichtomstandigheden) zonder de structuur aan te passen.

Resultaten

RetinexDualV2 is uitgebreid getest op benchmark datasets en in de NTIRE 2026 Challenges:

• Kwantitatieve Prestaties:
  • 4K-Rain13K (Regenverwijdering): Bereikte een PSNR van 34.56 dB en SSIM van 0.973, wat een nieuwe state-of-the-art is, zelfs ten opzichte van zwaardere modellen zoals DRSformer en ERR, maar met een veel efficiënter parameteraantal (~4.8M).
  • UHD-LL (Lage lichtomstandigheden): Bereikte een PSNR van 28.91 dB en SSIM van 0.935, presterend beter dan eerdere SOTA-modellen zoals ERR en RetinexDual.
• NTIRE 2026 Challenge Rankings:
  • 4e plaats in de "Day and Night Raindrop Removal Challenge" (Dual-Focused Images).
  • 5e plaats in de "Joint Noise Low-light Enhancement Challenge".
  • Ook sterke prestaties in Nachtontmisting en Schaduwverwijdering.
• Efficiëntie: Het model heeft slechts 4.8 miljoen parameters, wat het zeer geschikt maakt voor UHD-verwerking zonder extreme rekenkracht.
• Ablatiestudie: Toonde aan dat zowel de dual-branch architectuur als de integratie van fysische priors via PC-MSA essentieel zijn. Het verwijderen van de fysische prior of de PC-MSA leidt tot een significante daling in prestaties (bijv. van 28.91 dB naar 28.43 dB of lager).

Betekenis en Conclusie

RetinexDualV2 markeert een belangrijke stap in de richting van interpreteerbare foundation modellen voor beeldherstel. Door expliciete fysische kennis (priors) te integreren in een diep leerframework, overwint het de beperkingen van puur datagedreven "black-box" modellen.

• Het bewijst dat een enkele, efficiënte architectuur kan worden getraind om complexe, real-world degradaties aan te pakken zonder dat er voor elke taak een nieuwe architectuur nodig is.
• De methode combineert de sterktes van de Retinex-theorie (scheiding van verlichting en reflectie) met moderne architecturen (Mamba, Attention) en fysische regularisatie.
• De resultaten op de NTIRE 2026 challenges bevestigen de robuustheid en generalisatiecapaciteit van de aanpak, wat het een veelbelovende kandidaat maakt voor praktische toepassingen in computer vision en beeldverwerking onder adverse omstandigheden.