Technische Samenvatting: WREN - Low Light Image Enhancement met Retinex-theorie gebaseerde Double U-Net-achtige Structuren

1. Probleemstelling

Verbetering van beelden bij weinig licht (Low-Light Image Enhancement, LLIE) is cruciaal voor toepassingen zoals nachtzicht, zoek- en reddingsoperaties en surveillance, waarbij verkeersongevallen, rampen en misdaden vaak plaatsvinden in donkere omgevingen. Bestaande LLIE-methoden kampen doorgaans met drie primaire uitdagingen:

1. Niet-triviale Retinex-decompositie: De decompositie van een beeld in reflectie (intrinsieke kleur) en illuminatie (verlichting) is niet uniek en slecht gedefinieerd (ill-posed).
2. Instabiliteit in End-to-End Learning: Het gezamenlijk trainen van de illuminatiecompensatie en de verfijningsfasen leidt vaak tot instabiele convergentie.
3. Gevoeligheid voor Dynamisch Bereik: Veel state-of-the-art methoden slagen er niet in om te generaliseren over variërende lichtomstandigheden, wat vaak resulteert in overversterking of onderversterking wanneer het dynamische bereik van de testscène verschilt van de trainingsdata.

Een specifieke beperking die is geïdentificeerd in huidige twee-staps benaderingen (decompositie gevolgd door verfijning) is overmatige smoothing (over-smoothing). Omdat de verfijningsfase opereert op het gesynthetiseerde normaal-verlichte beeld (het product van de reflectie en de illuminatie), gaat deze impliciet ervan uit dat ruis aanwezig is in de reflectiekaart. Volgens de Retinex-theorie zou de reflectiekaart echter ruisvrij moeten zijn. Bijgevolg vlakt het gladstrijken van het gecombineerde beeld onbedoeld de reflectiekaart af, wat textuur en details degradeert.

2. Methodologie: WREN Architectuur

De auteurs stellen WREN voor, een neuraal netwerk dat is ontworpen om strikt de principes van de Retinex-theorie te volgen om overmatige smoothing en gevoeligheid voor het dynamisch bereik te overwinnen. WREN maakt gebruik van een double U-Net-achtige structuur bestaande uit twee sub-netwerken:

3.1. Retinex Decompositie Netwerk ($U_1$)

Dit netwerk maakt gebruik van een gedeelde encoder met twee aparte decoders om het inputbeeld met weinig licht ($I_{low}$) te decomponeren in:

• Reflectiekaart ($R$): Vertegenwoordigt de intrinsieke oppervlaktekleur.
• Illuminatiekaart ($L_{low}$): Vertegenwoordigt de intensiteit van het invallende licht.

Belangrijke Ontwerpkeuze: In tegenstelling tot andere benaderingen houdt WREN de gedecomposeerde reflectiekaart $R$ onveranderd. Dit volgt strikt de Retinex-aanname dat reflectie invariant is aan lichtomstandigheden en ruisvrij zou moeten zijn.

3.2. Illuminatie Compensatie Netwerk ($U_2$)

Dit netwerk richt zich uitsluitend op het verbeteren van de illuminatiekaart ($L_{low}$) verkregen uit $U_1$. Het maakt gebruik van een aangepaste U-Net architectuur met de volgende specifieke componenten:

• Transformer Block: Geplaatst tussen de encoder en decoder om niet-lokale kenmerken te vangen en een niet-lokale illuminatie-smoothing te bevorderen, wat helpt bij het verwijderen van ruis.
• Attention Blocks: Geïntegreerd om relevante kenmerken te focussen.
• Trainable Guided Filters: Gebruikt in de decoder om donkere regio's sterk te denoisen terwijl randen en texturen behouden blijven.
• Residual Blocks: Gebruikt om de integriteit van kenmerken te behouden.

Het uiteindelijke verbeterde beeld wordt gereconstrueerd door de onveranderde reflectiekaart ($R$) en de verbeterde illuminatiekaart ($L_{normal}$) te combineren via elementgewijze vermenigvuldiging: $I_{recon} = R \odot L_{normal}$.

3.3. Verliesfuncties (Loss Functions)

WREN wordt end-to-end getraind met een samengestelde verliesfunctie die ontworpen is voor robuustheid:

• Decompositie Verlies ($L_{decomp}$): Bevat een reconstructiefidelity-term en een Scale-Invariant (SI) loss. De SI loss is cruciaal omdat deze wiskundig invariant is voor globale herschaling van de illuminatiekaart, wat zorgt voor robuustheid tegen veranderingen in het dynamisch bereik.
• Enhancement Verlies ($L_{enh}$): Een combinatie van Multi-Scale Structural Similarity (MS-SSIM), perceptuele loss (VGG-16 features), CIE $L^*a^*b^*$ kleurafstand en een hinge penalty om waarden boven 1.0 te voorkomen.

3. Belangrijkste Bijdragen

1. Double U-Net Structuur: Een nieuwe architectuur die decompositie en illuminatieverbetering scheidt, waarbij strikt wordt vastgehouden aan de Retinex-aanname dat reflectie ruisvrij en invariant is.
2. Scale-Invariant Training: De introductie van een schaal-invariante verliesfunctie die ervoor zorgt dat het model robuust blijft over verschillende dynamische bereiken en lichtomstandigheden, wat een veelvoorkomend falenpunt bij bestaande LLIE-methoden aanpakt.
3. Gerichte Illuminatie Denoising: Door de illuminatiekaart te isoleren voor verbetering met behandeling van Transformer blocks en guided filters, vermijdt de methode de overmatige smoothing-artefacten die typisch zijn voor het verfijnen van het gecombineerde beeld.

4. Experimentele Resultaten

De auteurs hebben WREN geëvalueerd op vijf datasets: LOLv1, SICE, LIEQ, NTIRE 2024, en MIT-Adobe FiveK. Het model is getraind op LOLv1 en getest op alle datasets om generalisatie aan te tonen.

• Kwantitatieve Prestaties: WREN behaalde state-of-the-art (SOTA) resultaten over alle metrieken (PSNR, SSIM, LPIPS en MAE) vergeleken met zes baselines (ReDDiT, Retinexformer, RetinexNet, SNR-Net, KinD++, Zero-DCE, en LIME). Opvallend genoeg presteerde het beter dan de recente ReDDiT-methode met >1 dB in PSNR en >0.1 in LPIPS.
• Kwalitatieve Prestaties:
  • Donkere Regio's: WREN presteerde vergelijkbaar met topmethoden in puur donkere regio's.
    • Gemengde Verlichting: In scènes met gemengde verlichting (bijv. lucht en donkere grond), slaagde WREN erin om gebieden met weinig licht te verbeteren zonder de normaal verlichte regio's te overbelichten. In contrast hiermee veroorzaakten methoden zoals Retinexformer kleurverschuivingen in de lucht, terwijl andere (ReDDiT, RetinexNet, etc.) resulteerden in overbelichte beelden.
  • Ruisafhandeling: In tegen tegenstelling tot methoden die sensorgruis versterken (bijv. RetinexNet, LIME), onderdrukt WREN effectief ruis in donkere regio's zonder storende kleurveranderingen te introduceren.

5. Betekenis en Claims

De paper claimt dat de betekenis van WREN ligt in het vermogen om robuuste, state-of-the-art prestaties te leveren over meerdere datasets met variërende dynamische bereiken door strikt de theoretische aannames van de Retinex-theorie te volgen. Door de verfijning van illuminatie te ontkoppelen van het behoud van reflectie, elimineert de methode de overmatige smoothing-artefacten die downstream computer vision-taken beperken. De auteurs benadrukken dat hun aanpak een stabiele, end-to-end oplossing biedt die minder gevoelig is voor de specifieke dynamische bereiken van trainingsdata vergeleken met bestaande deep learning-gebaseerde LLIE-methoden.