Lightweight Low-Light Image Enhancement via Distribution-Normalizing Preprocessing and Depthwise U-Net

Probleemstelling

Beelden die onder slechte lichtomstandigheden zijn opgenomen, lijden vaak aan slechte zichtbaarheid, ernstige ruis en kleurvervorming. Dit verslechtert niet alleen de visuele kwaliteit, maar belemmert ook downstream-taken zoals objectdetectie en semantische segmentatie. Hoewel er veel onderzoek is gedaan naar Low-Light Image Enhancement (LLIE) met diepe leermethodes, zijn de state-of-the-art methoden (zoals RetinexFormer en HVI-CIDNet) vaak zwaar en complex. Ze gebruiken vaak Transformer-architecturen of leerbare preprocessing-front-ends die veel parameters vereisen.

De uitdaging waar dit paper op inspreekt, is het ontwerpen van een extreem lichtgewicht LLIE-netwerk dat binnen een strakke limiet van 1 MB opslag (in fp16) past, terwijl het toch concurrerende perceptuele kwaliteit levert. Bestaande methoden degraderen sterk wanneer ze worden verkleind naar dit sub-1M parameter-regime, omdat hun leerbare front-ends voldoende kanaalbreedte en diepte nodig hebben om effectief te werken.

Methodologie

De auteurs stellen een twee-traps framework voor dat de taak van helderheidscorrectie en kleurherstel ontkoppelt.

1. Stap 1: Vrijgemaakte (Frozen) Preprocessing met Distributienormalisatie
In plaats van het netwerk te laten leren hoe het helderheid moet herstellen (wat veel capaciteit vereist), wordt deze taak overgelaten aan vaste, algorithmische preprocessors.

• Doel: De invoer-distributie normaliseren (zowel tussen afbeeldingen als binnen een afbeelding) zodat het trainbare netwerk zich alleen kan focussen op de residuale kleurcorrectie.
• Implementatie: De lage-licht invoer ($x$) wordt verwerkt door twee complementaire methoden:
  • CPGA-Net: Een lichtgewicht netwerk dat kanaalpriors en gamma-correctie gebruikt voor adaptieve helderheidsverbetering.
  • CLAHE: Contrast-Limited Adaptive Histogram Equalization op de L-kanaal van de CIE Lab-ruimte voor lokaal adaptief contrast.
• Input: De originele afbeelding en de twee verwerkte versies worden samengevoegd tot een 9-kanaals invoertensor. Dit biedt het netwerk complementaire, helderheids-gecorrigeerde weergaven van het tafereel.

2. Stap 2: Lichtgewicht DWConv U-Net
Het trainbare onderdeel is een compacte U-Net die volledig is opgebouwd uit diepte-wijs scheidbare convoluties (Depthwise-Separable Convolutions).

• Architectuur: Een 3-niveau U-Net met een encoder-decoder structuur.
• Blokken: Elke blok bestaat uit diepte-wijze scheidbare 3x3 convoluties, GroupNorm, GELU-activering en een residuale verbinding.
• Residuale Correctie: Het netwerk leert de residuale kleurcorrectie op basis van de genormaliseerde invoer. Een globale residuale verbinding voegt de output van de CPGA-voorbewerking toe aan de uiteindelijke output.

3. Verliesfunctie
Het model wordt getraind met een combinatie van pixel-gewijze L1-verlies en LPIPS (perceptueel verlies) om zowel numerieke nauwkeurigheid als visuele kwaliteit te waarborgen.

Belangrijkste Bijdragen

1. Efficiënt Twee-Traps Framework: Een combinatie van vrijgemaakte algorithmische preprocessors en een lichtgewicht U-Net die binnen 1 MB (fp16) past, maar toch concurrerende perceptuele kwaliteit bereikt.
2. Principe van Normalisatie: De auteurs tonen aan dat de specifieke keuze van het preprocessing-algoritme niet cruciaal is. Het kernprincipe is het bieden van complementaire helderheids-genormaliseerde weergaven die de variatie in de invoer-distributie reduceren voor het downstream-netwerk.
3. Superioriteit bij Beperkte Parameters: Wanneer beperkt tot dezelfde parameterbudget (~338K), presteert hun architectuur beter dan op maat gemaakte, verkleinde versies van bestaande state-of-the-art modellen (RetinexFormer en HVI-CIDNet). Dit bevestigt dat het "afwentelen" van helderheidscorrectie naar klassieke algoritmen efficiënter is dan het toewijzen van parameters aan leerbare front-ends.
4. Competitie Prestatie: De methode behaalde de 4e plaats in de CVPR 2026 NTIRE Efficient Low-Light Image Enhancement Challenge.

Resultaten

De resultaten zijn geëvalueerd op standaard benchmarks (LOLv1, LOLv2-Real, LOLv2-Synthetic) zonder gebruik te maken van GT-middennormalisatie (wat in praktische toepassingen niet beschikbaar is).

• LOLv1 Testset:
  • Het Ours-Mid model (859K parameters) bereikte een LPIPS van 0.099. Dit is aanzienlijk beter dan RetinexFormer (1.6M parameters, LPIPS 0.161) en komt dicht in de buurt van HVI-CIDNet (2.0M parameters, LPIPS 0.086).
  • Het Ours-Tiny model (338K parameters) behaalde de beste LPIPS en DISTS scores in de sub-1MB categorie, verslaand zowel IAT als verkleinde versies van RetinexFormer en HVI-CIDNet.
• LOLv2 Resultaten: De prestaties zijn consistent op LOLv2-Real en LOLv2-Synthetic, waarbij het model RetinexFormer aanzienlijk verslaat op LPIPS met de helft van de parameters.
• Ablatiestudies:
  • Verliesfunctie: Het toevoegen van LPIPS verlies verbeterde de perceptuele kwaliteit drastisch (LPIPS daalde van 0.224 naar 0.099).
  • Preprocessing: Verschillende combinaties van preprocessors (CPGA, CLAHE, Gamma, Histogram Equalization) leverden vergelijkbare resultaten op, wat bevestigt dat de normalisatie van de distributie belangrijker is dan het specifieke algoritme.

Betekenis en Conclusie

Dit paper introduceert een nieuw ontwerpparadigma voor efficiënte LLIE-systemen. In plaats van te investeren in modelcapaciteit voor het leren van helderheidsschatting (wat inefficiënt is voor kleine modellen), wordt deze taak overgelaten aan klassieke, vrijgemaakte algoritmen. Hierdoor kan het volledige trainbare vermogen worden ingezet voor de complexere taak van kleurherstel en detailbehoud.

De studie demonstreert dat het mogelijk is om zeer compacte modellen te bouwen die concurreren met veel zwaardere state-of-the-art modellen, wat essentieel is voor implementatie op randapparatuur (edge devices) met beperkte rekenkracht en geheugen. De auteurs merken wel op dat de methode afhankelijk is van de kwaliteit van de preprocessor; bij catastrofale fouten in de preprocessing (bijv. extreem donkere gebieden) kan het downstream-netwerk de schade niet volledig herstellen.