Evaluating Low-Light Image Enhancement Across Multiple Intensity Levels

Probleemstelling

Het verbeteren van beelden opgenomen in omstandigheden met weinig licht (Low-Light Image Enhancement - LLIE) is een complexe uitdaging vanwege de hoge ruis van de sensor en verminderde kleursaturatie. Bestaande leer-gebaseerde methoden vertonen een fundamentele beperking: ze worden bijna uitsluitend getraind op gepaarde data die onder één specifieke, vaste lage lichtconditie is opgenomen.

De auteurs stellen dat deze gebrek aan diversiteit in stralingsintensiteit (radiance diversity) leidt tot modellen die niet robuust zijn in de praktijk. In real-world scenario's varieert de lichtintensiteit continu, maar bestaande datasets (zoals LOLv1/v2) bevatten vaak slechts één onderbelicht beeld per scène. Experimenten tonen aan dat modellen getraind op vaste lichtniveaus falen bij het generaliseren naar andere intensiteitsniveaus; prestaties verslechteren vaak zelfs als de input lichter wordt (minder ernstig onderbelicht), wat leidt tot oververzadiging of artefacten.

Methodologie

1. De MILL Dataset (Multi-Illumination Low-Light)
Om dit probleem aan te pakken, stellen de auteurs de MILL-dataset voor. Dit is een nieuw dataset-concept met de volgende kenmerken:

• Systematische variatie: Elke scène wordt opgenomen onder 11 verschillende, systematisch gevarieerde lichtintensiteiten (van minimaal tot maximaal), met intervallen van 10%.
• Vaste camera-instellingen: In tegenstelling tot eerdere datasets waarbij camera-instellingen (ISO, sluitertijd) werden aangepast, blijven bij MILL alle camera-instellingen (diafragma, ISO, sluitertijd) constant. De lichtintensiteit wordt gecontroleerd via programmeerbare lampen.
• Ground Truth: Het beeld op het maximale lichtniveau dient als Ground Truth (GT). De overige 10 beelden fungeren als low-light inputs.
• Metadata: Elke opname is gekoppeld aan precieze metingen van de verlichting (in lux) via een fotometer.
• Hardware: Beelden zijn opgenomen met zowel een DSLR (Nikon D5200) als een smartphone (Samsung Galaxy S7) in RAW-formaat om sensorverschillen te evalueren.
• Omvang: De dataset bevat in totaal 1.100 beelden (50 scènes x 11 niveaus x 2 apparaten), verdeeld over training, validatie en testsets.

2. Nieuwe Loss-functies voor Feature Disentanglement
Op basis van de MILL-dataset stellen de auteurs twee nieuwe auxiliary loss-termen voor om bestaande LLIE-modellen (gebaseerd op Retinexformer) te verbeteren. Het doel is om de latente features van het netwerk te "ontkoppelen" (disentangle) in twee componenten:

• Intensiteitsvoorspellingsverlies ($L_i$): Deze term dwingt het eerste kanaal van de latente features om de invoer-lichtintensiteit te voorspellen. Dit zorgt ervoor dat het netwerk expliciet leert de lichtomstandigheden te modelleren.
• Scène-inhoudsverlies ($L_s$): Een triplet loss die de overige kanalen dwingt om scène-inhoud te coderen die onafhankelijk is van de belichting. Het zorgt ervoor dat beelden van dezelfde scène (maar verschillende lichtniveaus) dichter bij elkaar liggen in de feature-ruimte dan beelden van verschillende scènes.

De totale objectieve functie is een som van de reconstructie-loss, de intensiteits-loss en de scène-content-loss.

Belangrijkste Bijdragen

1. De MILL-dataset: De eerste dataset die dezelfde scènes opneemt onder 11 verschillende lichtniveaus met vaste camera-instellingen, inclusief nauwkeurige lux-metingen en RAW-data.
2. Benchmarking: Een uitgebreide evaluatie van state-of-the-art LLIE-methoden (zoals Retinexformer, LLFormer, KinD, etc.) over een breed spectrum van lichtintensiteiten. De studie onthult dat veel methoden onvoorspelbare prestaties vertonen bij wisselende intensiteiten.
3. Verbeterde Architectuur: Een nieuwe aanpak die gebruikmaakt van de multi-illumination structuur van de dataset om via specifieke loss-termen robuustere modellen te trainen die beter generaliseren.

Resultaten

De experimenten tonen significante verbeteringen aan:

• Prestatievariatie: Bestaande methoden presteren vaak slechter op gemengde of lichtere low-light beelden dan op de zeer donkere beelden waar ze voor zijn getraind.
• Kwaliteitsverbetering: De voorgestelde aanpassingen aan Retinexformer leiden tot aanzienlijke verbeteringen:
  • Tot 10 dB PSNR-winst voor de DSLR-camera.
  • Tot 2 dB PSNR-winst voor de smartphone-camera.
  • Significant lagere kleurafwijkingen ($\Delta E_{76}$) en hogere structuur- en kleurconsistentie.
• Ablatiestudies: De studie bevestigt dat de combinatie van zowel de intensiteits- als de scène-content-loss nodig is voor optimale prestaties. De intensiteits-loss alleen levert al grote verbeteringen op, maar de combinatie zorgt voor de beste lokale en globale foutreductie.
• Generalisatie: Het model getraind op MILL presteert beter op externe datasets (zoals DICM en SICE) dan modellen getraind op traditionele datasets, wat aantoont dat het model robuuster is voor real-world variaties in licht.

Betekenis en Impact

Dit paper is significant omdat het een fundamentele tekortkoming in het huidige LLIE-onderzoek aanpakt: de afhankelijkheid van datasets met slechts één lichtniveau. Door de MILL-dataset en de bijbehorende trainingsstrategie te introduceren, bieden de auteurs een pad naar meer robuuste en betrouwbare low-light verwerkingsalgoritmen. De resultaten suggereren dat het expliciet ontkoppelen van lichtintensiteit en scène-inhoud essentieel is voor het creëren van modellen die in diverse, dynamische omstandigheden goed presteren, wat cruciaal is voor toepassingen zoals nachtfotografie, surveillance en mobiele fotografie.