Technische Samenvatting: Learning Structural Illumination for Unsupervised Low-Light Enhancement (RISE)

1. Probleemstelling

Low-light image enhancement (LLIE) streeft naar het herstellen van goed belichte beelden uit onderbelichte observaties. Hoewel supervised methoden bestaan, vertrouwen deze op kostbare en vertekende gepaardgestelde data, wat de verschuiving naar unsupervised learning stimuleert. Huidige unsupervised LLIE-methoden kampen echter met drie primaire beperkingen:

1. Vaste Expositie-targets: Veel methoden vertrouwen op statistische priors of vaste exposiewaarden als surrogaat-supervisie. Dit creëert een "scène-agnostisch" criterium dat diverse scènes naar een uniform helderheidsniveau dwingt, waardoor het niet kan adapteren aan variërende lichtomstandigheden.
2. Bias in Illuminatie-schatting: Onder extreme onderbelichting worden pixelobservaties gedomineerd door sensorkruis (lage Signal-to-Noise Ratio, SNR). Bestaande methoden behandelen het volledige low-light beeld vaak als uniform betrouwbaar, wat leidt tot instabiele verbetering waarbij donkere regio's donker blijven terwijl highlights overbelicht raken.
3. Verstrengelde Representatie: Huidige benaderingen voorspellen doorgaans een enkele enhancement-representatie (bijv. een illuminatiemap of curve) die de ruimtelijk variërende relatieve illuminatie-structuur (helderheidsrelaties) verstrengelt met het absolute exposieniveau (globale helderheid). Dit verhindert onafhankelijke controle en interpreteerbaarheid.

2. Methodologie: Het RISE-framework

De auteurs stellen RISE voor (Relative Illumination Structure Estimation), een framework dat de relatieve illuminatie-structuur ontkoppelt van de absolute expositie en illuminatie afleidt uit betrouwbare heldere regio's.

2.1 Relatieve Illuminatie-structuur Schatting

Geïnspireerd door de fysieke voortplanting van licht, modelleert RISE illuminatie niet als een enkele hoeveelheid, maar als een gestructureerd veld afgeleid van Key Illumination Cues (KICs).

• KIC Selectie: De methode selecteert $N$ ruimtelijk verspreide, heldere patches uit de invoerafbeelding. Deze regio's bezitten een hogere SNR en dienen als betrouwbare ankers voor de schatting.
• Relatieve Illuminatie Map: De invoer wordt omgezet naar een luminantiekanaal $Y$, en een relatieve illuminatie map $Z$ wordt berekend door globale helderheid te verwijderen via log-ratio normalisatie: $Z = \log(P / \text{mean}(P))$.
• Relationeel Veld Modellering: RISE schat de relatieve luminantie van een patch $p$ op basis van de relatie met de KICs $\{k_n\}$. Het model combineert:
  • Discrepantie ($\delta$): Het geobserveerde luminantieverschil tussen een patch en een KIC.
  • Ruimtelijke Attenuatie ($\rho$): Een zachte attenuatie-prior gebaseerd op de afstand in het beeldvlak, wat lichtverval simuleert zonder dat er 3D-scène reconstructie nodig is.
  • Scène Context: Globale statistieken van de illuminatiemap worden gecodeerd om variaties op scèneniveau op te vangen.
• Ontkoppeling: De uiteindelijke enhancement gain $\hat{G}$ wordt geformuleerd als de som van een relatieve structuurterm $S(p)$ en een absolute expositieterm $\eta$:
  $$\hat{G}(p) = \underbrace{b + \beta^\top c_{scene} + R(p)}_{\text{Relatieve Structuur } S(p)} + \underbrace{\eta}_{\text{Absolute Expositie}}$$
  Dit maakt het mogelijk dat de structurele parameters ($\Theta$) stabiel blijven bij verschillende exposities van dezelfde scène, terwijl $\eta$ globale intensiteitsveranderingen absorbeert.

2.2 Dual-Metering Exposure Reference (DMER)

Om vaste exposie-targets te vervangen door scène-adaptieve supervisie, introduceert RISE DMER, dat een expositie-referentie genereert vanuit elke invoerafbeelding met behulp van twee complementaire meters:

1. Absolute Meter: Schat globale exposietrends met behulp van een conservatieve gray-world aanname, wat een stabiele baseline biedt.
2. Relatieve Meter: Modelleert ruimtelijke illuminatievariaties door betrouwbare luminantie-cues (regio's met een hoge betrouwbaarheid) te diffunderen om een "lichtveld-kaart" te construeren. Dit legt de relatieve lichtsterkte over verschillende regio's vast.
   De uiteindelijke referentie $T$ is een blend van deze twee meters, wat een input-afhankelijke supervisie biedt die het model aanmoedigt om exposure mappings te leren die generaliseerbaar zijn over diverse illuminatieverdelingen.

2.3 Leermetriek (Learning Objective)

Het framework wordt getraind met unsupervised objectives geleid door DMER:

• Exposure Control Loss: Brengt de output-luminantie, gain en KIC-luminantie in lijn met de DMER-referentie.
• Scale Equivariance Regularizer: Zorgt ervoor dat structurele parameters stabiel blijven wanneer de input wordt geschaald, waardoor de absolute expositieterm gedwongen wordt om intensiteitsveranderingen te absorberen.
• Idempotence Regularizer: Voorkomt verdere enhancement op reeds verbeterde outputs.
• Edge-Aware Smoothness: Onderdrukt gain-variaties die niet ondersteund worden door luminantie-randen.

3. Belangrijkste Bijdragen

1. Nieuwe Probleemformulering: Het artikel herformuleert unsupervised LLIE als een gestructureerd, relationeel probleem, waarbij de relatieve illuminatie-structuur expliciet wordt ontkoppeld van de absolute expositie.
2. RISE Framework: Een innovatieve architectuur die de illuminatie-structuur afleidt uit ijle, betrouwbare heldere regio's (KICs), wat de instabiliteit veroorzaakt door lage-SNR regio's vermindert.
3. DMER: Een input-afhankelijk expositie-referentiemechanisme dat vaste targets vervangt, wat scène-adaptieve enhancement en verbeterde generalisatie over datasets mogelijk maakt.

4. Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op zeven gepaardgestelde benchmarks (LOLv1, LOLv2-Real/Synthetic, LSRW, UHD-LL, SICE) en vijf ongepaarde real-world datasets (DICM, LIME, MEF, NPE, VV).

• Kwantitatieve Prestaties: RISE bereikt state-of-the-art (SOTA) prestaties onder de unsupervised methoden op alle benchmarks. Opvallend genoeg behaalt het de hoogste PSNR op LOLv2-Real (21.33 dB) en LOLv2-Synthetic (18.72 dB) terwijl het aanzienlijk minder parameters (0.35M) en computationele middelen (1.43 GFLOPs) gebruikt in vergelijking met andere methoden.
• Generalisatie: Wanneer toegepast op ongeziene real-world scènes (bijv. iPhone 16 Pro foto's) zonder hertraining, vertoont RISE superieure generalisatie, waarbij natuurlijke expositiecorrecties met behoud van kleurgetrouwheid en dynamisch bereik worden geproduceerd. Het presteert beter dan concurrenten op no-reference metrieken (IQA, IAA) over alle ongepaarde datasets.
• Ablatie-studies: Experimenten bevestigen dat:
  • Het selecteren van de helderste KICs cruciaal is; willekeurige of donkerste KICs verslechteren de prestaties.
  • Zowel de absolute als de relatieve meter in DMER noodzakelijk zijn; het gebruik van slechts één van beide vermindert de prestaties.
  • De ontkoppeling van structuur en expositie essentieel is; het verwijderen van de scheiding leidt tot instabiele enhancement.

5. Betekenis en Claims

Het artikel claimt dat RISE een fundamentele verschuiving biedt in de benadering van unsupervised LLIE. Door illuminatie te behandelen als een gestructureerde hoeveelheid afgeleid van betrouwbare cues in plaats van een globale gemiddelde, en door structuur van expositie te ontkoppelen, bereikt de methode een robuustheid en aanpasbaarheid die voorheen onbereikbaar waren in unsupervised settings.

De auteurs benadrukken dat RISE visueel natuurlijke resultaten produceert en effectief generaliseert over diverse lichtomstandigheden zonder dat er gepaardgestelde ground truth of dataset-specifieke hertraining nodig is. Het artikel erkent echter bescheiden een beperking: wanneer signalen onder de sensus-ruisvloer vallen, kan ontbrekende content niet enkel door expositiecorrectie worden hersteld, wat suggereert dat toekomstig werk mogelijk generatieve restauratietechnieken moet integreren.