Rethinking Exposure Correction for Spatially Non-uniform Degradation

Probleemstelling

Bestaande methoden voor blootstellingscorrectie (exposure correction) worden fundamenteel beperkt door hun impliciete aanname dat degradatie uniform is over het hele beeld. In de realiteit, vooral in scènes met een hoog dynamisch bereik (HDR), treden blootstellingsfouten echter vaak ruimtelijk niet-uniform op. Dit betekent dat verschillende delen van één afbeelding gelijktijdig onderbelicht (donker) en overbelicht (licht) kunnen zijn.

De huidige state-of-the-art (SOTA) methoden hebben twee hoofdbeperkingen:

1. Architectuur: Ze vertrouwen op globaal geaggregeerde modulatiesignalen (bijv. via Laplace-pyramides of Fourier-domein) die slechts één algemene trend voor het hele beeld vastleggen. Hierdoor kunnen ze geen specifieke, regio-afhankelijke correcties uitvoeren.
2. Optimalisatie: De gebruikelijke reconstructieverliezen (zoals $L_1$ of $L_2$) gaan uit van een homogene schaal (homoscedasticiteit), waarbij alle pixels onder dezelfde globale onzekerheid worden geoptimaliseerd. Dit negeert de heterogene aard van gemengde blootstellingsfouten.

Methodologie

De auteurs stellen een nieuw paradigma voor dat ruimtelijke niet-uniformiteit expliciet modelleert, zowel in de architectuur als in de optimalisatiedoelstelling. Het framework bestaat uit drie kerncomponenten:

1. Ruimtelijk Adaptieve Architectuur

In plaats van één globaal signaal te gebruiken, wordt het proces opgesplitst in twee stappen:

• Spatial Signal Encoder: Een encoder voorspelt een dicht, ruimtelijk variërend modulatiegewicht ($M$) voor elke pixellocatie. Dit gewicht is een vector die aangeeft hoe verschillende basisfuncties moeten worden gecombineerd.
• 3D Look-Up Tables (LUTs): De voorspelde gewichten sturen een bank van $K$ leerbare 3D LUTs aan. De uiteindelijke pixelwaarde wordt berekend als een lineaire combinatie van de output van deze LUTs, gewogen door de lokale modulatie.
  • Voordeel: Deze decoupling verlaagt de Lipschitz-constante van het netwerk. In plaats van dat het diepe netwerk abrupte kleurtransities moet leren (wat zware gewichten vereist), leert de encoder alleen de gewichten voor de fysiek gebounde LUTs. Dit zorgt voor fijnmazige, regio-afhankelijke correctie zonder instabiliteit.
• HSL-Compensatie: Om kleurstoringen te voorkomen die ontstaan door het manipuleren van gekoppelde sRGB-kanalen, wordt een extra tak toegevoegd die werkt in de HSL-ruimte (Hue, Saturation, Lightness). Deze tak polariseert de hue-waarde om discontinuïteiten te vermijden en compenseert de LUT-correctie voor betere kleurfideliteit.

2. Onzekerheidsgeïnspireerde Niet-Uniforme Loss

De auteurs herformuleren het verlies van een probabilistisch perspectief:

• Van Homoscedasticiteit naar Heteroscedasticiteit: In plaats van aan te nemen dat alle pixels dezelfde foutverdeling hebben, wordt voor elke pixel een eigen onzekerheidsschaal ($b_{i,c}$) geschat.
• Dense Prior: In tegenstelling tot eerdere methoden die uitgaan van een schaarse prior (waarbij fouten zeldzaam zijn), gebruiken de auteurs een dichte prior. Dit past beter bij blootstellingsfouten, die vaak dicht bij elkaar en ruimtelijk continu voorkomen (bijv. een volledig overbelichte lucht).
• Dynamische Weging: De voorspelde onzekerheid fungeert niet als een maat voor "moeilijkheid", maar als een dynamische ruimtelijke wegingsfactor. De loss-functie ($L_{UNU}$) past de supervisiekracht per regio aan op basis van de lokale correctiebehoeften, waardoor het model beter omgaat met tegengestelde degradaties (onder- en overbelichting) binnen hetzelfde beeld.

Belangrijkste Bijdragen

1. Identificatie van de Kernuitdaging: Het paper benadrukt dat ruimtelijke niet-uniformiteit de fundamentele bottleneck is voor real-world blootstellingscorrectie en adresseert dit systematisch.
2. Nieuw Paradigma: Een architectuur die modulatie-estimatie expliciet ontkoppelt van beeldtransformatie via een Spatial Signal Encoder en 3D LUTs, wat fijnmazige correctie mogelijk maakt.
3. Onzekerheidsmodel: Een nieuwe loss-functie die gebaseerd is op onzekerheidsmodellering met een dichte prior, waardoor de optimalisatie dynamisch wordt afgestemd op de heterogene degradatiepatronen in het beeld.
4. Kleurfideliteit: Een HSL-gebaseerde compensatiestap die kleurstoringen minimaliseert, wat vaak een probleem is bij bestaande methoden.

Resultaten

De methode is getest op vier benchmarks: MSEC, SICEV2, LCDP en REED.

• Kwantitatieve Prestaties: De methode behaalt state-of-the-art resultaten op alle datasets, met name op de LCDP-dataset die specifiek is ontworpen voor niet-uniforme scenario's. De verbeteringen in PSNR, SSIM en LPIPS zijn significant ten opzichte van concurrenten zoals CoTF, LACT en FECNet.
• Kwalitatieve Prestaties: Visuele vergelijkingen tonen aan dat de methode het volledige dynamisch bereik van een scène beter herstelt dan bestaande methoden, zonder de typische "globale bias" (waarbij het hele beeld te helder of te donker wordt gemaakt). Kleuren blijven natuurlijker en details in zowel schaduwen als highlights worden beter behouden.
• Efficiëntie: Ondanks de complexiteit van de decoupling en de extra loss-functie, blijft de inferentie-efficiëntie hoog dankzij de efficiëntie van 3D LUTs.

Betekenis

Dit paper is een belangrijke stap in de evolutie van computervisie voor fotorealistische beeldverbetering. Het daagt de langdurige aanname uit dat blootstellingscorrectie een globaal probleem is. Door ruimtelijke variatie expliciet te modelleren in zowel de netwerkarchitectuur als de trainingsdoelstelling, biedt het paper een robuustere oplossing voor complexe, real-world opnames. De benadering van onzekerheid als een dynamische wegingsfactor in plaats van een statische prior opent nieuwe mogelijkheden voor het omgaan met heterogene degradaties in andere low-level vision taken.