Single-Stage Signal Attenuation Diffusion Model for Low-Light Image Enhancement and Denoising

Probleemstelling

Beeldverbetering bij weinig licht (Low-Light Image Enhancement - LLIE) is een kritieke taak voor toepassingen zoals nachtpatrouille, autonoom rijden en remote sensing. Bestaande methoden kampen met twee hoofdproblemen:

1. Traditionele en Deep Learning-methoden: Methoden gebaseerd op Retinex-theorie of CNNs/Transformers hanteren vaak een twee-traps aanpak (eerst helderheid verhogen, dan ruis verwijderen, of andersom). Deze ontkoppeling breekt het intrinsieke verband tussen verlichting en ruis, wat leidt tot suboptimale prestaties, kleurvervorming en artefacten.
2. Bestaande Diffusiemodellen: Hoewel diffusiemodellen (zoals DDPM) uitstekend zijn in het modelleren van complexe ruis, hanteren de meeste LLIE-toepassingen binnen dit domein nog steeds een tweestaps-pijplijn (bijv. "versterk eerst, denoise daarna" of het gebruik van extra correctienetwerken). Dit resulteert in inefficiëntie en een gebrek aan synergie tussen de taken van helderheidsaanpassing en ruisreductie.

Methodologie: Signal Attenuation Diffusion Model (SADM)

De auteurs stellen SADM voor, een innovatief enkelvoudig stadium (single-stage) diffusiemodel dat helderheidsverbetering en ruisreductie unifyert door een signaalverzwakkingsmechanisme in het diffusieproces te integreren.

1. Het Signaalverzwakkingsmechanisme:
In tegenstelling tot standaard DDPM's die een beeld naar puur witte ruis diffunderen, introduceert SADM een verzwakkingscoëfficiënt $k_t$ in het voorwaartse proces.

• Formule: $x_t = k_t(a_t x_{t-1} + b_t \epsilon_t)$
• Principe: Terwijl ruis wordt toegevoegd, wordt het signaal ook verzwakt ($k_t < 1$). Na $T$ stappen convergeert het beeld niet alleen naar ruis, maar ook naar een zeer lage intensiteitsniveaus die kenmerkend zijn voor extreem weinig licht.
• Gevolg: Het omgekeerde proces (denoising) moet nu automatisch zowel het signaal herstellen (helderheid verhogen) als de ruis verwijderen. Dit elimineert de noodzaak voor gescheiden pijplijnen of correctienetwerken.

2. Wiskundige Formulering:
De auteurs leiden een nieuwe voorwaartse en achterwaartse overgang af. Door de onafhankelijke Gaussische verdelingen te superponeren, wordt de equivalente variantie berekend als $k_t^4 - \bar{k}_t^2 \bar{a}_t^2$. Dit zorgt voor een wiskundig onderbouwde framework waarbij de optimatiedoelstelling (het minimaliseren van de KL-divergentie) leidt tot een enkele loss-functie die beide taken optimaliseert.

3. Sampling en Architectuur:

• DDIM Sampling: Om de inferentie-efficiëntie te verbeteren, wordt DDIM (Denoising Diffusion Implicit Models) gebruikt. Dit elimineert de Markov-ketenvraag en versnelt het generatieproces aanzienlijk zonder kwaliteitsverlies.
• Multi-scale Pyramid: Een pyramide-strategie wordt toegepast om de rekenlast te verlagen door het beeld op verschillende schalen te verwerken.
• Netwerk: Het model gebruikt een SR3Unet als denoiser. Als conditionele input worden de ruisondersteunde afbeelding, tijdstap-informatie, en een aangepaste beeld-prior gebruikt.
• Prior Guidance: Om kleurafwijkingen te minimaliseren en de schatting van verlichting te verbeteren, wordt een lichte dehazing-algoritme toegepast op de invoer (als prior), in plaats van histogramgelijkmaking, wat betere kleurbehoud garandeert.

4. Loss Functies:
Het trainingsproces wordt geleid door een combinatie van:

• L1 Loss: Voor de voorspelde ruis.
• GT-mean Loss & Perception Loss: Om de helderheid van het gereconstrueerde beeld af te stemmen op de Ground Truth (GT) en perceptuele consistentie te waarborgen via VGG-19 features.

Belangrijkste Bijdragen

1. Unificatie in één stadium: De eerste diffusiemodel die helderheidsverbetering en ruisreductie volledig integreert in één enkel netwerk via een signaalverzwakkingsmechanisme, waardoor de complexiteit van tweestaps-methoden wordt verwijderd.
2. Fysische interpretatie: Het introduceren van een verzwakkingsfactor die de fysieke degradatie van licht (signaalverlies) simuleert tijdens het voorwaartse proces, waardoor het model beter begrijpt hoe een normaal beeld degradeert tot een donker beeld.
3. Robuustheid en Generalisatie: Het gebruik van adaptieve priors (dehazing) en een geoptimaliseerde loss-functie verbetert de robuustheid tegen kleurvervorming en werkt goed op ongepaarde datasets.
4. Efficiëntie: Door DDIM en multi-scale sampling te combineren, wordt een hoge inferentiesnelheid bereikt zonder in te leveren op de beeldkwaliteit.

Resultaten

De auteurs hebben SADM getest op meerdere publieke datasets (LOLv1, LOLv2-Real, LOLv2-Syn) en vergeleken met 12 state-of-the-art (SOTA) methoden.

• Kwantitatieve Prestaties: SADM behaalde de hoogste scores op de belangrijkste metrics:
  • LOLv1: PSNR: 28.0985, SSIM: 0.8770 (beste in zijn klasse).
  • LOLv2 Real: PSNR: 28.9338 (eerste plaats).
  • LOLv2 Syn: PSNR: 26.7042, SSIM: 0.9224.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat SADM superieure helderheidsherstel biedt, ruis effectiever onderdrukt dan concurrenten, en minder last heeft van kleurvervorming of "smearing" (vervaging) in donkere gebieden.
• Generalisatie: Op ongepaarde datasets (real-world scènes zonder Ground Truth) toont SADM een sterke adaptieve vermogen om overbelichting te onderdrukken en natuurlijke tinten te behouden, terwijl andere methoden vaak over-versterken of artefacten introduceren.
• Ablatie Studies: Experimenten bevestigen dat het signaalverzwakkingscoëfficiënt ($k$) cruciaal is voor de prestaties en dat de combinatie van GT-mean loss en perceptuele loss de beste balans biedt tussen pixel-accuraatheid en visuele kwaliteit.

Betekenis en Impact

Dit paper biedt een fundamentele verschuiving in de aanpak van low-light beeldverbetering. Door het loslaten van de traditionele tweestaps-pijplijn en het integreren van fysieke degradatiemodellen in het diffusieproces, lost SADM het probleem van inconsistentie tussen helderheidsaanpassing en ruisreductie op.

• Voor de gemeenschap: Het biedt een efficiënter, interpreteerbaarder en krachtiger paradigma voor beeldherstel, wat direct toepasbaar is in kritieke systemen zoals autonoom rijden en beveiliging.
• Technologische vooruitgang: Het bewijst dat diffusiemodellen niet alleen generatief kunnen zijn, maar ook effectief kunnen worden ingezet voor complexe inverse problemen door het slim inbouwen van fysieke priors in de diffusion-voorwaartse stap.

De auteurs kondigen aan dat de broncode en data openbaar beschikbaar zullen worden gesteld, wat de reproduceerbaarheid en verdere ontwikkeling in dit veld zal stimuleren.