Technische Samenvatting: GuidNoise

Probleemstelling

Beeldruisonderdrukking (image denoising) is een fundamentele taak in computer vision, maar het trainen van effectieve deep learning-modellen vereist grootschalige, hoogwaardige paren van ruizige en schone afbeeldingen. Het verwerven van dergelijke real-world data is kostbaar en moeilijk omdat het vereist dat dezelfde scène onder identieke omstandigheden wordt vastgelegd met zowel ruizige als schone sensoren, wat vaak specifieke camerameta-data (bijv. ISO, sluitersnelheid) vereist om complexe ruispatronen nauwkeurig te modelleren.

Hoewel recente generatieve modellen (GANs, Normalizing Flows en diffusiemodellen) hebben geprobeerd om realistische ruis te synthetiseren om datatekort te verlichten, kampen bestaande methoden met significante beperkingen:

1. Afhankelijkheid van Meta-data: Veel benaderingen vereisen specifieke camerameta-data om bepaalde imagingsystemen na te bootsen.
2. Vereisten voor Dataparen: Andere methoden vertrouwen op uitgebreide doel-specifieke ruizige-schone afbeeldingparen, wat hun vermogen om te generaliseren over verschillende apparaten, ISO-instellingen of scènevariaties beperkt.
3. Generalisatiefalen: Modellen die getraind zijn op specifieke omgevingen, hebben vaak moeite om zich aan te passen aan diverse, ongeziene omstandigheden zonder hertraining of gedetailleerde configuratie.

Methodologie

De auteurs stellen GuidNoise voor, een single-pair guided diffusiemodel ontworpen voor gegeneraliseerde ruissynthese. De kernpremiss is dat één enkel ruizig-schoon beeldpaar (de "guidance") uit een doeldomein voldoende is om de synthese van realistische ruis voor elke schone afbeelding te sturen, zonder dat daarvoor camerameta-data of uitgebreide gepaarde trainingsdata voor dat specifieke doel nodig is.

Architectuur en Training

GuidNoise is gebouwd op een conditionele U-Net architectuur binnen een Denoising Diffusion Probabilistic Model (DDPM) framework, waarbij gebruik wordt gemaakt van v-predictie voor stabiliteit. De methode introduceert twee belangrijke innovaties:

1. Cascade Decoding Architectuur:
   Het model gebruikt een parallelle encoder $E$ om kenmerken te extraheren uit de invoerruizige afbeelding ($x_t$), de schone afbeelding ($c$) en het guidance-paar ($x_r, c_r$). Een Guidance-aware Affine Feature Modification (GAFM) module wordt geïntroduceerd om domein-specifieke ruisinformatie in de decoder te injecteren.

   • Het guidance-paar wordt gecodeerd en verwerkt door een Noise-aware guidance module $\tau$ om een guidance embedding $h$ te produceren.
   • Deze embedding $h$, gecombineerd met de tijd-embedding $t$, moduleert de residuele blokken van de decoder via affine parameters ($\alpha_i, \beta_i$) gegenereerd door een Multi-Layer Perceptron (MLP).
   • Dit mechanisme stelt het model in staat om fijnmazige ruisdistributies van het guidance-paar te vangen en toe te passen op het generatieproces zonder direct ruwe kenmerken te kopiëren, wat de generalisatie bevordert.

2. Noise-Aware Refine Loss:
   Standaard diffusieverliezen (L2) hebben de neiging om hoogfrequente componenten, waar ruisinformatie zich bevindt, te onderdrukken. Om dit aan te pakken, introduceren de auteurs een Refine Loss ($L_{refine}$) die wordt toegepast tijdens de laatste stappen van het backward diffusieproces.

   • Deze loss maakt gebruik van een differentieerbare histogram en de Kullback-Leibler Divergentie (KLD) om de distributie van de gesynthetiseerde ruizige afbeelding af te stemmen op de grondwaarheid (ground truth) van de guidance-ruis.
   • De totale verliesfunctie combineert de standaard diffusieverlies met de refine loss: $L = L_{Diffusion} + \lambda L_{Refine}$.

Inferentie

Tijdens de inferentie neemt het model een schone afbeelding $c$ en een enkel guidance-paar $(x_r, c_r)$ uit het doeldomein. Het synthetiseert een ruizige afbeelding $\hat{x}$ die de ruisdistributie van $x_r$ nabootst. Cruciaal is dat dit proces niet vereist dat de doel-schone afbeelding een bijbehorend echt ruizig paar heeft tijdens de generatiefase, noch dat er camerameta-data nodig is.

Belangrijkste Bijdragen

1. GuidNoise Framework: Een single-pair guided diffusiemodel dat realistische ruizige afbeeldingen genereert met slechts één guidance-paar, waardoor de noodzaak voor camerameta-data of grootschalige doel-specifieke gepaarde datasets wordt geëlimineerd.
2. Guidance-aware Affine Feature Modification (GAFM): Een nieuw mechanisme om fijnmazige ruisdistributies van een guidance-paar in het diffusieproces te embedden via affine modulatie, wat effectieve domeinaanpassing mogelijk maakt.
3. Noise-Aware Refine Loss: Een verliesfunctie ontworpen om hoogfrequente ruisdetails te behouden door de gesynthetiseerde ruisdistributie af te stemmen op de grondwaarheid via histogram matching, wat de realiteitsgraad van de gegenereerde ruis verbetert.
4. Self-Augmentation Capability: Het vermogen om efficiënt synthetische ruizige-schone paren te genereren tijdens de inferentie, waardoor de training van data kan worden uitgebreid om de prestaties van ruisonderdrukking te verbeteren, met name in scenario's met beperkte data of lichtgewicht modellen.

Experimentele Resultaten

De auteurs hebben GuidNoise geëvalueerd op de SIDD-Validation, SIDD+, PolyU en Nam datasets, waarbij het werd vergeleken met state-of-the-art methoden zoals C2N, Flow-sRGB, NeCA en NAFlow.

• Ruisovereenkomst: GuidNoise behaalde superieure gelijkenis-metrieken. Op de SIDD-Validation dataset bereikte het de laagste KLD (0.014) en AKLD (0.113) scores, waarmee het NAFlow en NeCA-W overtrof.
• Generalisatie: Het model vertoonde een sterke generalisatie over verschillende cameratypes (DSLR vs. Smartphone) en datasets (PolyU, Nam), ondanks dat het primair getraind was op de smartphone-gebaseerde SIDD-dataset. Het slaagde erin om ruisdistributies voor ongeziene apparaten te synthetiseren zonder specifieke training.
• Prestaties van Ruisonderdrukking: Wanneer gebruikt voor het trainen van denoising-netwerken (DnCNN en NAFNet), leverde door GuidNoise gegenereerde data prestaties op die bijna identiek zijn aan training met echte ruizige afbeeldingen. Op de SIDD-Benchmark behaalde een met GuidNoise getrainde NAFNet een PSNR van 37.48, vergeleken met 37.60 voor echte data.
• Self-Augmentation: Experimenten toonden aan dat self-augmentation (het mengen van echte en synthetische data) de prestaties aanzienlijk verbetert, vooral voor kleine modellen en beperkte datasets. Een self-augmented NAFNet-Small, getraind op slechts 1/16 van de echte data, presteerde beter dan een NAFNet-Medium getraind op de volledige set echte data.

Betekenis

Het artikel stelt dat GuidNoise de kritieke flessenhals van data-acquisitie bij beeldruisonderdrukking aanpakt door de vereisten van bestaande generatieve ruissynthese-methoden te versoepelen. Door te vertrouwen op een enkel guidance-paar in plaats van meta-data of uitgebreide gepaarde datasets, biedt de methode een flexibele en robuuste oplossing voor het generaliseren van ruissynthese in diverse real-world scenario's. De auteurs benadrukken dat deze aanpak niet alleen de kwaliteit van de gesynthetiseerde ruis verbetert, maar ook praktische data-augmentatiestrategieën mogelijk maakt die de prestaties van ruisonderdrukking verbeteren in omgevingen met beperkte middelen.