Technische Samenvatting: Op Perceptie Gebaseerde Beeldontruising via Generatieve Compressie

1. Probleemstelling

Beeldontruising beoogt ruis te verwijderen terwijl structurele details en perceptieve realisme behouden blijven. Echter, traditionele methoden die geoptimaliseerd zijn voor pixelgewijze vervormingsmaten (bijvoorbeeld Gemiddelde Kwikkelfout of PSNR), produceren vaak overgegladde reconstructies, met name onder sterke ruis of distributieveranderingen. Dit gebeurt omdat het minimaliseren van vervorming alleen ontoereikend is voor perceptieve kwaliteit; de Rate-Distortion-Perception (RDP) trade-off formaliseert dat het minimaliseren van vervorming zonder perceptieve beperkingen te overwegen leidt tot verlies van fijne texturen en natuurlijke beeldstatistieken.

Bestaande methoden voor perceptieve restauratie, zoals Conditional Wasserstein GANs (WGANs), kunnen lijden onder instabiele training en ontoereikende vastlegging van natuurlijke beelddiversiteit. Daarentegen bieden diffusiemodellen stabiele training en sterke mode-coverage, maar vereisen ze integratie met compressieprincipes om de gestructureerde aard van ruis versus natuurlijke signalen effectief te hanteren.

2. Methodologie

Het artikel stelt een generatief compressiekader voor waarbij ontruising wordt bereikt door beelden te reconstrueren uit entropie-gecodeerde latente representaties. De kernpremiss is dat natuurlijke signalen lage complexiteit vertonen, terwijl ruis ongeorganiseerd is. Door een compressor te laten werken op een vervormingsniveau dat overeenkomt met de ruisstevigheid, wordt hoge-complexiteit ruis onderdrukt terwijl gestructureerde inhoud behouden blijft.

De auteurs introduceren twee complementaire instantiaties van dit kader:

2.1. Conditional WGAN-gebaseerde Compressie-ontruiser (CGanDeCompress)

Deze benadering integreert geleerde verliesvolle compressie met conditionele adversariële training.

• Architectuur: Een encoder ($E$) mapt een ruizige invoer $y$ naar een gekwantiseerde latente representatie $z$. Een decoder ($G$) reconstrueert het geruiste beeld $\hat{x}$ vanuit $z$.
• Rate-Regeling: De latente $z$ wordt entropie-gecodeerd met behulp van een geleerd waarschijnlijkheidsmodel $P$, wat een rate oplevert $r(z) = -\log P(z)$.
• Trainingsdoel: Het systeem minimaliseert een gecombineerde verliesfunctie:
  $$L_{EGP} = \mathbb{E}_y[\lambda r(z) + d(x, \hat{x}) - \beta \log D(\hat{x}, z)]$$
  waarbij $d(x, \hat{x})$ MSE en Learned Perceptual Image Patch Similarity (LPIPS) verlies combineert. Een conditionele WGAN-discriminator $D$ onderscheidt gereconstrueerde beelden van schone beelden, geconditioneerd op $z$, en bevordert zo perceptieve realisme.
• Controle: Parameters $\lambda$ en $\beta$ regelen expliciet de rate-distortion-perception (RDP) trade-off.

2.2. Conditional Diffusie-gebaseerde Reconstructie (DiffDeCompress)

Deze benadering maakt gebruik van diffusiemodellen als generatieve priors, geleid door gecomprimeerde latente variabelen.

• Architectuur: Een stochastische encoder mapt $y$ naar een compacte latente $z$. Een decoder modelleert de conditionele verdeling $p(x_0|z)$ via een omgekeerd diffusieproces.
• Proces: Het omgekeerde proces is geconditioneerd op $z$, wat de ontruistrayectorie leidt naar semantisch consistente reconstructies, terwijl intermediaire latente variabelen toelaten fijne schaal-details te synthetiseren.
• Trainingsdoel: Het model optimaliseert een variatiele bovengrens op de negatieve log-likelihood van diffusie, verrijkt met een expliciete LPIPS-verlies:
  $$L = \rho L_p + (1-\rho)L_c$$
  waarbij $L_p$ de LPIPS-verlies is en $L_c$ de rate-beperking en het diffusiereconstructieverlies omvat.

3. Theoretische Bijdragen

Het artikel stelt niet-asymptotische garanties vast voor compressie-gebaseerde maximum-likelihood (ML) ontruising onder additief witte Gaussische ruis (AWGN).

• Reconstructiefoutgrenzen: De auteurs leiden bovengrenzen af voor de reconstructiefout $\|x - \hat{x}\|$ in termen van de compressierate $R$, vervorming $D(P)$, en perceptieniveau $P$. De grens geeft aan dat met hoge waarschijnlijkheid de fout dicht bij de theoretische vervorming-perceptiegrens $D(P)$ ligt.
• Decodiefoutkans: Het artikel biedt een grens voor de kans dat de ML-ontruiser een verkeerd codewoord selecteert, en toont aan dat deze kans exponentieel afneemt met de compressierate $R$.
• Verbinding met RDP-theorie: Het theoretische kader verbindt ontruisingsprestaties expliciet met de RDP-theorie, en demonstreert dat de voorgestelde methoden opereren binnen de theoretische limieten van vervorming-perceptie trade-offs.

4. Experimentele Resultaten

De methoden werden geëvalueerd op synthetische Gaussische ruis (KODAK en DIV2K datasets) en real-world ruis (Fluorescentie Microscopie Dataset en Smartphone Image Denoising Dataset - SIDD).

• Synthetische Ruis:

  • Perceptieve Kwaliteit: Beide voorgestelde methoden presteerden consequent beter dan klassieke (BM3D) en leer-gebaseerde (N2C, N2N, Deep Decoder) baselines op perceptieve maten (FID, LPIPS, PI).
  • Vervorming Trade-off: Hoewel toezicht-gebaseerde methoden zoals N2C hogere PSNR/SSIM bereikten, vertoonden ze aanzienlijk hogere FID- en LPIPS-scores, wat wijst op overgegladde output. De voorgestelde methoden behielden concurrerende vervormingsprestaties terwijl ze superieur perceptief realisme bereikten.
  • Specifiek: Bij $\sigma=15$ behaalde CGanDeCompress de laagste FID en LPIPS. Bij hogere ruislagen ($\sigma=50$) behaalde DiffDeCompress de beste perceptieve kwaliteit (laagste PI) op KODAK, terwijl CGanDeCompress uitblonk in distributieve gelijkenis (FID) op DIV2K.

• Real-world Ruis:

  • Op de FMD- en SIDD-datasets toonde CGanDeCompress robustheid tegen domeinverschuivingen en complexe real-world ruis.
  • FMD: LPIPS verbeterde van 0,439 (ruis) naar 0,035, met een toename van PSNR van 28,45 dB naar 36,71 dB.
  • SIDD: LPIPS daalde van 0,646 naar 0,093, en PSNR steeg van 26,35 dB naar 32,70 dB, met aanzienlijke winsten in structurele gelijkenis (SSIM).

5. Betekenis en Beweringen

Het artikel beweert dat het voorgestelde generatieve compressiekader de kloof tussen vervormingsgedreven en perceptie-gedreven ontruising succesvol overbrugt. Door ontruising te interpreteren als een projectie op een klasse van lage-complexiteit signalen veroorzaakt door een verliesvolle codec, bereikt de methode:

1. Expliciete Controle: Het vermogen om de RDP trade-off expliciet te beheren via geleerde compressiemodellen.
2. Perceptieve Fideliteit: Het genereren van realistische texturen en fijne details die vaak verloren gaan in op MSE geoptimaliseerde methoden.
3. Theoretische Grondslag: Het vaststellen van niet-asymptotische grenzen die compressierate verbinden met ontruisingsfout, en het valideren van de benadering via informatie-theoretische principes.
4. Robuustheid: Consequente prestaties over synthetische benchmarks en uitdagende real-world scenario's die domeinverschuivingen en complexe ruisdistributies omvatten.

De auteurs concluderen dat generatieve compressie een robuust paradigma biedt voor op perceptie gebaseerde beeldontruising, waarbij verbeterde perceptieve fideliteit wordt bereikt zonder concurrentievermogen in vervormingsprestaties op te offeren.