Evaluating Similitude and Robustness of Deep Image Denoising Models via Adversarial Attack

1. Probleemstelling

Deep Neural Networks (DNN's) hebben state-of-the-art prestaties behaald in beelddenoising en hebben traditionele modelgestuurde methoden overtroffen. DNN's staan echter bekend om hun kwetsbaarheid voor adversariële aanvallen, waarbij onwaarneembare verstoringen leiden tot significante prestatiedegradatie.

• Het Gat: Hoewel adversariële aanvallen goed bestudeerd zijn in beeldclassificatie, zijn ze onderbelicht in beelddenoising (een regressietaken).
• De Uitdaging: Bestaande aanvallen veranderen de ruisverdeling vaak aanzienlijk, waardoor onduidelijk blijft of prestatiedalingen het gevolg zijn van de aanval of simpelweg van een verandering in ruiskenmerken. Bovendien zijn de robuustheid en interne gelijkenissen tussen verschillende denoising-architecturen (niet-blind, blind, plug-and-play, unfolding) onbekend.
• Doel: Een adversariële aanval voorstellen die de originele ruisverdeling behoudt terwijl denoising-modellen succesvol worden misleid, en deze aanval gebruiken om de robuustheid en structurele gelijkenis van diverse diepe denoising-modellen te evalueren.

2. Methodologie

A. Denoising-PGD (Voorgestelde Aanval)

De auteurs stellen denoising-PGD voor, een adversariële aanvalsmethode gebaseerd op het Projected Gradient Descent (PGD)-kader, specifiek aangepast voor beelddenoising.

• Input: Een ruisbeeld $x = u + n$ (waarbij $u$ schoon is en $n$ Gaussische ruis).
• Doel: Een adversariële ruisafbeelding $x'$ genereren zodat de gedenoiste output $D(x')$ aanzienlijk slechtere kwaliteit heeft dan $D(x)$, terwijl de ruisverdeling bijna identiek blijft aan Gaussisch.
• Verliesfunctie: In tegenstelling tot classificatie-aanvallen die classificatiefouten maximaliseren, minimaliseert deze methode de gelijkenis tussen de gedenoiste output en het grondwaarheid-schoon beeld.
  $$\min \gamma(x' - x) \quad \text{s.t.} \quad E(D(x), y) - E(D(x'), y) > M$$
  Waarbij $E$ een metriek is zoals PSNR, SSIM of MAE, en $M$ een drempelwaarde voor een geslaagde aanval.
• Belangrijke Beperking: De verstoring wordt toegevoegd aan het ruisbeeld (niet aan het schoon beeld) om ervoor te zorgen dat de resulterende ruisverdeling dicht bij Gaussisch blijft, waardoor wordt voorkomen dat de aanval wordt toegeschreven aan een verschuiving in ruisniveaus.

B. Robuustheidsgelijkenis (DMRS)

Om te onderzoeken waarom adversariële voorbeelden zo goed overdragen tussen verschillende modellen, introduceren de auteurs een metriek genaamd Denoising Model Robustness Similitude (DMRS).

• Concept: Ze analyseren de "adversariële ruimte" door ruismonsters te genereren op een cirkel in de hoogdimensionale ruimte rondom het Gaussische ruisbeeld.
• Meting: Ze berekenen de Intersection over Union (IoU) van de "radargrafieken" die de adversariële gebieden van twee verschillende modellen voorstellen.
• Hypothese: Als twee modellen dezelfde set adversariële monsters delen (hoge DMRS), bezitten ze vergelijkbaar lokaal gedrag en beslissingsgrenzen in de buurt van testmonsters.

C. Defensie: Adversariële Training

Het paper evalueert adversariële training als een verdedigingsmechanisme, waarbij het model wordt hergetraind met een mengsel van schoon Gaussisch ruis en adversariële ruisafbeeldingen.

D. L2-Denoising-PGD

Om verder te garanderen dat de ruisverdeling strikt Gaussisch blijft, stellen de auteurs L2-denoising-PGD voor, wat een L2-beperking oplegt aan de verstoring en de adversariële ruis dwingt om strikter te voldoen aan de Gaussische ruisverdelingsaanname.

3. Belangrijkste Bijdragen

1. Denoising-PGD Aanval: Een nieuwe adversariële aanvalsmethode die de prestaties van diepe denoising-modellen succesvol degradeert terwijl de ruisverdeling bijna ongewijzigd blijft (onwaarneembaar voor het menselijk oog).
2. Ontdekking van Hoge Gelijkenis: De studie onthult dat alle huidige mainstream diepe denoising-modellen (niet-blind, blind, plug-and-play en unfolding) bijna dezelfde set adversariële monsters delen. Dit impliceert dat ondanks verschillende architecturen en trainingsparadigma's, deze modellen uiterst vergelijkbare lokale functies leren.
3. Robuustheidsranking:
   • Meest Robuust: Datagedreven niet-blind modellen (bijv. DnCNN, ECNDNet).
   • Matig Robuust: Model-data hybride-gedreven modellen (bijv. DPIR, DeamNet).
   • Minst Robuust: Blinde denoising-modellen (bijv. DnCNN-B, Noise2Noise).
4. Overdraagbaarheid: De aanval vertoont onverwacht hoge overdraagbaarheid tussen verschillende modeltypen, wat zeldzaam is bij classificatietaken (waar PGD meestal lage overdraagbaarheid heeft). Dit bevestigt de hoge structurele gelijkenis van diepe denoising-netwerken.
5. Defensievalidatie: Adversariële training verbetert de robuustheid aanzienlijk (reductie van PSNR-daling van ~0,8 dB naar ~0,1 dB) zonder de prestaties op schoon Gaussisch ruis te verslechteren.
6. Modelgestuurde Weerstand: De klassieke modelgestuurde methode BM3D toont sterke weerstand tegen deze adversariële aanvallen, in tegenstelling tot deep learning-modellen.

4. Experimentele Resultaten

• Prestatiedaling: Op het Set12-dataset (ruisniveau $\sigma=25$) veroorzaakte de aanval:
  • DnCNN (Niet-blind): PSNR-daling van ~0,8 dB.
  • DnCNN-B (Blind): PSNR-daling van ~4,0 dB (aanzienlijk kwetsbaarder).
  • DPIR (Plug-and-Play): PSNR-daling van ~2,1 dB.
• Overdraagbaarheid: Adversariële monsters gegenereerd voor DnCNN veroorzaakten aanzienlijke prestatiedalingen in FFDNet, ECNDNet, DnCNN-B, RDDCNN-B, DPIR en DeamNet.
• Gelijkeniscores (DMRS):
  • Niet-blind modellen toonden ~97% gelijkenis met elkaar.
  • Hybride modellen (DPIR, DeamNet) toonden ~90-94% gelijkenis met niet-blind modellen.
  • Blinde modellen toonden lagere gelijkenis (~50-60%) met niet-blind modellen, maar hoge gelijkenis met elkaar.
• Kleurafbeeldingen: De aanval werd uitgebreid naar RGB-afbeeldingen (FFDNet), waarbij vergelijkbare overdraagbaarheidstrends werden getoond, hoewel iets minder effectief dan op grijstinten-afbeeldingen.
• Adversariële Training: Na training met adversariële monsters daalde de kwetsbaarheid van het model drastisch (PSNR-residu gereduceerd van 0,88 dB naar 0,16 dB), en het model leverde zelfs betere resultaten op schoon Gaussisch ruis dan het originele model door artefacten te verminderen.

5. Betekenis en Implicaties

• Kwetsbaarheid van Diepe Denoising: Ondanks hoge PSNR-scores zijn diepe denoising-modellen fragiel en kunnen ze gemakkelijk "opgelicht" worden door dezelfde kleine verstoring, ongeacht hun architectuur.
• Gefuseerd Gedrag: De bevinding dat diverse modellen dezelfde adversariële ruimte delen, suggereert dat diepe denoising-taken mogelijk zijn geconvergeerd naar een specifiek, smal oplossingsmanifold, waardoor ze collectief kwetsbaar zijn.
• Defensiestrategie: Adversariële training is bewezen een effectieve verdediging te zijn, die zowel de robuustheid als de algemene denoising-kwaliteit verbetert.
• Rol van Klassieke Methoden: De weerstand van BM3D suggereert dat klassieke modelgestuurde methoden kunnen dienen als een robuuste "zuiveraar" of voorverwerkingsstap in adversariële verdedigingspijplijnen, een rol die vaak aan deep learning wordt toegeschreven, maar die deep learning zelf niet kan waarborgen tegen deze specifieke aanvallen.
• Nieuwe Onderzoeksrichting: Dit werk vestigt "Image Denoising Adversarial Attack" als een distinct en kritiek onderzoeksgebied, dat verder gaat dan classificatie naar regressie-gebaseerde visietaken.