Beyond Attack Success Rate: A Multi-Metric Evaluation of Adversarial Transferability in Medical Imaging Models

Probleemstelling

Deep learning-systemen worden steeds vaker gebruikt in de medische beeldanalyse, maar ze zijn kwetsbaar voor adversariale perturbaties (kleine, voor het menselijk oog onzichtbare wijzigingen die de modelvoorspelling veranderen). De huidige evaluatie van deze kwetsbaarheden vertrouwt bijna uitsluitend op de Attack Success Rate (ASR). ASR is een binair metriek (succes of mislukking) dat echter andere cruciale factoren negeert:

1. De sterkte van de perturbatie.
2. De perceptuele kwaliteit van het beeld (hoe zichtbaar is de verstoring?).
3. De transferabiliteit van aanvallen tussen verschillende modelarchitecturen.

Met de opkomst van Vision Transformers (ViTs) naast traditionele Convolutional Neural Networks (CNNs), is het onduidelijk of ASR voldoende is om het adversariale gedrag te vangen, aangezien deze architecturen fundamenteel anders leren. Er ontbreekt een samenhangend empirisch kader om de correlaties tussen ASR, perceptuele kwaliteit en perturbatiestrength te analyseren.

Methodologie

De auteurs hebben een systematische empirische studie uitgevoerd om de correlaties tussen verschillende evaluatiemetrics te onderzoeken.

• Datasets: Vier medische beelddatasets werden gebruikt:
  • PathMNIST (histopathologie), DermaMNIST (dermatologie), RetinaMNIST (oftalmologie) en CheXpert (thoraxröntgen, multi-label).
• Modellen: Zeven modellen verdeeld over twee families:
  • CNNs: VGG-16, ResNet-50, DenseNet-121, Inception-v3.
  • Vision Transformers (ViTs): DeiT, Swin Transformer, ViT-B/16.
• Aanvalsmethoden: Zeven verschillende adversariale aanvalstechnieken, variërend van single-step (FGSM) tot iteratieve methoden (PGD, I-FGSM, MI-FGSM, NI-FGSM, VMI-FGSM) en ensemble-aanvallen.
• Perturbatiebudgetten: Vijf $L_\infty$-gebonden budgetten ($\epsilon$): $\{2/255, 4/255, 8/255, 16/255, 32/255\}$.
• Evaluatiemetrics: Naast ASR werden drie aanvullende metrics gemeten:
  • PSNR (Peak Signal-to-Noise Ratio) en SSIM (Structural Similarity Index Measure) voor perceptuele kwaliteit.
  • $L_2$-norm voor de grootte van de perturbatie.
• Experimentopzet: Er werden in totaal 3.500 experimentele configuraties gegenereerd (witte doos en zwarte doos scenario's). De auteurs berekenden Pearson- en Spearman-correlaties om de relaties tussen de metrics te analyseren.

Belangrijkste Bijdragen

1. Systematische Vergelijking: De eerste uitgebreide studie die de correlatie tussen ASR, perceptuele metrics en perturbatiestrength analyseert over zowel CNNs als ViTs in medische domeinen.
2. Onthulling van Decoupling: Het aantonen dat ASR fundamenteel ongerelateerd is aan perceptuele kwaliteit en perturbatiestrength, terwijl deze laatste metrics sterk met elkaar correleren.
3. Architectuur-specifiek Inzicht: Een gedetailleerde analyse van de transferabiliteit, waarbij ViTs een uniform hoge transferabiliteit tonen, in tegenstelling tot de asymmetrische transferabiliteit bij CNNs.
4. Advies voor Evaluatie: Het pleidooi voor een multi-metric framework in plaats van het vertrouwen op ASR alleen voor het beoordelen van risico's in medische AI.

Resultaten

De resultaten tonen een consistent patroon aan dat de huidige evaluatiemethoden tekortschieten:

• Decoupling van ASR: Er is een zeer zwakke correlatie tussen ASR en de andere metrics (SSIM, PSNR, $L_2$).
  • Voor ViT-modellen: $|r| \leq 0.05$ en $|\rho| \leq 0.11$.
  • Voor CNN-modellen: $|r| \leq 0.17$ en $|\rho| \leq 0.15$.
  • Dit betekent dat een hoge ASR niet voorspelbaar is op basis van hoe groot de perturbatie is of hoe sterk het beeld degradeert.
• Sterke Koppeling van Perceptuele Metrics: SSIM, PSNR en $L_2$ correleren sterk met elkaar ($|r| \geq 0.87$). Een grotere perturbatie leidt consistent tot een lagere beeldkwaliteit, maar dit heeft geen lineair effect op het succes van de aanval.
• Invloed van het Budget: Een 16-voudige verhoging van het perturbatiebudget (van $\epsilon=2/255$ naar $32/255$) resulteert slechts in marginale toenames in ASR (bijv. CNN black-box van 75,5% naar 79,0%), terwijl de beeldkwaliteit aanzienlijk daalt.
• Transferabiliteit:
  • ViTs: Tonen een uitzonderlijk hoge en uniforme transferabiliteit (91,1% - 93,4% black-box ASR) tussen verschillende ViT-modellen. Een aanval op één ViT werkt bijna altijd op andere ViTs.
  • CNNs: Tonen een asymmetrisch patroon. Inception-v3 is het makkelijkst aan te vallen, terwijl ResNet-50 het meest resistent is.
  • CheXpert Anomalie: Bij het multi-label CheXpert-dataset daalt de CNN black-box ASR drastisch tot 52,8%, terwijl ViTs hier 100% bereiken. Dit suggereert dat ViTs beter omgaan met complexe, multi-label beslissingsgrenzen in dit specifieke scenario.
• Ensemble Aanvallen: De ensemble-aanval (gradiënten combineren van meerdere surrogate-modellen) verkleint de kloof tussen witte doos en zwarte doos prestaties tot slechts 1,1%, wat aantoont dat het een zeer effectieve strategie is voor transfer.

Betekenis en Conclusie

De studie concludeert dat ASR alleen een onvoldoende indicator is voor adversariaal risico in medische AI-systemen.

• Klinische Impact: Omdat ASR losstaat van perceptuele kwaliteit, kunnen aanvallen die visueel onmerkbaar zijn (hoge SSIM/PSNR) toch leiden tot misdiagnoses. Omgekeerd kunnen zichtbare verstoringen even effectief zijn als onzichtbare. Dit maakt het voor clinici moeilijk om aanvalspunten te detecteren op basis van beeldkwaliteit alleen.
• Aanbeveling: Er is een multi-metric evaluatiekader nodig dat niet alleen de effectiviteit van de aanval (ASR) meet, maar ook de methodologie (perturbatiestrength) en de kosten (perceptuele degradatie) omvat.
• Toekomst: De auteurs pleiten voor de ontwikkeling van samengestelde metrics die deze factoren verenigen om een holistisch risicobeoordeling mogelijk te maken voor de veilige implementatie van medische AI.

Kortom, de paper waarschuwt dat het vertrouwen op één enkel getal (ASR) een onvolledig en potentieel misleidend beeld geeft van de veiligheid van medische deep learning-modellen, en roept op tot een meer genuanceerde, multi-dimensionale evaluatie.