Beyond Attack Success Rate: A Multi-Metric Evaluation of Adversarial Transferability in Medical Imaging Models

1. Il Problema

L'uso crescente dei sistemi di apprendimento profondo (Deep Learning) nell'analisi di immagini mediche ha sollevato preoccupazioni critiche riguardo alla loro vulnerabilità agli attacchi avversari. Questi attacchi sfruttano piccole perturbazioni, spesso invisibili all'occhio umano, per indurre modelli a commettere errori di classificazione con conseguenze potenzialmente gravi per i pazienti.

Attualmente, la valutazione della robustezza e della trasferibilità di questi attacchi si basa quasi esclusivamente sulla Attack Success Rate (ASR), una metrica binaria che indica semplicemente se un attacco ha avuto successo o meno. Tuttavia, l'ASR presenta limiti fondamentali:

• Ignora la forza della perturbazione necessaria per ottenere il successo.
• Non tiene conto della qualità percettiva dell'immagine alterata (quanto l'immagine appare degradata).
• Non considera i costi computazionali o le sovraccarichi associati alla generazione degli esempi avversari.
• È insufficiente per confrontare architetture eterogenee, come le Reti Neurali Convoluzionali (CNN) e i Vision Transformers (ViT), che apprendono rappresentazioni delle caratteristiche in modo molto diverso.

Il paper evidenzia un vuoto nella ricerca: manca un quadro empirico coerente che analizzi le correlazioni tra l'ASR e altre metriche (come SSIM, PSNR e magnitudine L2) attraverso diversi dataset medici e architetture.

2. Metodologia

Gli autori hanno condotto uno studio empirico sistematico e su larga scala per colmare questo divario.

• Dataset: Sono stati utilizzati quattro dataset medici pubblici e diversificati:
  • PathMNIST (istopatologia), DermaMNIST (dermatologia), RetinaMNIST (oftalmologia) e CheXpert (radiografia toracica, con classificazione multi-etichetta).
• Modelli: Sono stati valutati 7 modelli rappresentativi di due famiglie architetturali:
  • CNN: VGG-16, ResNet-50, DenseNet-121, Inception-v3.
  • ViT (Vision Transformers): DeiT, Swin Transformer, ViT-B/16.
• Attacchi: Sono stati testati 7 metodi di attacco, che vanno da tecniche a singolo passo (FGSM) a tecniche iterative e basate su momentum (PGD, I-FGSM, MI-FGSM, NI-FGSM, VMI-FGSM) e attacchi ensemble.
• Configurazione Sperimentale:
  • Sono stati generati 3.500 configurazioni sperimentali combinando dataset, budget di perturbazione ($\epsilon$), modelli surrogati, modelli target e metodi di attacco.
  • Sono stati testati 5 budget di perturbazione ($\epsilon \in \{2/255, 4/255, 8/255, 16/255, 32/255\}$).
  • Il modello di minaccia è un attacco avversario non mirato in modalità "black-box" (l'attaccante ha accesso completo al modello surrogato ma non al target).
• Metriche di Valutazione: Oltre all'ASR, sono state misurate:
  • PSNR (Peak Signal-to-Noise Ratio) e SSIM (Structural Similarity Index Measure) per la qualità percettiva.
  • Magnitudine L2 per la forza della perturbazione.
• Analisi Statistica: Sono stati calcolati i coefficienti di correlazione di Pearson e Spearman per esaminare le relazioni tra le metriche.

3. Contributi Chiave

1. Dimostrazione del Disaccoppiamento (Decoupling): Il contributo principale è la prova empirica che l'ASR è disaccoppiato dalle metriche di qualità percettiva e di distorsione. Un alto tasso di successo non implica necessariamente una forte degradazione dell'immagine, né viceversa.
2. Analisi Comparativa CNN vs. ViT: Lo studio fornisce una delle prime valutazioni sistematiche della trasferibilità degli attacchi tra architetture CNN e ViT in ambito medico, rivelando differenze sostanziali nei pattern di trasferimento.
3. Quadro Multi-Metrico: Gli autori propongono che la valutazione del rischio avversario in ambito medico non possa basarsi su un'unica metrica, ma richieda un framework che integri efficacia dell'attacco, qualità percettiva e costo della perturbazione.

4. Risultati Principali

• Correlazione Debole tra ASR e Metriche Percettive:

  • Le metriche percettive (SSIM, PSNR) e di distorsione (L2) sono fortemente correlate tra loro (es. $r \approx 0.87$ tra SSIM e PSNR; $r \approx -0.96$ tra SSIM e L2).
  • Tuttavia, la correlazione tra ASR e queste metriche è quasi nulla (valori di Pearson $|r| \le 0.17$ e Spearman $|\rho| \le 0.15$) sia per le CNN che per i ViT.
  • Questo significa che sapere quanto un'immagine è degradata non permette di prevedere se l'attacco avrà successo.

• Impatto del Budget di Perturbazione ($\epsilon$):

  • Aumentare il budget di perturbazione di 16 volte (da $2/255$ a $32/255$) ha portato a un aumento marginale dell'ASR (es. nelle CNN black-box, l'ASR è passato solo dal 75.5% al 79.0%), nonostante un calo significativo nella qualità dell'immagine.
  • Questo conferma che l'ASR e la magnitudine della perturbazione catturano dimensioni diverse del comportamento avversario.

• Trasferibilità Architetturale:

  • ViT: Mostrano una trasferibilità uniformemente alta e coerente (ASR black-box tra 91.1% e 93.4% tra tutte le coppie surrogato-target). Un attaccante con accesso a un singolo modello ViT può generare attacchi efficaci contro qualsiasi altro modello ViT.
  • CNN: Mostrano una trasferibilità asimmetrica e strutturata. Ad esempio, Inception-v3 è il target più facile da attaccare, mentre ResNet-50 è il più resistente.
  • Anomalia CheXpert: Nel dataset multi-etichetta CheXpert, le CNN black-box hanno mostrato un ASR molto basso (52.8%), mentre i ViT hanno raggiunto il 100%, suggerendo che le architetture basate su attenzione gestiscono meglio le complessità dei dataset multi-etichetta in contesti avversari.

• Efficacia degli Attacchi Ensemble:

  • L'attacco Ensemble (che aggrega gradienti da più modelli surrogati) ha ridotto il divario tra white-box e black-box a soli 1.1 punti percentuali, confermando che l'aggregazione dei gradienti è la strategia più efficace per la trasferibilità.

5. Significato e Implicazioni

I risultati hanno profonde implicazioni per la sicurezza dell'IA medica:

1. Inadeguatezza dell'ASR: Fare affidamento solo sull'ASR offre una visione incompleta e fuorviante della robustezza. Un sistema potrebbe sembrare robusto (basso ASR) ma essere vulnerabile a perturbazioni impercettibili, o viceversa.
2. Rischio Clinico Reale: Poiché l'ASR è disaccoppiato dalla qualità percettiva, è possibile generare attacchi che hanno un alto tasso di successo ma sono visivamente indistinguibili dalle immagini originali per un radiologo o un patologista. Questo rappresenta una minaccia critica nei flussi di lavoro clinici, dove l'errore può portare a danni diretti al paziente.
3. Necessità di Framework Multi-Metrica: Per valutare correttamente il rischio avversario nei sistemi medici, è necessario adottare framework che considerino simultaneamente:
   • L'efficacia dell'attacco (ASR).
   • La qualità percettiva (SSIM/PSNR).
   • Il costo della perturbazione (L2).
4. Implicazioni per i ViT: L'elevata e uniforme trasferibilità dei ViT suggerisce che, se un modello ViT medico viene compromesso, il rischio di propagazione dell'attacco ad altri modelli ViT è estremamente alto, richiedendo strategie di difesa specifiche per questa architettura.

In conclusione, il paper invita la comunità di ricerca a superare la semplice ottimizzazione dell'ASR per abbracciare una valutazione olistica che tenga conto della natura multidimensionale delle minacce avversarie in contesti critici come la medicina.