Beyond Attack Success Rate: A Multi-Metric Evaluation of Adversarial Transferability in Medical Imaging Models

1. Problématique et Contexte

L'intégration croissante des systèmes d'apprentissage profond (Deep Learning) dans l'analyse d'images médicales soulève des préoccupations majeures concernant leur vulnérabilité aux attaques adverses. Ces attaques consistent en de petites perturbations, souvent invisibles à l'œil humain, capables de tromper les modèles et de provoquer des erreurs de diagnostic critiques.

Le problème central identifié par les auteurs réside dans la dépendance excessive de la communauté de recherche à une seule métrique d'évaluation : le Taux de Réussite de l'Attaque (ASR - Attack Success Rate).

• Limites de l'ASR : C'est une métrique binaire (succès/échec) qui ignore des facteurs cruciaux tels que la force de la perturbation, la qualité perceptuelle de l'image altérée et les coûts de génération des exemples adverses.
• Lacune de recherche : Il est unclear si l'ASR suffit à capturer le comportement des attaques, en particulier avec l'émergence des Vision Transformers (ViTs) qui défient la domination des Réseaux de Neurones Convolutifs (CNN). Les architectures apprennent différemment, et la relation entre la réussite de l'attaque, la dégradation perceptuelle et la magnitude de la perturbation n'a pas été systématiquement analysée à travers ces architectures hétérogènes dans le domaine médical.

2. Méthodologie

Les auteurs ont mené une étude empirique systématique et à grande échelle pour combler cette lacune.

• Données : Quatre ensembles de données d'images médicales couvrant différents domaines cliniques :
  • PathMNIST (Histopathologie, 9 classes)
  • DermaMNIST (Dermatologie, 7 classes)
  • RetinaMNIST (Ophtalmologie, 5 classes)
  • CheXpert (Radiographie thoracique, 14 étiquettes multi-classes)
• Architectures Modèles : Sept modèles représentant deux paradigmes dominants :
  • Famille CNN : VGG-16, ResNet-50, DenseNet-121, Inception-v3.
  • Famille ViT : DeiT, Swin Transformer, ViT-B/16.
• Attaques : Sept méthodes d'attaque adverses, allant des approches à une étape (FGSM) aux méthodes itératives complexes (PGD, I-FGSM, MI-FGSM, NI-FGSM, VMI-FGSM) et aux attaques par ensemble (Ensemble Attack).
• Configuration Expérimentale :
  • Cinq budgets de perturbation ($\epsilon$) sous la norme $L_\infty$ : $\{2/255, 4/255, 8/255, 16/255, 32/255\}$.
  • Scénarios Blanc (surrogate = cible) et Noir (surrogate $\neq$ cible) pour évaluer la transférabilité.
  • Total de 3 500 configurations expérimentales.
• Métriques d'Évaluation : Au-delà de l'ASR, l'étude mesure :
  • Qualité Perceptuelle : SSIM (Indice de similarité structurelle) et PSNR (Rapport signal sur bruit de crête).
  • Magnitude de Perturbation : Norme $L_2$.
  • Analyse Statistique : Calcul des coefficients de corrélation de Pearson et de Spearman pour examiner les relations entre ces métriques.

3. Contributions Clés

1. Cadre d'évaluation Multi-Métrique : Proposition d'une approche holistique qui ne se limite pas à l'ASR, mais intègre la qualité de l'image et le coût de la perturbation.
2. Analyse Comparative CNN vs ViT : Première étude approfondie comparant systématiquement la transférabilité et les métriques d'attaque entre les architectures CNN et les Transformers dans le contexte médical.
3. Preuve de Découplage : Démonstration empirique que l'ASR est découplé des métriques de qualité perceptuelle et de magnitude de perturbation, rendant l'ASR seul insuffisant pour évaluer le risque.
4. Ressources Open Source : Publication du code source, des données et des artefacts expérimentaux sur l'Open Science Framework (OSF) pour assurer la reproductibilité.

4. Résultats Principaux

A. Découplage de l'ASR et des Métriques de Qualité

L'analyse de corrélation révèle un résultat fondamental :

• Corrélations Fortes Internes : Les métriques de qualité perceptuelle (SSIM, PSNR) et de magnitude ($L_2$) sont fortement corrélées entre elles (ex: $|r| \ge 0.87$). Une perturbation plus forte dégrade inévitablement la qualité de l'image.
• Découplage de l'ASR : L'ASR présente une corrélation quasi nulle avec SSIM, PSNR et $L_2$ (ex: $|r| \le 0.17$ pour les CNN, $|r| \le 0.05$ pour les ViT).
  • Interprétation : La réussite d'une attaque (changement de classe) ne dépend pas de la force de la perturbation ni de la dégradation visuelle de l'image. Une attaque peut réussir avec une perturbation imperceptible ou très visible, sans lien prévisible entre les deux.

B. Transférabilité des Attaques

• ViT (Transformers) : Présentent une transférabilité uniformément élevée et symétrique. Les attaques générées sur un modèle ViT se transfèrent à d'autres modèles ViT avec un taux de réussite en boîte noire de 91,1 % à 93,4 %, indépendamment de l'architecture cible spécifique.
• CNN : Présentent une transférabilité asymétrique et structurée. Par exemple, Inception-v3 est la cible la plus facile à attaquer, tandis que ResNet-50 est la plus résistante.
• Cas CheXpert : Une anomalie notable où les CNN en boîte noire ont un ASR très bas (52,8 %) sur CheXpert (multi-label), tandis que les ViT atteignent 100 %, suggérant que les architectures à base d'attention gèrent mieux les frontières de décision complexes des données multi-étiquettes.

C. Impact du Budget de Perturbation

L'augmentation du budget de perturbation ($\epsilon$) de 2/255 à 32/255 (un facteur 16) entraîne une dégradation massive de la qualité d'image (baisse de SSIM/PSNR), mais n'augmente que marginalement l'ASR (ex: de 75,5 % à 79,0 % pour les CNN en boîte noire). Cela confirme que l'ASR est saturé très tôt et ne reflète pas l'ampleur de l'effort d'attaque.

D. Efficacité des Méthodes d'Attaque

L'attaque par Ensemble (agrégation des gradients de plusieurs modèles) s'avère être la stratégie la plus efficace pour la transférabilité, réduisant l'écart entre les scénarios boîte blanche et boîte noire à seulement 1,1 %.

5. Signification et Implications

Cette étude remet en question les pratiques actuelles d'évaluation de la robustesse des modèles d'IA médicale :

1. Insuffisance de l'ASR : Se fier uniquement à l'ASR donne une image incomplète et potentiellement trompeuse de la vulnérabilité d'un système. Un modèle peut sembler robuste selon l'ASR tout en étant vulnérable à des perturbations subtiles, ou inversement.
2. Risque Clinique Réel : Dans un contexte médical, une attaque peut réussir (ASR élevé) tout en étant visuellement indiscernable (SSIM/PSNR élevés), ce qui la rend particulièrement dangereuse car elle échappe à la détection humaine par les radiologues ou pathologistes.
3. Nécessité de Cadres Multi-Métriques : Les auteurs plaident pour l'adoption de cadres d'évaluation qui considèrent simultanément l'efficacité de l'attaque, la dégradation perceptuelle et le coût de la perturbation. Cela permet une évaluation des risques plus nuancée et adaptée aux exigences de sécurité des applications cliniques.
4. Spécificité Architecturale : La différence marquée de transférabilité entre CNN et ViT suggère que les stratégies de défense doivent être adaptées à l'architecture spécifique du modèle déployé.

En conclusion, l'article démontre que la compréhension des risques adverses en imagerie médicale nécessite une approche multidimensionnelle, dépassant la simple mesure du succès de l'attaque pour intégrer la nature et l'impact de la perturbation elle-même.