OTI: A Model-free and Visually Interpretable Measure of Image Attackability

1. Énoncé du problème

Les réseaux de neurones profonds (DNN) sont vulnérables aux perturbations adverses, qui peuvent amener les modèles à mal classifier des images bénignes. Alors que de nombreuses recherches visent à améliorer la robustesse des modèles, un intérêt croissant se porte sur l'attaquabilité des images — l'évaluation de la vulnérabilité inhérente d'images bénignes spécifiques aux attaques adverses.

Les méthodes existantes pour mesurer l'attaquabilité des images souffrent de deux limitations critiques :

1. Dépendance au modèle : Les approches actuelles (par exemple, IAARS, ZGP) reposent sur un « modèle proxy » (un modèle de substitution entraîné) pour générer des gradients ou des perturbations minimales. Cela s'avère peu pratique dans des scénarios où les modèles sont inaccessibles (par exemple, l'imagerie médicale) ou lorsque les coûts d'entraînement sont prohibitifs.
2. Manque d'interprétabilité visuelle : Les caractéristiques extraites par les méthodes existantes sont abstraites (par exemple, les poids d'un discriminateur de réseau de neurones ou les rapports de gradients) et ne présentent pas de corrélation visuelle directe avec le contenu de l'image, rendant difficile pour les humains de comprendre pourquoi une image est vulnérable.

Les auteurs visent à développer une métrique sans modèle et visuellement interprétable qui quantifie l'attaquabilité des images en se basant uniquement sur les attributs intrinsèques de l'image.

2. Méthodologie : Intensité de Texture d'Objet (OTI)

La proposition centrale est l'Intensité de Texture d'Objet (OTI), une métrique qui quantifie l'attaquabilité en fonction de l'intensité de texture de l'objet sémantique au sein d'une image.

Fondement théorique

Les auteurs émettent l'hypothèse que les images avec des objets sémantiques plus petits et des textures plus faibles sont plus attaquables. Ils justifient cela sous deux angles :

• Perspective de la frontière de décision : Les objets plus petits et les textures plus faibles réduisent la quantité d'informations discriminatives, rapprochant l'échantillon de la frontière de décision du modèle. Par conséquent, ces échantillons nécessitent de plus petites perturbations (vecteurs de dégradation) pour traverser la frontière et être mal classés.
• Perspective du domaine fréquentiel : Les perturbations adverses reposent fortement sur les composantes de fréquence moyenne et haute. Les textures sémantiques fortes agissent comme un tampon contre ces fréquences. Les images aux textures faibles manquent de cette protection, ce qui les rend plus sensibles au bruit haute fréquence.

Formulation mathématique

L'OTI est calculée en intégrant deux composantes :

1. Ratio de surface de l'objet (OAR) : La proportion de la surface de l'image occupée par l'objet sémantique pertinent pour la tâche.
   $$OAR(x) = \frac{1}{C \times H \times W} ||object(x)||_1$$
   (Où $object(x)$ est une carte de segmentation binaire de l'objet sémantique.)

2. Intensité de texture de l'image (ITI) : La somme des valeurs de texture absolues dans l'image, extraites à l'aide d'un opérateur de Sobel ($f$).
   $$ITI(x) = \frac{1}{C \times H \times W} ||f * x||_1$$

3. Calcul de l'OTI : L'OTI combine ces éléments en calculant l'intensité de texture spécifiquement dans la région de l'objet sémantique en utilisant un produit de Hadamard ($\odot$).
   $$OTI(x) = \frac{1}{C \times H \times W} ||object(x) \odot (f * x)||_1$$

Interprétation : Une valeur OTI plus faible indique un objet sémantique plus petit et/ou une texture plus faible, impliquant une attaquabilité plus élevée (plus grande vulnérabilité). À l'inverse, une OTI plus élevée suggère que l'image est plus résistante.

3. Contributions clés

• Nouvelle perspective : Il s'agit du premier travail à révéler et quantifier explicitement la relation entre l'intensité de texture des objets sémantiques et l'attaquabilité des images.
• Sans modèle et interprétable : L'OTI ne nécessite ni l'entraînement d'un modèle de substitution ni l'accès aux gradients du modèle. Elle est purement basée sur l'image et fournit une référence visuelle (la carte de texture de l'objet) que les humains peuvent comprendre intuitivement.
• Explication théorique : L'article fournit une explication théorique à double perspective (frontières de décision et domaine fréquentiel) de la raison pour laquelle l'intensité de texture est corrélée à la robustesse.
• Validation complète : La méthode est validée sur des tâches diverses (classification, segmentation), des domaines variés (images naturelles, polypes médicaux) et des types d'attaques.

4. Résultats expérimentaux

Les auteurs ont évalué l'OTI par rapport à plus de 15 attaques adverses avancées (basées sur le gradient, basées sur les requêtes, basées sur la génération, basées sur l'ensemble) et divers modèles cibles (CNN, ViT, modèles défendus).

• Efficacité dans la sélection d'attaques :
  • Dans les attaques non ciblées (substitut unique), la sélection des 10 % d'images les plus attaquables (OTI la plus faible) a amélioré le taux de réussite de l'attaque (ASR) de 13,39 % par rapport à un échantillonnage aléatoire.
  • Dans les attaques ciblées, la sélection basée sur l'OTI a amélioré l'ASR de 6,79 % au taux d'échantillonnage de 10 %.
  • Dans les attaques basées sur l'ensemble, l'OTI a atteint une amélioration de 13,55 % par rapport à un échantillonnage aléatoire.
• Robustesse face aux défenses : L'OTI est restée efficace même lors d'attaques contre des modèles entraînés de manière adversaire (par exemple, ConvNeXt-B, ViT-B + ConvStem), montrant une amélioration de l'ASR de 12,24 % par rapport à un échantillonnage aléatoire.
• Efficacité des requêtes : Dans les attaques basées sur les requêtes, les images sélectionnées par l'OTI ont nécessité des normes de perturbation ($L_\infty$ et $L_2$) significativement plus faibles pour être attaquées avec succès, confirmant que les images à faible OTI sont intrinsèquement plus faciles à tromper.
• Tâches de segmentation : L'OTI a été appliquée avec succès à l'ensemble de données Kvasir-SEG (segmentation de polypes gastro-intestinaux), démontrant son efficacité dans des domaines d'images non naturels et à des échelles de jeux de données plus petites.
• Étude d'ablation : L'OTI a constamment surpassé ses composantes individuelles (OAR et ITI) et les bases aléatoires, prouvant que la taille de l'objet et l'intensité de texture sont des facteurs complémentaires dans la détermination de l'attaquabilité.

5. Importance et perspectives futures

• Applications pratiques : L'OTI permet un apprentissage actif efficace (sélection des images les plus informatives), un entraînement adversaire (concentration sur les échantillons les plus vulnérables) et une amélioration des attaques (identification des points faibles d'un ensemble de données sans avoir besoin d'un modèle cible).
• Sécurité de l'IA centrée sur l'humain : En fournissant une interprétation visuelle, l'OTI comble le fossé entre la robustesse mathématique abstraite et l'intuition humaine, permettant aux chercheurs d'identifier visuellement pourquoi certaines images sont vulnérables.
• Limites : Actuellement limitée aux données d'images. Les travaux futurs pourraient étendre ce concept à d'autres modalités comme l'audio ou le texte.

En résumé, l'OTI offre un outil simple, efficace sur le plan computationnel et hautement performant pour évaluer la vulnérabilité des images sans la surcharge de l'entraînement de modèles, modifiant fondamentalement l'accent mis de « comment défendre les modèles » vers « comprendre quelles données sont intrinsèquement fragiles ».