Accelerating Targeted Hard-Label Adversarial Attacks in Low-Query Black-Box Settings

1. Problématique et Contexte

Les réseaux de neurones profonds utilisés pour la classification d'images restent vulnérables aux exemples adverses, de petites perturbations imperceptibles induisant des erreurs de classification. L'article se concentre sur un scénario particulièrement restrictif et réaliste : l'attaque ciblée en boîte noire à étiquette dure (hard-label).

• Contraintes de la boîte noire : L'attaquant n'a accès qu'à la prédiction finale (la classe prédite) et non aux gradients, aux probabilités ou aux logits.
• Étiquette dure : Seule la classe "top-1" est retournée.
• Budget de requêtes limité : Dans les applications réelles (API commerciales), le nombre de requêtes autorisées est souvent faible (quelques centaines à quelques milliers).
• Difficulté des attaques ciblées : Contrairement aux attaques non ciblées, les attaques ciblées visent une classe spécifique. Les régions de décision correspondant à ces classes cibles sont souvent étroites et isolées, rendant la convergence vers une image cible très difficile, surtout lorsque l'image source est loin de l'espace de décision de la cible.

Les méthodes actuelles (comme HSJA, CGBA-H) reposent principalement sur la géométrie de la frontière de décision (estimation de gradients locaux, marches le long de la frontière). Cependant, ces méthodes gaspillent un grand nombre de requêtes lorsque l'image est encore loin de la frontière, car elles tentent d'estimer des gradients locaux dans un espace de décision large où ces informations sont peu utiles.

2. Méthodologie : TEA (Targeted Edge-informed Attack)

Les auteurs proposent TEA, une nouvelle attaque qui ne dépend pas de la géométrie locale de la frontière de décision, mais exploite les caractéristiques intrinsèques de l'image cible, spécifiquement les informations de contours (edges).

L'idée centrale est que les réseaux de neurones sont sensibles aux structures de bas niveau (contours, bords) dès les premières couches. En préservant ces contours tout en perturbant les zones lisses, on peut maintenir la classification cible tout en rapprochant l'image de la source.

L'approche se déroule en deux étapes séquentielles :

A. Recherche Globale Informée par les Contours (Global Edge-Informed Search)

Cette étape vise à aligner grossièrement l'image cible ($x_t$) vers l'image source ($x_s$) sans perdre la classification cible.

1. Masque de contours doux (Soft Edge Mask) : Un opérateur de Sobel est appliqué à l'image cible pour détecter les contours. Un masque flou ($M_{edge}$) est généré, où les valeurs sont proches de 1 sur les contours et 0 dans les zones lisses.
2. Interpolation globale : L'image est mise à jour itérativement en interpolant vers la source, mais uniquement dans les zones non-contour (masquées par $I - M_{edge}$).
   • Formule : $x_{k+1} \leftarrow x_k + \alpha (x_s - x_k) \odot (I - M_{edge})$
   • Cela préserve la structure globale nécessaire à la classification cible tout en réduisant la distance $L_2$ avec la source.

B. Recherche Locale par Patch Informée par les Contours (Patch-Based Edge-Informed Search)

Une fois la distance réduite globalement, une raffinement local est effectué.

1. Partitionnement : L'image est divisée en patches aléatoires de tailles variables.
2. Mise à jour locale : Pour chaque patch, une interpolation locale est appliquée vers la source, en utilisant un masque de contours local et un poids gaussien pour lisser les transitions aux bords du patch (évitant ainsi l'introduction d'artefacts de bordure).
3. Critère d'arrêt : Le processus continue tant que des améliorations sont possibles.

C. Transition vers les méthodes géométriques

Lorsque les progrès de TEA stagnent (l'image est entrée dans un espace de décision étroit), l'algorithme bascule vers une méthode géométrique de l'état de l'art (ici CGBA-H) pour le raffinement final. Cette hybridation permet de combiner la rapidité de TEA en début de processus avec la précision des méthodes géométriques en fin de processus.

3. Contributions Clés

1. Nouvelle Stratégie de Perturbation : Introduction d'une stratégie basée sur les contours qui évite de brûler des requêtes dans les espaces de décision larges, contrairement aux méthodes purement géométriques.
2. Efficacité en Faible Budget de Requêtes : TEA démontre une capacité à réduire la distance $L_2$ beaucoup plus rapidement que les méthodes existantes lorsque le nombre de requêtes est limité.
3. Initialisation Améliorée : TEA sert d'excellente initialisation pour les attaques géométriques existantes, permettant d'atteindre plus vite la zone où ces dernières sont efficaces.
4. Validation Extensive : Évaluation sur ImageNet avec quatre architectures (ResNet-50, ResNet-101, VGG16, ViT) et un modèle entraîné contre des attaques (adversarially trained).

4. Résultats Expérimentaux

Les expériences ont été menées sur 1000 paires source-cible d'ImageNet.

• Réduction des requêtes : Pour atteindre une réduction de distance de 60% par rapport à l'image cible, TEA nécessite en moyenne 251 requêtes, contre 845 requêtes pour la méthode la plus rapide de l'état de l'art (AHA). Cela représente une économie d'environ 70% de requêtes.
• Performance en faible budget (< 1000 requêtes) :
  • TEA surpasse systématiquement HSJA, AHA, CGBA et CGBA-H en termes de distance $L_2$ médiane et de taux de réussite (ASR) pour des réductions de distance de 50% et 75%.
  • L'Aire Sous la Courbe (AUC) de la distance $L_2$ en fonction du nombre de requêtes est significativement plus faible pour TEA, indiquant une convergence plus rapide.
• Robustesse :
  • Modèles entraînés contre des attaques : TEA reste efficace même sur un ResNet-50 entraîné de manière robuste.
  • Modèles Zero-Shot (CLIP) : L'approche fonctionne également bien sur des modèles vision-langage modernes (CLIP ViT-B/32).
  • Différentes résolutions : L'efficacité est maintenue sur des images de plus basse résolution (128x128, 64x64), bien que la perturbation soit plus visible.
• Études d'ablation :
  • Perturber les zones non-contours (TEA) est crucial.
  • L'inversion du masque (perturber les contours, INV-TEA) donne les pires résultats, confirmant que la préservation des structures de contours est essentielle pour maintenir la classification cible.
• Métriques de perception : TEA maintient une bonne similarité structurelle (FSIM élevé) tout en réduisant la distance $L_2$, bien que le SSIM diminue légèrement en raison de la nature structurée des perturbations.

5. Signification et Implications

• Avancée Théorique : L'article démontre que dans les régimes à faible nombre de requêtes, l'exploitation des caractéristiques intrinsèques de l'image (contours) est plus efficace que l'estimation coûteuse de la géométrie de la frontière de décision.
• Impact Pratique : TEA rend les attaques ciblées beaucoup plus réalisables dans des environnements réels où les API limitent strictement le nombre de requêtes (coût financier ou temporel).
• Sécurité et Défense : Les auteurs soulignent que cette méthode met en évidence la vulnérabilité des modèles aux perturbations préservant les contours. Ils suggèrent que les mécanismes de défense futurs doivent aller au-delà de la détection de perturbations fréquentielles et inclure des vérifications spécifiques aux distorsions informées par les contours.
• Limites : Bien que TEA soit excellent pour l'initialisation et les faibles budgets, une fois le budget de requêtes élevé, la performance finale (après bascule vers CGBA-H) est comparable à l'état de l'art, sans être strictement supérieure. De plus, les mises à jour par patch peuvent introduire des artefacts locaux visibles.

En conclusion, TEA représente une avancée majeure pour les attaques adverses ciblées en boîte noire, offrant une stratégie efficace et économe en requêtes en exploitant intelligemment la structure visuelle des images.