Résumé Technique : Attaque par Sous-Espace Tangent (TSBA)

Énoncé du Problème

L'article traite du défi des attaques adverses basées sur la décision en boîte noire (black-box), un contexte où un attaquant n'a accès qu'à l'étiquette prédite finale d'un modèle cible, sans accès aux scores de confiance ou aux gradients. Ce contexte est particulièrement difficile dans les espaces d'entrée à haute dimension (ex: ImageNet) car l'absence d'informations de gradient rend extrêmement difficile l'exploration efficace de l'espace d'entrée pour trouver des perturbations minimales.

Les méthodes existantes souffrent de limitations fondamentales :

• Boundary Attack : Repose sur l'échantillonnage aléatoire et le rejet en haute dimension, ce qui conduit à une faible efficacité de requête.
• HopSkipJumpAttack (HSJA) : Améliore l'efficacité en estimant les gradients via l'échantillonnage aléatoire, mais introduit une variance élevée et un surcoût substantiel en requêtes.
• Limitation Générale : Les approches antérieures échouent souvent à exploiter explicitement la structure géométrique locale de la frontière de décision, ce qui entraîne une exploration instable, une expansion radiale des perturbations et des requêtes redondantes.

Méthodologie : Attaque par Sous-Espace Tangent (TSBA)

Les auteurs proposent la TSBA, une attaque basée sur la décision qui incorpore explicitement des contraintes géométriques pour stabiliser le processus de recherche et réduire la variance des requêtes. La philosophie centrale est de découpler l'approximation de la frontière de l'exploration de la direction.

La méthodologie se compose de trois composantes clés :

1. Projection de la Frontière via Recherche Binaire

Au lieu de réduire progressivement la magnitude de la perturbation par des marches aléatoires, la TSBA projette explicitement le point adversarial actuel sur la frontière de décision.

• Étant donné un point adversarial $x_{adv}$ et l'entrée originale $x_o$, l'algorithme définit un segment de droite entre eux.
• Il effectue une recherche binaire pour trouver la plus petite taille de pas $\lambda$ telle que le point $(1-\lambda)x_o + \lambda x_{adv}$ soit toujours mal classé.
• Cela produit un point projeté $x_b$ qui se situe précisément sur la frontière de décision, éliminant ainsi les étapes redondantes de réduction de distance présentes dans les méthodes antérieures.

2. Mises à jour Contraintes par l'Espace Tangent

Pour garantir que les mises à jour se dirigent vers l'image originale sans augmenter la distance (expansion radiale), la TSBA impose une contrainte d'orthogonalité.

• À un point de frontière $x_b$, la "direction source" est définie comme $v_k = x_b - x_o$.
• Toute perturbation candidate $\delta$ est projetée sur l'espace tangent orthogonal à $v_k$ :
  $$\delta \leftarrow \delta - \frac{\langle \delta, v_k \rangle}{\|v_k\|^2} v_k$$
• Justification Théorique : L'article prouve (Proposition 1) que sous cette contrainte d'orthogonalité, la distance à l'entrée originale $\|x_{b}^{k+1} - x_o\|$ n'augmente pas après la projection. Cela garantit une réduction monotone locale de la distorsion.

3. Échantillonnage dans un Sous-Espace de Faible Dimension

Pour remédier à l'inefficacité de l'échantillonnage dans des espaces de haute dimension ($d \gg 1$), la TSBA restreint les perturbations à un sous-espace de faible dimension.

• Une base $U \in \mathbb{R}^{d \times k}$ (où $k \ll d$) est utilisée.
• Les perturbations sont échantillonnées sous la forme $\delta = Uz$, où $z \sim \mathcal{N}(0, I_k)$.
• Cet échantillonnage structuré augmente considérablement la probabilité de trouver des directions efficaces par rapport à un échantillonnage aléatoire en pleine dimension.

Flux de l'Algorithme :

1. Projeter l'exemple adversarial initial sur la frontière via recherche binaire.
2. Échantillonner une perturbation dans un sous-espace de faible dimension.
3. Projeter la perturbation sur l'espace tangent (orthogonal à la direction source).
4. Mettre à jour le point et re-projeter sur la frontière via recherche binaire.
5. Répéter jusqu'à convergence ou épuisement du budget de requêtes.

Contributions Clés

Les auteurs résument leurs contributions comme suit :

1. Mécanisme de Projection de la Frontière : Une approche efficace par recherche binaire pour approximer la frontière de décision, éliminant les étapes redondantes inhérentes aux méthodes de marche aléatoire précédentes.
2. Stratégie de Mise à Jour par l'Espace Tangent : Une nouvelle contrainte imposant l'orthogonalité à la direction source, garantissant théoriquement une réduction monotone locale de la magnitude de la perturbation.
3. Échantillonnage de Sous-Espace Structuré : L'intégration de l'échantillonnage dans un sous-espace de faible dimension pour améliorer l'efficacité de l'exploration et la stabilité dans les espaces de haute dimension.
4. Validation Empirique : Expériences étendues démontrant une efficacité de requête supérieure et une distorsion compétitive par rapport aux méthodes de l'état de l'art.

Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données ImageNet en utilisant un modèle ResNet-50 pré-entraîné, comparant la TSBA à Boundary Attack et HopSkipJumpAttack (HSJA).

Efficacité de Requête et Taux de Succès

• Taux de Succès : Sous un budget de 500 requêtes, la TSBA a atteint un taux de succès de 46%, surpassant HSJA (38%) et Boundary Attack (28%). À 1500 requêtes, la TSBA atteint 80%, contre 73% (HSJA) et 61% (Boundary Attack).
• Coût de Requête : La TSBA a nécessité nettement moins de requêtes médianes pour réussir. Pour un budget de 500 requêtes, la TSBA a nécessité une médiane de 150 requêtes, tandis que HSJA en a nécessité 210 et Boundary Attack 340.

Compromis Requête-Distorsion

• La TSBA a systématiquement obtenu une distorsion $\ell_2$ plus faible pour tous les budgets de requêtes.
• Dans le régime de faible nombre de requêtes (<1000), la TSBA a montré un avantage significatif pour approcher rapidement la frontière de décision avec une distorsion minimale.

Évaluation de la Robustesse

La TSBA a été testée contre des modèles défendus (PGD entraîné de manière adversaire et lissage aléatoire RS).

• Sous une contrainte RMSE ($\le 0.1$), la TSBA a atteint des taux de succès de 70-72% sur les modèles robustes, surpassant nettement Boundary Attack (35-48%) et HSJA (55-69%).
• La TSBA a également nécessité moins de requêtes (environ 1600-1700) que HSJA (5001) et Boundary Attack (2200+) pour mener des attaques réussies sur les modèles robustes.

Analyse Qualitative

L'analyse visuelle des perturbations a révélé que la TSBA génère des perturbations de plus faible magnitude et plus localisées, concentrées sur des régions sémantiquement informatives (ex: les contours d'objets), alors que Boundary Attack produisait un bruit à haute fréquence sur de larges régions de l'image.

Étude d'Ablation

Le retrait de l'une des trois composantes centrales (Projection de la Frontière, Contrainte Tangente ou Échantillonnage de Sous-Espace) a entraîné une dégradation des performances :

• Sans Projection : Augmentation des requêtes et de la distorsion.
• Sans Contrainte Tangente : Réduction de la stabilité et ralentissement de la convergence.
• Sans Sous-Espace : Dégradation significative de l'efficacité de requête due à la difficulté de l'échantillonnage aléatoire en haute dimension.

Signification et Revendications

L'article affirme que l'inefficacité des attaques basées sur la décision existantes provient d'une sous-exploitation de la structure géométrique locale de la frontière de décision. En contraignant explicitement les mises à jour à un sous-espace tangent et en découplant l'approximation de la frontière de l'exploration de la direction, la TSBA fournit un mécanisme rigoureux pour :

1. Stabiliser le processus de recherche en évitant l'expansion radiale des perturbations.
2. Réduire la variance des directions échantillonnées.
3. Atteindre une efficacité de requête comparable ou supérieure aux méthodes d'estimation de gradient sans réellement estimer les gradients.

Les auteurs concluent que la TSBA met en lumière le rôle fondamental de la géométrie locale de la frontière de décision dans la vulnérabilité adversaire et offre une nouvelle voie pour concevoir des attaques en boîte noire efficaces. Ils notent que leur approche suggère que les perturbations adverses peuvent être optimisées efficacement au sein d'une structure tangente de faible dimension.

Des travaux futurs sont proposés pour étudier l'apprentissage de sous-espaces adaptatifs, le contrôle dynamique de la taille des pas, et des extensions aux données vidéo et 3D, ainsi que l'exploration de garanties théoriques sur la convergence et la complexité des requêtes.