Résumé Technique : L'Effet Ciseaux dans les Attaques Adversaires Basées sur le Transfert

1. Énoncé du Problème

Les attaques adversaires basées sur le transfert reposent sur la génération de perturbations sur un modèle de substitution (source) qui parviennent à tromper des modèles cibles inédits. Un composant standard des attaques de pointe est la Diversité d'Entrée (DI - Input Diversity), qui applique un redimensionnement et un remplissage aléatoires à chaque itération de l'attaque. L'hypothèse prédominante dans le domaine est que « plus il y a de diversité, mieux c'est », ce qui conduit les méthodes modernes (par exemple, Admix, SSA, SIA) à empiler agressivement les transformations d'entrée.

Cet article remet en question l'universalité de cette hypothèse. Il examine si la DI améliore la transférabilité à travers différents régimes d'entraînement de substitution, en comparant spécifiquement les modèles standards (entraînés sur des données propres) aux modèles robustes (entraînés par entraînement adversarial, par exemple, PGD-AT). Les auteurs émettent l'hypothèse que l'efficacité de la DI dépend du régime et peut être inversée pour les substituts entraînés de manière robuste.

2. Méthodologie

L'étude emploie une approche empirique et théorique systématique pour isoler l'impact de la DI sur la transférabilité :

• Configuration Expérimentale : Les auteurs évaluent la transférabilité à partir de divers modèles de substitution (Standards et Robustes) vers diverses architectures cibles (CNN, ViT, Swin, ConvNeXt) sur CIFAR-10 et ImageNet.
• Variables Contrôlées :
  • Probabilité de Diversité ($p$) : La probabilité d'appliquer la DI est balayée de 0 à 1.
  • Force de Robustesse : Un balayage contrôlé fait varier uniquement le budget d'entraînement $\epsilon$ (en utilisant l'architecture fixe ResNet-50 et la recette PGD-AT) pour observer la transition du régime standard au régime robuste.
  • Décomposition des Composants : La DI est décomposée en redimensionnement (interpolation) et translation (remplissage) pour isoler la transformation spécifique causant l'effet.
• Métrique : Le Taux de Succès d'Attaque (ASR - Attack Success Rate) est la métrique principale. Les auteurs introduisent également la Cohérence de Gradient Locale (LGC - Local Gradient Consistency), une mesure de la similitude cosinus entre les gradients à une entrée propre et ses voisins légèrement perturbés, afin de caractériser la géométrie du gradient du substitut.
• Cadre Théorique : Une analyse biais-variance est formalisée pour expliquer le mécanisme, menant à un théorème de croisement concernant le moment où la DI aide ou nuit en fonction des rapports signal sur bruit des gradients.

3. Contributions Clés

L'Effet Ciseaux (The Scissors Effect)

La découverte centrale est l'Effet Ciseaux : à mesure que la probabilité de diversité $p$ augmente, les taux de succès de transfert des substituts standards et robustes divergent dans des directions opposées.

• Substituts Standards : Augmenter la diversité améliore généralement ou maintient la transférabilité (bénéfique ou neutre).
• Substituts Robustes : Augmenter la diversité dégrade souvent la transférabilité, performant moins bien que les attaques sans aucune diversité.
• Magnitude : Sur ImageNet, une DI aveugle coûte en moyenne 10,3 % d'ASR aux sources robustes à travers diverses cibles. Sur CIFAR-10, l'effet est plus faible (~2 %) sous les paramètres par défaut mais grimpe à ~6,6 % sous une DI agressive.

Analyse du Mécanisme : Géométrie du Gradient et Redimensionnement

L'article attribue l'effet à la géométrie des gradients d'entrée :

• Modèles Standards : Possèdent des gradients bruités à haute fréquence. La DI agit comme un mécanisme de débruitage (réduction de la variance), améliorant la direction de l'attaque.
• Modèles Robustes : Possèdent des gradients lisses, à basse fréquence et alignés sémantiquement. Le composant de redimensionnement de la DI agit comme un filtre passe-bas qui introduit un biais systématique sans réduire la variance (puisque la variance est déjà faible), dégradant ainsi la direction de gradient déjà optimale.
• Décomposition : Une décomposition redimensionnement/translation révèle que ~67 % du préjudice sur les substituts robustes est causé spécifiquement par l'étape de redimensionnement, tandis que la translation est presque neutre.

Cohérence de Gradient Locale (LGC)

Les auteurs proposent la LGC comme une sonde unique de l'espace d'entrée pour identifier le régime de gradient :

• Séparation : Les modèles robustes présentent une LGC élevée ($\approx 0,98\text{--}1,00$), tandis que les modèles standards présentent une LGC plus faible ($\approx 0,64\text{--}0,92$).
• Pouvoir Prédictif : La LGC est fortement corrélée à la sensibilité de la DI. Une LGC élevée prédit que la DI sera préjudiciable.
• Théorème : Un théorème biais-variance (Proposition 1) prouve que la DI basée sur le redimensionnement améliore strictement l'alignement si et seulement si la LGC est inférieure à un seuil spécifique ($\tau^*$), et nuit nécessairement lorsque la LGC approche 1.

CG-DI (Consistency-Guided Diversity Input)

Sur la base de ces résultats, les auteurs proposent la CG-DI, une règle sans entraînement :

• Mécanisme : Calculer la LGC sur le substitut. Si LGC > $\tau$ (ex: 0,92), désactiver la diversité ($p=0$) ; sinon, activer la diversité ($p=0,8$).
• Résultat : La CG-DI évite la perte d'environ 10,3 % d'ASR sur les substituts robustes tout en conservant les bénéfices de la DI sur les substituts standards. Elle agit efficacement comme un « garde-fou » contre l'Effet Ciseaux.

4. Résultats

• Généralisation : L'Effet Ciseaux s'applique à 10 attaques différentes couvrant la période 2018–2024 (incluant MI-FGSM, Admix, SSA, SIA) et diverses architectures (ResNet, ViT, Swin, ConvNeXt).
• Balayage de Robustesse : La transition de la DI bénéfique à la DI préjudiciable est graduée, et non binaire. Le croisement se produit dans le régime de « faible robustesse » (ex: $\epsilon_{train} \in (0, 0.5]/255$), s'accentuant à mesure que la robustesse augmente.
• Exception SSA : L'attaque Spectrum Simulation (SSA), qui opère dans le domaine fréquentiel, montre le plus grand préjudice sur les substituts robustes. Les auteurs expliquent cela via le Corollaire 1 : SSA agit comme un pré-filtre qui augmente la LGC effective, poussant même les substituts standards plus près du seuil de croisement préjudiciable.
• Contrôle de Même Famille : L'effet persiste même lorsque la source et la cible partagent la même architecture (ex: ResNet-50 vers ResNet-50), confirmant que le phénomène est piloté par le régime de gradient du substitut, et non par la similitude architecturale.

5. Signification et Revendications

L'article positionne l'Effet Ciseaux comme une manifestation spécifique à la DI du compromis plus large entre robustesse et transférabilité. Sa signification réside dans :

1. Correction d'une Hypothèse par Défaut : Il démontre que l'heuristique « plus de diversité est préférable » est dépendante du régime. Pour les substituts robustes (de plus en plus courants dans les évaluations de sécurité), utiliser la DI par défaut peut conduire à sous-estimer la force de l'attaque et à surestimer la robustesse de la cible.
2. Isolement du Coupable : Il identifie le redimensionnement comme le composant spécifique responsable du préjudice, le distinguant d'autres transformations comme la translation.
3. Orientation Actionnable : Il fournit une méthode pratique, sans entraînement, utilisant la LGC pour ajuster dynamiquement les hyperparamètres de l'attaque, garantissant que les substituts robustes ne sont pas involontairement affaiblis lors de l'évaluation.
4. Fondement Théorique : Il formalise l'intuition par un théorème de croisement biais-variance, liant directement la cohérence du gradient à l'efficacité de la diversité d'entrée.

Les auteurs concluent qu'à mesure que les modèles pré-entraînés robustes deviennent des substituts standards, la conception des attaques doit tenir compte de la géométrie du gradient du substitut, et que la DI ne doit pas être traitée comme un défaut universellement bénéfique.