🤖 machine learning

Enhancing Adversarial Transferability through Block Stretch and Shrink

Ce document propose FRO, une méthode de transformation d'entrée orientée vers la réponse du frontend qui améliore la transférabilité adversaire en employant des opérateurs de dilatation-contraction par blocs et de déformation de perspective pour enrichir les réponses du frontend du modèle à travers une perspective d'ensemble implicite.

Auteurs originaux : Quan Liu, Feng Ye, Chenhao Lu, Shuming Zhen, Guanliang Huang, Lunzhe Chen, Xudong Ke

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Quan Liu, Feng Ye, Chenhao Lu, Shuming Zhen, Guanliang Huang, Lunzhe Chen, Xudong Ke

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de coller discrètement un minuscule autocollant invisible sur l'objectif d'une caméra de sécurité. Si vous le placez exactement au bon endroit, la caméra pourrait être confuse et prendre un panneau "Stop" pour un panneau de limitation de vitesse. C'est ce que font les hackers avec les « attaques adverses » sur l'IA. Mais voici la partie délicate : si vous concevez votre autocollant pour tromper la Caméra A, il se peut qu'il ne fonctionne pas sur la Caméra B, même si elles se ressemblent.

Pendant longtemps, les chercheurs ont essayé de faire en sorte que ces autocollants fonctionnent sur n'importe quelle caméra en prenant l'image, en la tordant, en l'étirant ou en la faisant pivoter de manières aléatoires avant de la montrer à l'IA. L'idée était : « Si nous montrons à l'IA de nombreuses versions différentes de l'autocollant, peut-être qu'elle apprendra une astuce qui fonctionnera sur tout le monde. »

Mais un nouvel article de Quan Liu et de son équipe suggère que nous n'avons pas regardé les choses sous le bon angle. Ils soutiennent que le simple fait de rendre l'image différente n'est pas la clé magique. Au lieu de cela, le véritable secret réside dans la façon dont la « porte d'entrée » de l'IA (son étape de traitement initiale) réagit à ces changements.

Le mystère de la « Porte d'Entrée »

Imaginez un modèle d'IA comme une maison à deux étages.

La Porte d'Entrée (Frontend) : C'est là que l'IA voit l'image pour la première fois. C'est comme un videur qui vérifie les pièces d'identité. Il observe les formes, les bords et les textures.
Le Salon (Backend) : C'est là que l'IA prend sa décision finale, comme « C'est un chat ! » ou « C'est un chien ! ».

Les études précédentes pensaient que si vous rendiez simplement l'image bizarre (diverse), le videur serait confus et l'astuce fonctionnerait sur d'autres maisons. Mais l'équipe de Liu dit : « Attendez un instant. » Ce n'est pas parce que l'image semble différente pour vous que le videur la voit différemment. Si le videur de la Maison A et le videur de la Maison B réagissent tous deux de la même manière à une image tordue, votre astuce échoue.

L'article suggère que pour créer un autocollant qui fonctionne sur tout le monde, vous devez perturber la réaction du videur d'une manière spécifique. Vous devez créer des changements de « Réponse du Frontend » suffisamment uniques pour être intéressants, mais assez similaires pour que d'autres videurs les remarquent aussi.

Entrez dans FRO : Le Truqueur à Double Action

Pour résoudre cela, l'équipe a créé une nouvelle méthode appelée FRO (Frontend Response-Oriented). Au lieu de simplement tordre l'image de manière aléatoire, FRO utilise deux mouvements spécifiques pour piquer la porte d'entrée de l'IA aux endroits précis :

L'Opérateur d'Échelle Locale (Le mouvement du « Bloc Étirable ») : Imaginez que l'image est faite de blocs Lego. Cet opérateur saisit quelques blocs ici et là et les étire ou les rétrécit. Il modifie la texture locale et la taille des petits détails sans ruiner l'image entière. C'est comme zoomer sur une partie spécifique d'un visage pour voir les pores, puis dézoomer à nouveau, mais en le faisant uniquement sur une joue.
L'Opérateur de Projection (Le mouvement du « Miroir Déformant ») : Celui-ci prend l'image entière et lui donne un changement de perspective cohérent et doux, comme si l'on regardait un bâtiment sous un angle étrange. Il modifie la forme globale et la disposition des éléments dans l'espace, mais maintient l'ensemble de la scène comme une vue unique et logique.

En combinant ces deux mouvements, FRO crée un ensemble de « vues transformées ». C'est comme demander à l'IA : « Et si l'oreille de ce chat était étirée ? Et si tout le chat penchait sur le côté ? » L'IA doit traiter toutes ces versions légèrement différentes et combiner ses réactions pour trouver la meilleure façon de la tromper.

Est-ce que ça a marché ? Les chiffres ne mentent pas

L'équipe a testé cela sur un sous-ensemble du célèbre ensemble de données ImageNet. Ils n'ont pas seulement deviné ; ils ont analysé les chiffres.

La Configuration : Ils ont utilisé un modèle « white-box » (un modèle dont ils pouvaient voir l'intérieur) pour générer les attaques, puis ont testé ces attaques sur des modèles « black-box » (des modèles dont ils ne pouvaient pas voir l'intérieur).
La Compétition : Ils ont comparé FRO à d'autres méthodes populaires telles que DeCoWA, CWT, SIA, SID et OPS.
Le Résultat : FRO a systématiquement battu les autres. Testé sur un mélange de différentes architectures d'IA (incluant les CNN et les Vision Transformers), FRO a obtenu les taux de réussite les plus élevés sur 6 des 11 modèles cibles.
- Par exemple, contre un modèle appelé ResNet-50, FRO a atteint un taux de réussite de 95,6 %, tandis que le second meilleur était de 93,2 %.
- Contre Inception-v3, il a atteint 96,3 %, battant le dauphin à 96,2 %.
- Même contre des modèles difficiles, défendus (des IA entraînées pour résister aux attaques), FRO a réussi à percer 96,2 % du temps contre un modèle défendu spécifique, surpassant tout le monde.

Ce qu'ils ont écarté

L'article est très clair sur ce qui ne constitue pas l'explication principale.

Ce n'est pas seulement la « Diversité de l'Image » : Les auteurs soutiennent que le simple fait de rendre l'image différente ne suffit pas. Si la porte d'entrée de l'IA ne réagit pas différemment, l'astuce échoue.
Ce n'est pas seulement la « Préservation Sémantique » : Bien que le fait de garder le sens de l'image (comme garder un chat ressemblant à un chat) soit important, ce n'est pas la raison pour laquelle l'attaque fonctionne. La raison est la façon dont la porte d'entrée gère les changements.
Ce n'est pas non plus l'« Augmentation de l'Espace d'Hypothèse » : Ils suggèrent que le simple fait d'ajouter plus de possibilités mathématiques n'est pas la clé ; la clé est la réponse spécifique de la porte d'entrée.

À quel point sont-ils sûrs d'eux ?

L'article est très confiant, mais reste prudent dans ses termes. Ils ont démontré ces résultats par des expériences sur un sous-ensemble d'ImageNet. Ils n'ont pas seulement simulé ; ils ont réellement lancé les attaques et mesuré les taux de réussite.

Ils ont également introduit une nouvelle façon de mesurer les choses appelée « taille d'ensemble implicite unifiée » (appelons cela N). Ils ont découvert que le nombre de vues transformées compte. Lorsqu'ils ont testé différents nombres (comme N = 10, 17, 21, 26, 37 et 101), FRO est resté solide même avec des nombres plus petits, suggérant que sa méthode est efficace.

Les auteurs suggèrent que leur approche fonctionne parce qu'elle cible les « facteurs de frontend partagés » utilisés à la fois par les CNN (l'IA classique) et les ViT (la nouvelle génération d'IA). Ils ont montré que FRO réduit l'« écart » dans la façon dont les différents modèles d'IA réagissent à ces transformations, rendant l'attaque plus transférable.

L'essentiel à retenir

Cet article suggère que pour pirater le cerveau d'une IA, vous ne devez pas simplement lui jeter des distorsions aléatoires. Vous devez comprendre comment sa « porte d'entrée » traite l'information. En utilisant un mélange habile d'étirement local et de décalage de perspective globale, FRO crée une « clé universelle » qui s'adapte à de nombreuses serrures d'IA.

Les auteurs proposent que cette perspective de la « Réponse du Frontend » est la pièce manquante du puzzle. Bien qu'ils n'aient pas résolu le problème de la sécurité de l'IA pour toujours (et ils ne prétendent pas l'avoir fait), ils ont montré une manière nettement plus efficace de concevoir ces attaques, prouvant que la compréhension des réactions précoces de l'IA est le véritable ingrédient secret.

Résumé Technique : Transformation d'Entrée Orientée vers la Réponse du Frontend pour les Attaques Adversaires Transférables (FRO)

Énoncé du Problème
Les réseaux de neurones profonds (DNN) sont vulnérables aux exemples adverses, où des perturbations imperceptibles provoquent une erreur de classification. Bien que les attaques en boîte blanche soient efficaces, elles souffrent souvent d'une transférabilité limitée vers les modèles cibles en boîte noire. Les attaques basées sur la transformation d'entrée tentent d'améliorer la transférabilité en agrégeant les gradients sur plusieurs vues transformées d'une entrée. Cependant, les explications existantes quant à leur efficacité — telles que la diversité de l'image, la préservation sémantique, la variance de l'attention ou l'augmentation de l'espace d'hypothèse — se concentrent principalement sur les caractéristiques au niveau de l'image ou sur les réponses de haut niveau du modèle. Ces approches négligent le rôle critique du frontend du modèle (encodage de caractéristiques précoces). Des transformations visuellement distinctes ne produisent pas nécessairement des différences utiles ou transférables après l'encodage du frontend ; si plusieurs vues produisent des réponses de frontend presque identiques, les gradients résultants restent redondants. De plus, les comparaisons existantes entre les méthodes de transformation manquent souvent d'équité car elles varient dans le nombre de vues transformées (taille de l'ensemble), confondant les bénéfices de la conception de la transformation avec les bénéfices d'une simple augmentation de l'échelle de l'ensemble.

Méthodologie
Le papier propose FRO (Frontend Response-Oriented input transformation), une méthode fondée sur une perspective d'ensemble implicite.

Formulation d'Ensemble Implicite : Les auteurs réinterprètent les attaques basées sur la transformation d'entrée comme un ensemble fonctionnel implicite. Étant donné un modèle source $f_s$ et des transformations $\{T_i\}$ , l'attaque optimise un ensemble de membres composites $\{f_s \circ T_i\}$ . Contrairement aux ensembles conventionnels qui utilisent différents paramètres de modèle, cet ensemble implicite utilise le même modèle source mais des opérateurs pré-modèle différents. La diversité de cet ensemble est déterminée non pas par les paramètres du modèle, mais par la diversité de la réponse du frontend induite par les transformations.
Perspective de la Réponse du Frontend : Les auteurs soutiennent que, pour la transférabilité, les transformations doivent induire des différences de réponse dans le frontend de la source qui ne sont pas purement spécifiques à la source, mais qui sont partiellement partagées avec des architectures cibles hétérogènes (par exemple, les CNN et les Vision Transformers).
Facteurs de Frontend Partagés : À travers une analyse préliminaire, les auteurs identifient deux facteurs communs aux frontends CNN et ViT que les transformations devraient cibler :
- Échantillonnage de Contenu Local : Comment l'échelle locale, la densité de texture et les positions des limites sont présentées aux champs récepteurs ou aux jetons de patch (patch tokens).
- Organisation Spatiale : Géométrie globale, forme de l'objet et disposition spatiale.
Opérateurs FRO : Pour perturber ces facteurs, FRO emploie deux opérateurs complémentaires :
- Opérateur d'Échelle Locale (Local Scaling Operator) : Partitionne l'image en blocs et applique des opérations aléatoires d'étirement et de compression (stretch-and-shrink) à chaque bloc individuel. Cela modifie l'échelle locale, la densité de texture et les positions des limites tout en préservant la taille globale de l'image.
- Opérateur de Projection (Projection Operator) : Applique une déformation de perspective globalement cohérente (variations d'inclinaison et de distance focale) à l'ensemble de l'image. Cela modifie la géométrie globale, la forme de l'objet et la disposition spatiale.
- Processus de Génération : À chaque itération, $N$ vues transformées sont générées en échantillonnant séquentiellement les opérateurs de Local Scaling et de Projection. Les gradients de ces vues sont agrégés pour mettre à jour la perturbation adversaire.
Taille d'Ensemble Implicite Unifiée ( $N$ ) : Pour assurer des comparaisons équitables, les auteurs définissent $N$ comme le nombre unifié de vues transformées utilisées pour l'agrégation des gradients. Cela permet d'attribuer les différences de performance à la conception de la transformation plutôt qu'à l'échelle de l'ensemble.
Métrique d'Évaluation (T-FRDM) : Pour quantifier la cohérence inter-architecture, le papier introduit une Matrice de Dissimilarité de Réponse de Frontend induite par la Transformation (T-FRDM). Au lieu de comparer des caractéristiques brutes hétérogènes, elle compare les relations (structures de dissimilarité) entre les déplacements de réponse des vues transformées dans les frontends CNN et ViT. Un écart plus faible entre ces matrices de relations indique une meilleure préservation des facteurs de réponse à travers les architectures.

Contributions Clés

Réinterprétation Théorique : Le papier formule les attaques basées sur la transformation d'entrée comme un ensemble implicite d'entrées transformées et introduit la perspective de la réponse du frontend pour expliquer la transférabilité adversaire, déplaçant l'attention de la diversité de l'image vers la manière dont les transformations sont encodées par les couches précoces du modèle.
Algorithme FRO : La proposition de FRO, qui combine le Local Scaling et la Projection globalement cohérente pour induire des variations complémentaires de la réponse du frontend locale et globale.
Protocole d'Évaluation Unifié : L'introduction d'une taille d'ensemble implicite unifiée $N$ pour découpler les effets de la conception de la transformation de l'échelle de l'ensemble, permettant des comparaisons plus justes entre les attaques basées sur la transformation d'entrée.
Outil d'Analyse : Le développement d'une métrique basée sur les relations (T-FRDM) pour mesurer la cohérence de la réponse du frontend inter-architecture sans aligner les espaces de caractéristiques brutes.

Résultats Expérimentaux
Les expériences ont été menées sur un sous-ensemble d'ImageNet en utilisant divers modèles sources (ResNet-18/101, DenseNet-121, Inception-v3, ViT-B/16) et des modèles cibles (6 CNN et 5 Vision Transformers).

Transférabilité : FRO surpasse systématiquement les attaques basées sur la transformation d'entrée de pointe (DeCoWA, CWT, SIA, SID, OPS) à travers diverses architectures sources et cibles. Il a obtenu les meilleurs résultats en boîte noire sur 6 des 11 modèles cibles et maintient des performances solides même avec de petites tailles d'ensemble (par exemple, $N=10$ ).
Robustesse aux Défenses : FRO a démontré une transférabilité supérieure contre les modèles défendus, incluant l'entraînement adversaire d'ensemble, le lissage aléatoire (RS), le pressage de caractéristiques (HGD), les purificateurs de représentation neuronale (NRP), l'entraînement adversaire (AT) et la purification basée sur la diffusion (DiffPure). Il a atteint le taux de succès le plus élevé dans 8 des 9 contextes défendus.
Études d'Ablation : L'étude a confirmé que les hyperparamètres spécifiques des opérateurs Local Scaling et Projection (par exemple, taille de bloc, angle d'inclinaison) impactent significativement les performances. Elle a également validé que l'augmentation de $N$ améliore généralement les performances, mais que la conception de FRO offre une grande efficacité même à des valeurs de $N$ plus faibles.
Analyse du Frontend : L'analyse T-FRDM a montré que FRO induit des relations de réponse dans le frontend de la source qui sont plus systématiquement préservées dans le frontend cible par rapport aux autres méthodes, soutenant ainsi la motivation théorique du papier.

Signification
Le papier affirme que la principale signification de FRO réside dans son changement de perspective : plutôt que de considérer les transformations d'entrée simplement comme des générateurs de diversité ou d'augmentation d'image, elles doivent être conçues pour perturber les facteurs de réponse du frontend qui sont pertinents à travers les architectures hétérogènes. En ciblant explicitement l'échantillonnage de contenu local et l'organisation spatiale — des facteurs partagés par les CNN et les ViT — FRO génère des perturbations moins sujettes au surapprentissage de la source. Ce travail suggère que concevoir des transformations du point de vue des ensembles de réponses de front-end est une stratégie plus efficace pour améliorer la transférabilité adversaire que de compter uniquement sur la diversité de l'image ou la préservation sémantique. L'introduction de la taille d'ensemble unifiée $N$ fournit également un cadre rigoureux pour les recherches futures dans ce domaine.