💻 computer science

STRAP-ViT: Segregated Tokens with Randomized -- Transformations for Defense against Adversarial Patches in ViTs

Le papier propose STRAP-ViT, un mécanisme plug-and-play non entraînable qui défend les Vision Transformers contre les patches adverses en détectant les tokens anormaux via la divergence de Jensen-Shannon et en appliquant des transformations aléatoires pour restaurer une robustesse proche des performances sur données propres.

Auteurs originaux : Nandish Chattopadhyay, Anadi Goyal, Chandan Karfa, Anupam Chattopadhyay

Publié 2026-03-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Nandish Chattopadhyay, Anadi Goyal, Chandan Karfa, Anupam Chattopadhyay

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🛡️ STRAP-ViT : Le "Bouclier Magique" contre les Autocollants Malveillants

Imaginez que vous avez un super-robot (appelé Vision Transformer ou ViT) qui regarde des photos pour dire ce qu'il voit. Par exemple, il regarde une photo d'un singe et dit : "C'est un singe !". C'est très intelligent.

Mais, il y a un problème : un pirate informatique peut coller un petit autocollant bizarre (un "patch adversarial") sur la photo. Ce n'est pas un vrai objet, juste un dessin numérique. Pourtant, ce petit autocollant est si puissant qu'il hypnotise le robot. Il lui fait dire : "Oh là là, ce n'est plus un singe, c'est un radiateur !" alors que le singe est toujours là.

C'est ce qu'on appelle une attaque par patch. Le robot se fait avoir parce qu'il prête trop attention à cet autocollant brillant et étrange.

🕵️‍♂️ La Solution : STRAP-ViT (Le Détective)

Les auteurs de cet article ont inventé une solution géniale appelée STRAP-ViT. Au lieu de réentraîner le robot (ce qui coûte des milliards et prend des années), ils ont ajouté un petit module "intelligent" qui fonctionne comme un filtre de sécurité juste avant que le robot ne prenne sa décision.

Voici comment ça marche, étape par étape, avec des analogies :

1. La Découverte : "Qui est l'intrus ?" (Détection)

Quand le robot regarde une photo, il la découpe en petits morceaux (comme des pièces de puzzle) qu'on appelle des tokens. Chaque token contient une partie de l'image.

L'idée géniale : Les auteurs ont remarqué que les tokens qui touchent l'autocollant malveillant ont une "signature" statistique différente. C'est comme si l'autocollant criait très fort dans une bibliothèque silencieuse.
L'outil : Ils utilisent une mesure mathématique appelée Divergence de Jensen-Shannon. Imaginez que c'est un détecteur de mensonge. Il compare chaque morceau de l'image avec ce qu'il "sait" être une image normale.
Le résultat : Si un token a une "voix" trop différente (trop bruyante, trop étrange), le détecteur le marque comme suspect. C'est comme si le détective disait : "Hé, ce morceau de puzzle sent le poisson pourri, il ne vient pas de la photo normale !".

2. La Neutralisation : "Le Masque de Réparation" (Atténuation)

Une fois que le détecteur a trouvé les tokens suspects (ceux qui touchent l'autocollant), il ne les supprime pas (ce qui laisserait un trou noir dans l'image). Au lieu de cela, il les transforme.

La technique : Ils appliquent une série de transformations aléatoires sur ces tokens suspects. Imaginez que vous prenez un morceau de puzzle suspect, vous le secouez, vous le retournez, vous changez légèrement ses couleurs, puis vous le remettez en place.
Pourquoi aléatoire ? C'est la clé ! Comme le pirate ne sait pas exactement comment le robot va transformer le token cette fois-ci (ce sera différent à chaque fois), il est impossible pour lui de créer un autocollant qui résiste à toutes les transformations possibles. C'est comme essayer de deviner un code qui change à chaque seconde.

3. Le Résultat : Le Robot Réveillé

Après cette opération, le robot regarde de nouveau l'image. L'autocollant malveillant a perdu son pouvoir hypnotique car ses "tokens" ont été brouillés. Le robot voit enfin le vrai singe et dit : "C'est un singe !" avec confiance.

🌟 Pourquoi c'est génial ? (Les Avantages)

Pas de réentraînement (Plug-and-Play) : Vous n'avez pas besoin de réapprendre tout le cerveau du robot. Vous glissez simplement ce module STRAP-ViT dans l'architecture existante. C'est comme ajouter un filtre à votre voiture sans changer le moteur.
Très rapide et léger : Le système ne regarde que quelques tokens suspects (par exemple, 2 à 8 tokens sur des milliers). C'est comme si un gardien de sécurité ne vérifiait que les sacs suspects, et non tous les sacs de tous les passagers.
Efficace partout : Les tests montrent que cela fonctionne même si l'attaquant utilise plusieurs autocollants à la fois, ou s'il change la taille de l'autocollant.
Sans effet secondaire : Sur des images normales (sans attaque), le système ne touche presque rien, donc le robot reste aussi intelligent et rapide qu'avant.

🎯 En résumé

STRAP-ViT, c'est comme avoir un gardien de sécurité invisible qui surveille les yeux du robot. Dès qu'il voit un petit autocollant malveillant essayer de tromper le robot, il le "nettoie" instantanément avec des transformations magiques, permettant au robot de voir la réalité telle qu'elle est, sans se faire piéger.

C'est une défense intelligente, rapide et qui ne coûte pas cher à mettre en place, protégeant ainsi les futures applications d'intelligence artificielle (comme les voitures autonomes ou la reconnaissance faciale) contre les tricheurs.

1. Problématique : La Vulnérabilité des ViT aux Patches Adversariaux

Les Vision Transformers (ViT) sont devenus l'architecture dominante pour la vision par ordinateur, mais ils présentent une vulnérabilité critique face aux patches adversariaux. Contrairement aux perturbations au niveau du pixel qui nécessitent une modification globale de l'image, un patch adversarial est une région localisée, imprimable et physiquement réalisable (ex: un autocollant).

Mécanisme d'attaque : Ces patches exploitent le mécanisme d'auto-attention global des ViT. Un patch à fort contraste attire l'attention du modèle vers lui-même, "détournant" (hijacking) l'attention des tokens normaux et corrompant le class token. Cela force le modèle à produire une classification erronée avec une haute confiance, même si le patch ne couvre qu'une petite fraction de l'image.
Limites des défenses existantes : Les méthodes actuelles (entraînement adversarial, lissage certifié, détection de patches) sont soit trop coûteuses en calcul, soit nécessitent un réentraînement spécifique, soit manquent de robustesse face à des attaques adaptatives ou physiques.

2. Méthodologie : STRAP-ViT

L'article propose STRAP-ViT, une méthode de défense non entraînable (plug-and-play) qui s'intègre dans le flux d'inférence d'un ViT pré-entraîné sans coût de formation supplémentaire. Elle repose sur deux phases principales : la Détection et l'Atténuation.

A. Hypothèse Fondamentale

Les auteurs observent que les tokens correspondant aux zones de l'image contenant le bruit adversarial possèdent des propriétés statistiques distinctes par rapport aux tokens provenant de la partie propre de l'image. En particulier, la distribution de probabilité de ces tokens (dans l'espace des canaux) subit un décalage systématique, augmentant leur entropie et leur divergence par rapport à une distribution de référence "propre".

B. Phase 1 : Détection par Ségrégation de Tokens (Token Segregation)

Cette phase identifie les tokens suspects en utilisant la Divergence de Jensen-Shannon (JSD).

Calcul de la JSD : Pour chaque token à une couche donnée, le modèle calcule la JSD entre la distribution de probabilité du token actuel ( $p_{\ell,t}$ ) et une distribution de référence propre ( $q_{\ell,t}$ ) pré-calculée.
Score d'anomalie : La métrique utilisée est la racine carrée de la JSD ( $\sqrt{JSD}$ ), qui agit comme une distance métrique. Un score élevé indique une forte probabilité que le token soit affecté par le patch.
Sélection : Les $K$ tokens ayant les scores les plus élevés sont sélectionnés comme étant les plus susceptibles de chevaucher le patch adversarial. Le paramètre $K$ est un hyperparamètre choisi pour garantir qu'au moins 50 % du patch est couvert par les tokens transformés.

C. Phase 2 : Atténuation par Transformation de Tokens (Token Transformation)

Une fois les tokens anormaux identifiés, ils sont soumis à une composition aléatoire de transformations pour neutraliser le bruit adversarial. L'utilisation du hasard rend l'attaque adaptative extrêmement difficile. Les transformations incluent :

Projection $L_p$ : Limite l'énergie extrême des canaux (réduit les valeurs aberrantes).
Contraction Affine : Réduit l'amplitude du vecteur de caractéristiques via une transformation affine bornée.
Transformation Simplex (Softmax tempéré) : Réduit les pics d'activation et rééquilibre les canaux.

Ces transformations sont appliquées de manière aléatoire (sous-ensemble et ordre des transformations choisis aléatoirement) à chaque inférence, empêchant l'attaquant de "s'entraîner" à résister à une transformation fixe.

3. Contributions Clés

Approche sans entraînement (Training-free) : STRAP-ViT est un module plug-and-play qui fonctionne sur des ViT pré-entraînés (comme ViT-base-16 ou DinoV2) sans nécessiter de réentraînement coûteux.
Détection basée sur la sémantique : Contrairement aux méthodes qui opèrent dans l'espace des pixels, STRAP-ViT détecte les anomalies directement dans l'espace des représentations de tokens (espace sémantique), là où le modèle prend ses décisions.
Robustesse adaptative : L'utilisation de transformations aléatoires composites rend la défense résistante aux attaques adaptatives, car l'attaquant ne peut pas optimiser un patch contre une transformation fixe.
Efficacité computationnelle : Le coût de calcul est négligeable par rapport aux blocs d'attention du ViT, car il ne s'applique qu'à un petit sous-ensemble de tokens ( $K$ ).

4. Résultats Expérimentaux

L'évaluation a été menée sur les datasets ImageNet et CalTech-101 avec des architectures ViT-base-16 et DinoV2, face à plusieurs types d'attaques (Adversarial Patch, LAVAN, GDPA, et RP2 pour les multiples patches).

Précision Robuste : STRAP-ViT atteint des précisions robustes extrêmement élevées, se situant dans une fourchette de 2 à 3 % de la précision de base (clean baseline).
- Exemple (ImageNet, ViT-B/16, Patch 40x40) : Sans défense, la précision chute à ~3,6 %. Avec STRAP-ViT, elle remonte à 78,8 % (contre une base de 80,5 %).
Impact sur les données propres : La méthode préserve la précision sur les images non attaquées, avec une dégradation minimale (environ -0,4 % sur ImageNet), prouvant qu'elle ne perturbe pas les tokens sains.
Comparaison avec l'état de l'art : STRAP-ViT surpasse les méthodes de référence comme Jedi, ODDR, PatchCleanser et les défenses certifiées, offrant une meilleure robustesse avec un coût computationnel inférieur.
Attaques Multiples : La méthode reste efficace même contre l'attaque RP2 (plusieurs patches distribués sur l'image), à condition d'ajuster le paramètre $K$ pour couvrir tous les patches.

5. Signification et Conclusion

STRAP-ViT représente une avancée significative dans la sécurisation des Vision Transformers pour les déploiements réels (véhicules autonomes, surveillance, etc.).

Signification : Elle démontre qu'il est possible de contrer des attaques physiques sophistiquées sans sacrifier la performance du modèle ni nécessiter un réentraînement massif. En exploitant les propriétés statistiques intrinsèques des tokens corrompus, elle offre une défense "agnostique" (indépendante du modèle et du type de patch).
Perspectives : Les auteurs suggèrent que cette approche pourrait être étendue aux Modèles de Langage-Vision (LVLMs), protégeant ainsi les systèmes multimodaux de nouvelle génération contre les manipulations visuelles.

En résumé, STRAP-ViT transforme la vulnérabilité des ViT (leur attention globale) en une opportunité de défense en isolant et en neutralisant statistiquement les tokens malveillants avant qu'ils ne corrompent la décision finale.