💻 computer science

A Survey of Adversarial Efficiency Degradation for Vision Transformer by Exploiting Input-adaptive Optimization

Cet article passe en revue les attaques de dégradation de l'efficacité adversaire sur les Vision Transformers qui exploitent des mécanismes adaptatifs à l'entrée, tels que l'élagage de jetons et l'arrêt précoce, pour augmenter les coûts de calcul sans nuire de manière significative à la précision, tout en analysant des méthodes d'attaque spécifiques, des cadres vulnérables et des défenses légères potentielles.

Auteurs originaux : Anadi Goyal, Nandish Chattopadhyay, Anupam Chattopadhyay, Chandan Karfa

Publié 2026-08-07

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anadi Goyal, Nandish Chattopadhyay, Anupam Chattopadhyay, Chandan Karfa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où le cerveau de votre smartphone, l'intelligence artificielle qui vous aide à reconnaître des visages ou à naviguer sur des cartes, est un chef de cuisine ultra-rapide mais gourmand. Ce chef ne cuisine pas chaque repas exactement de la même manière ; il est assez intelligent pour examiner d'abord les ingrédients. Si vous lui donnez un sandwich simple et nature, il peut décider de sauter les découpes sophistiquées et de le servir rapidement pour économiser de l'énergie. Mais si vous lui donnez une lasagne complexe et multicouche, il sait qu'il doit sortir tous les couteaux et passer plus de temps à cuisiner. Ce « chef intelligent » est un Vision Transformer (ViT), un type d'IA qui analyse des images. Pour rendre ces chefs plus rapides et moins gourmands en batterie, les ingénieurs ont inventé une astuce appelée « élagage de jetons » (token pruning). Considérez une image comme une mosaïque composée de milliers de minuscules carreaux (jetons). Le système d'élagage décide quels carreaux sont ennuyeux et sans importance, les jette, et ne cuisine qu'avec les plus intéressants. C'est comme un bibliothécaire qui ne lirait que la première page d'un livre pour décider si la suite en vaut la peine.

Cependant, comme tout système intelligent, cette astuce d'efficacité possède une faiblesse secrète. Et si quelqu'un pouvait tromper le bibliothécaire en lui faisant croire qu'un livre ennuyeux est en réalité un mystère palpitant ? Ou si l'on collait un petit autocollant invisible sur un sandwich nature pour faire croire au chef qu'il s'agit d'un festin complexe ? C'est le terrain de jeu des « attaques adverses ». Habituellement, les hackers tentent de tromper l'IA pour qu'elle voie un chat au lieu d'un chien. Mais dans ce recoin spécifique de la science, un nouveau genre de fauteur de troubles a émergé. Au lieu d'essayer de changer ce que l'IA voit, ils essaient de briser la façon dont l'IA fonctionne, la forçant à gaspiller toute son énergie et son temps pour une tâche simple. C'est comme un farceur qui ne change pas le menu, mais qui convainc le chef d'utiliser toute la cuisine pour une seule tranche de pain grillé.

La mission du papier : Trouver les « farceurs d'énergie »

Ce papier, intitulé « Adversarial Efficiency Degradation for Vision Transformer by Exploiting Input-adaptive Optimization », est une étude — un rapport organisé et détaillé — qui enquête sur ces nouveaux « farceurs d'énergie ». Les auteurs, une équipe de chercheurs de l'Inde et de Singapour, voulaient comprendre comment les hackers exploitent les astuces du « chef intelligent » (comme l'élagage de jetons) pour faire travailler les modèles d'IA plus dur qu'ils ne le devraient, drainant les batteries et ralentissant les processus sans nécessairement changer la réponse finale.

Les deux principaux farceurs

Le papier se concentre sur deux manières spécifiques dont ces attaques fonctionnent, en les comparant comme deux types différents de malices :

L'« Autocollant Universel » (SlowFormer) : Imaginez un petit autocollant spécifique que vous pouvez coller sur n'importe quelle image au monde. Peu importe qu'il s'agisse d'une photo de chat, de voiture ou d'un coucher de soleil, si vous collez ce patch dans un coin, le système d'« élagage intelligent » de l'IA est confus. Il pense soudain : « Oh non, cela semble super complexe ! Je ferais mieux de garder tous les carreaux et de faire le calcul complet et lourd ! » Le papier explique que cet autocollant est un « patch adverse universel ». Il est entraîné une fois et fonctionne sur tout. C'est comme une clé de maître qui bloque l'interrupteur intelligent de chaque porte dans un bâtiment.
Le « Bruit Personnalisé » (DeSparsify) : C'est un autre genre de tour. Au lieu d'un autocollant, cette attaque ajoute un peu de bruit statique invisible à chaque image spécifique. C'est comme chuchoter un secret au chef pour chaque commande. « Hé, ce sandwich nécessite en fait plus de découpe ! » Le papier note que cette méthode est très précise, adaptée à chaque image pour forcer l'IA à conserver plus de jetons qu'elle ne le devrait.

Les résultats : À quel point les dégâts sont-ils importants ?

Les chercheurs ont testé ces farces sur trois systèmes d'« élagage intelligent » populaires (appelés A-ViT, ATS et AdaViT) en utilisant des ensembles de données d'images standards. Voici ce qu'ils ont trouvé, en respectant exactement les chiffres rapportés par le papier :

L'attaque par « Autocollant » (SlowFormer) : Lorsqu'ils ont appliqué leur patch universel sur les images, l'efficacité de l'IA a subi un coup massif. Par exemple, sur le système A-ViT, la puissance informatique nécessaire (mesurée en GFLOPs) est passée d'un faible 3,70 (lorsqu'aucune attaque n'est en cours) jusqu'à 4,60. C'est la même quantité de puissance que l'IA utiliserait si elle n'était pas « intelligente » du tout ! L'attaque a été si réussie qu'elle a atteint un taux de « Succès d'Attaque » de 100 % sur A-ViT, ce qui signifie qu'elle a complètement vaincu l'astuce d'efficacité. Cependant, il y avait un bémol : la précision de l'IA a chuté de manière significative (de 76,5 %), signifiant que l'IA était très confuse quant à ce qu'elle regardait.
L'attaque par « Bruit » (DeSparsify) : Cette méthode était plus sournoise. Elle a réussi à pousser l'utilisation de la puissance jusqu'à 4,60 GFLOPs sur A-ViT également, mais elle s'est beaucoup mieux cachée. La précision n'a chuté que de 0,1 %. L'IA sait toujours qu'elle regarde un chat, mais elle brûle sa batterie pour le faire. Sur le système ATS, cette attaque a élevé la puissance à 4,20 GFLOPs avec un taux de succès d'attaque de 73,3 %.

Le papier suggère que si l'« autocollant » est puissant, l'attaque par « bruit » est souvent plus dangereuse dans la vie réelle car elle ne brise pas la capacité de l'IA à reconnaître les choses, ce qui la rend plus difficile à détecter.

Les contre-mesures : Peut-on les arrêter ?

Les auteurs ont également examiné comment se défendre contre ces farces. Ils ont découvert qu'il n'existe pas encore de bouclier parfait, mais qu'il existe des idées prometteuses :

Enseigner à l'IA à s'attendre aux problèmes (Entraînement Adversaire) : Pour l'attaque par « autocollant », le papier suggère d'entraîner l'IA avec un ensemble de ces mauvais autocollants. C'est comme s'entraîner pour une tempête en la simulant dans une pièce sécurisée. Lorsqu'ils ont fait cela, le taux de succès de l'attaque pour l'autocollant sur A-ViT est passé de 100 % à 34 %. L'IA est devenue beaucoup plus robuste, bien qu'elle ne soit pas devenue invincible.
Le « Test de Confiance » (Défense basée sur la confiance) : Pour l'attaque par « bruit », les chercheurs ont suggéré une règle où l'IA vérifie sa propre confiance. Si elle pense qu'une décision est incertaine, elle s'oblige à garder plus de jetons, mais si elle est très confiante, elle s'en tient au plan. Cela a fonctionné de manière surprenante. Sur le système ATS, cette défense a fait chuter le taux de succès de l'attaque de 73,5 % à seulement 5,3 %.

Les limites et l'avenir

Le papier souligne avec prudence que ces défenses ne sont pas des baguettes magiques. Les auteurs suggèrent que, bien que ces méthodes réduisent les dommages, elles ne restaurent pas totalement la vitesse et l'autonomie de la batterie d'origine. Les auteurs soulignent également de grandes faiblesses dans les attaques actuelles :

Elles nécessitent des connaissances internes : La plupart de ces farces ne fonctionnent que si le hacker sait exactement comment le système d'« élagage intelligent » est construit. Si le système est une « boîte noire » (cachée de la vue), l'attaque pourrait échouer.
Elles ne se transfèrent pas bien : Une farce conçue pour un type de système d'élagage (comme ATS) ne fonctionne souvent pas sur un autre (comme A-ViT).
Elles ne fonctionnent que sur les systèmes « intelligents » : Ces attaques ne fonctionnent pas sur les anciens systèmes d'IA « stupides » qui effectuent la même quantité de travail quelle que soit l'image.

En conclusion, ce papier cartographie un nouveau front des risques de sécurité. Il montre qu'en rendant notre IA plus intelligente et plus efficace en lui permettant de sauter des étapes, nous lui donnons accidentellement un nouveau moyen de la piéger pour qu'elle tourne en rond. Les auteurs suggèrent que, bien que nous puissions construire de meilleures clôtures (défenses), nous devons continuer à étudier ces « farceurs d'énergie » pour garantir que notre future IA reste à la fois intelligente et sûre.

Résumé technique : Dégradation de l'efficacité adversaire pour les Vision Transformers par l'exploitation de l'optimisation adaptative à l'entrée

1. Énoncé du problème

Les Vision Transformers (ViT) ont connu un succès remarquable en vision par ordinateur mais font face à des défis d'efficacité importants, particulièrement dans les environnements à ressources limitées comme les appareils mobiles et embarqués. Pour atténuer le coût computationnel quadratique de l'auto-attention, les chercheurs ont développé des techniques d'inférence adaptative à l'entrée, telles que l'élagage de jetons (token pruning — suppression dynamique des jetons non informatifs) et l'arrêt précoce (early halting — arrêt de l'inférence pour certains jetons une fois qu'un seuil de confiance est atteint). Les cadres de travail (frameworks) de premier plan incluent l'Adaptive Token Sampling (ATS), AdaViT et A-ViT.

Bien que ces méthodes réduisent la moyenne des coûts de calcul (FLOPs), de l'énergie et de la latence, elles introduisent une vulnérabilité de sécurité inédite : la dégradation de l'efficacité adversaire. Contra\à contrairement aux attaques adverses traditionnelles qui visent à dégrader la classification des entrées, ces attaques ciblent le processus de calcul lui-même. En exploitant les signaux différentiables pilotés par le contenu qui régissent les décisions adaptatives (par exemple, les cartes d'attention, les scores d'arrêt), un adversaire peut concevoir des entrées qui forcent le modèle à conserver plus de jetons ou à exécuter des couches plus profondes que nécessaire. Cela entraîne une augmentation brutale des coûts lors de l'inférence (latence, énergie, mémoire) sans nécessairement dégrader la précision de la prédiction du modèle, ce qui peut provoquer des défaillances du système dans des applications en temps réel comme la surveillance médicale ou les drones autonomes.

2. Méthodologie et mécanismes d'attaque

Le papier unifie et analyse deux classes représentatives d'attaques ciblant les cadres d'élagage de jetons (ATS, AdaViT, A-ViT) :

A. DeSparsify (Perturbations par image)

DeSparsify utilise des perturbations $\ell_\infty$ au niveau des pixels, adaptées à des images spécifiques. Il optimise une perturbation $\delta$ pour maximiser le coût de calcul tout en préservant l'étiquette de classification originale.

Mécanisme : Il utilise une fonction de perte composite combinant un terme orienté vers le calcul ( $L_{atk}$ ) et un terme de préservation de la classification ( $L_{cls}$ ).
Ciblage de cadres spécifiques :
- A-ViT : L'attaque minimise les scores d'arrêt cumulés à travers les couches, empênant les jetons d'atteindre le seuil d'arrêt, forçant ainsi une exécution à pleine profondeur.
- AdaViT : Elle pousse les réseaux de décision (relaxations Gumbel-Softmax) à activer tous les blocs, têtes et patchs, désactivant ainsi les masques de sparsification.
- ATS : Elle aplatit la distribution des scores de signification des jetons (maximisant l'entropie), rendant difficile la distinction et l'élagage des jetons par le mécanisme d'échantillonnage.
Optimisation : Utilise la descente de gradient projetée (PGD) pour mettre à jour la perturbation.

B. SlowFormer (Patch adversaire universel)

SlowFormer introduit un patch adversaire universel — un petit patch d'image de taille fixe, entraîné une seule fois sur un jeu de données et applicable à n'importe quelle image d'entrée sans optimisation par échantillon.

Mécanisme : Le patch est optimisé par ascension de gradient sur une perte de maximisation de calcul spécifique à la méthode de pruning ciblée, tandis que les poids de l'architecture (backbone) restent gelés.
Ciblage de cadres spécifiques :
- A-ViT : Négocie les objectifs d'entraînement (ex: minimisation de la perte de réflexion/pondering) pour retarder l'arrêt.
- AdaViT : Négocie la perte d'utilisation pour augmenter la probabilité de garder les patchs, têtes et blocs actifs.
- ATS : Uniformise la distribution de l'attention du jeton de classe sur les patchs pour maximiser le nombre de survivants uniques.
Praticité : Cette approche agnostique à l'entrée est jugée plus pratique pour les attaques physiques réelles par rapport aux perturbations par image.

3. Contributions clés

Le papier apporte les contributions suivantes au domaine de la sécurité des ViT :

Systématisation des attaques d'efficacité : Il définit et catégorise une nouvelle classe d'attaques ciblant l'efficacité du système (calcul/énergie) plutôt que la précision, se concentrant spécifiquement sur l'inférence adaptative à l'entrée.
Analyse unifiée : Il fournit une analyse comparative de deux vecteurs d'attaque distincts (SlowFormer et DeSirsify) à travers trois cadres majeurs d'élagage de jetons (A-ViT, ATS, AdaViT) en utilisant des métriques standardisées.
Métriques d'évaluation standardisées : Les auteurs introduisent la métrique de Succès de l'Attaque (AS) pour quantifier l'efficacité d'une attaque. L'AS mesure la part des économies de calcul potentielles du modèle qui sont annulées par l'attaque, calculée comme suit :
$AS = \frac{F_{attack} - F_{min}}{F_{max} - F_{min}} \times 100\%$
Où $F_{attack}$ est les GFLOPs sous attaque, $F_{min}$ est les GFLOPs propres (élagués) et $F_{max}$ est les GFLOPs denses (non élagués).
Évaluation de la défense : Le papier évalue les stratégies de défense existantes, incluant les plafonds de rétention de jetons basés sur la confiance et l'entraînement adversaire avec des patchs universels, quantifiant leur capacité à restaurer l'efficacité.

4. Résultats expérimentaux

Les expériences ont été menées sur ImageNet et CIFAR-10 en utilisant des architectures ViT-Small et DeiT-Small.

Dégradation de l'efficacité : Les deux attaques ont réussi à forcer les modèles adaptatifs à opérer près de leur ligne de base dense.
- A-ViT : DeSirsify a augmenté les GFLOPs de 3,70 à 4,60 (100 % AS), tandis que SlowFormer a atteint le même AS de 100 %.
- ATS : DeSirsify a atteint 73,3 % d'AS (4,20 GFLOPs), tandis que SlowFormer a atteint 60,0 % d'AS (4,00 GFLOPs).
- AdaViT : DeSirsify a atteint 43,4 % d'AS (3,27 GFLOPs), et SlowFormer a atteint 40,4 % d'AS (3,20 GFLOPs).
Impact sur la précision : Les attaques ont été optimisées pour préserver la précision. DeSirsify a généralement maintenu une perte de précision inférieure à 1,2 % à travers les cadres. En revanche, SlowFormer a provoqué des chutes de précision significatives dans certaines configurations, comme une perte de 76,5 % sur A-ViT, bien que cela ait été noté comme un effet secondaire plutôt que comme l'objectif primaire de l'attaque.
Impact matériel : Le papier note que DeSirsify peut augmenter l'utilisation de la mémoire d'environ 37 % et la consommation d'énergie d'environ 72 % par rapport aux entrées propres.
Efficacité de la défense :
- Défense basée sur la confiance (DeSirsify) : A réduit considérablement le Succès de l'Attaque (ex: l'AS de A-ViT est passé de 100 % à 36,9 % ; ATS de 73,5 % à 5,3 %).
- Entraînement adversaire (SlowFormer) : A réduit l'AS de A-ViT de 100 % à 34 % et a rapproché les GFLOPs du point de fonctionnement propre.

5. Signification et affirmations

Le papier affirme que la compréhension de ces attaques est cruciale pour concevoir des contre-mesures qui restent légères, car les ViT sont souvent déployés dans des contextes à faible consommation d'énergie. La signification réside dans :

La révélation d'une nouvelle surface d'attaque : Démontrer que les optimisations adaptatives à l'entrée, destinées à économiser des ressources, créent intrinsèquement un chemin de calcul "pilotable" qui peut être manipulé depuis l'espace des pixels pour maximiser la consommation de ressources.
La mise en évidence du compromis : Montrer que si des défenses existent (ex: plafonner le nombre de jetons, entraînement adversaire), elles ne restaurent souvent que partiellement l'efficacité et peuvent introduire leurs propres surcoûts ou compromis de précision.
L'identification des limites : Les auteurs notent modestement que les attaques actuelles souffrent d'une transférabilité limitée entre différents cadres de pruning, d'une dépendance à la connaissance "boîte blanche" des mécanismes internes, et d'une applicabilité étroite aux méthodes adaptatives (inefficace contre le pruning statique).
Directions futures : Le papier conclut en appelant à des défenses qui fournissent des bornes certifiées sur la "robustesse de l'efficacité" et à des attaques capables de se transférer entre différentes optimisations d'inférence et scénarios physiques.

En résumé, le papier établit que les gains d'efficacité des Vision Transformers sont fragiles face à des adversaires capables de manipuler la logique d'inférence dynamique, nécessitant un nouveau focus sur la "robustesse de l'efficacité" parallèlement à la robustesse traditionnelle de la précision.