MOAT: Model-Agnostic Randomized Transformations for preventing Efficiency Degradation Attacks on ViTs

Imaginez un monde où les ordinateurs ont appris à « voir » tout comme nous, repérant des chats sur des photos ou lisant des panneaux de signalisation. Pendant longtemps, la meilleure façon d'y parvenir était avec un type de cerveau appelé Réseau de Neurones Convolutifs (CNN). Mais récemment, un nouveau cerveau super puissant, le Vision Transformer (ViT), a pris le dessus. Il est incroyablement intelligent, mais il possède une faiblesse secrète : c'est un peu un glouton. Il essaie de regarder chaque minuscule morceau d'une image à la fois, ce qui consomme une quantité massive de batterie et de puissance de calcul. Pour corrifier cela, les ingénieurs ont inventé une astuce ingénieuse appelée Élagage de Tokens (Token Pruning). Considérez cela comme un videur à l'entrée d'un club : au lieu de laisser entrer chaque pixel (les « tokens ») dans la zone VIP, le videur vérifie leur carte d'identité et ne laisse entrer que les plus importants, expulsant les plus ennuyeux pour économiser de l'énergie.

Cependant, comme tout système de sécurité, ce videur peut être trompé. Un pirate sournois peut ajouter du « bruit » invisible à une image — comme quelques grains de sable numérique — qui semble parfaitement normal à nos yeux mais qui confond le videur. Au lieu d'expulser les tokens ennuyeux, le videur confus pense que tout est important et laisse tout le monde entrer. Soudain, l'ordinateur est de retour à une consommation excessive de batterie et ralentit, même si l'image n'a pas beaucoup changé. C'est ce qu'on appelle une Attaque de Dégradation de l'Efficacité (Efficiency Degradation Attack). Elle ne cherche pas à faire en sorte que l'ordinateur voie un chat à la place d'un chien ; elle cherche simplement à faire travailler l'ordinateur le plus dur possible, drainant la batterie des téléphones, des drones ou des caméras de surveillance.

La solution « MOAT » : Un fossé numérique contre les videurs inefficaces

Dans cet article, les chercheurs présentent une nouvelle défense appelée MOAT (Transformations Aléatoires Indépendantes du Modèle). Vous pouvez considérer MOAT comme un fossé magique et changeant qui entoure le système de vision de l'ordinateur. Au lieu d'essayer de réparer le videur ou d'apprendre à l'ordinateur à être plus robuste (ce qui est difficile et coûteux), MOAT se contente de « laver » l'image « sale » avant même qu'elle n'atteigne le videur.

Voici comment cela fonctionne, étape par étape, en utilisant une analogie ludique :

1. Le rétrécissement et l'étirement aléatoires : Imaginez que le pirate ait dessiné une carte parfaite et invisible sur l'image pour confondre le videur. MOAT saisit d'abord l'image, la rétrécit ou l'étire de manière aléatoire, puis la recadre à sa taille d'origine. C'est comme prendre une carte, la froisser, puis la réaplatir. La carte parfaite du pirate est maintenant toute froissée et inutile. Comme la taille change aléatoirement à chaque fois, le pirate ne peut pas prédire exactement comment dessiner son tour.
2. Le Filtre Médian (L'éponge de lissage) : Ensuite, MOAT fait passer l'image à travers une « éponge de lissage ». Si le pirate a tenté de cacher son tour dans un minuscule grain de bruit net, cette éponge l'essuie, le remplaçant par la couleur moyenne de ses voisins. C'est comme lisser une route accidentée pour qu'une voiture puisse y rouler sans rester coincée, tout en préservant les grandes collines et les vallées (les parties importantes de l'image).
3. La Compression JPEG (Le rayon rétrécisseur numérique) : Enfin, MOAT compresse l'image dans un format compressé (comme un JPEG. Ce processus élimine les détails minuscules à haute fréquence qui cachent souvent le bruit du pirate. C'est comme prendre un dessin détaillé et le photocopier plusieurs fois ; les lignes fines et complexes deviennent floues et disparaissent, tandis que l'image principale reste claire.

Ce qu'ils ont découvert

Les chercheurs ont testé ce pipeline « MOAT » sur deux modèles populaires de Vision Transformer (DeiT-Tiny et DeiT-Small) en utilisant une attaque de pirate spécifique appelée DeSparsify.

• Le Problème : Sans aucune défense, l'attaque du pirate était très efficace. Sur le modèle DeiT-Small, l'attaque a forcé l'ordinateur à conserver presque tous les tokens, faisant grimper le coût énergétique (mesuré en GFLOPs) d'un niveau frugal de 3,12 jusqu'à 3,98. Cela signifie que l'ordinateur a perdu environ 31 % de ses économies d'efficacité, faisant chuter ses « économies » à seulement 12,4 %. L'attaque était si performante qu'elle a réussi 60,6 % du temps (mesuré par une métrique appelée Taux de Succès de l'Attaque, ou ASR).
• La Solution : Lorsqu'ils ont ajouté la défense MOAT, le sortilège du pirate s'est brisé. L'ordinateur est redevenu efficace. Le coût énergétique est redescendu à 3,26, et les économies d'efficacité ont été restaurées à 28,2 %. Le taux de succès de l'attaque a chuté à seulement 7,5 %.
• Le Meilleur Aspect : La découverte la plus excitante est que MOAT n'a pas eu besoin de modifier le cerveau de l'ordinateur. Il n'a pas nécessité de réentraîner le modèle ou de changer les règles du videur. Il s'est contenté de se tenir devant, effectuant ses trois étapes simples. Mieux encore, il était incroyablement léger. Alors que d'autres défenses (comme un modèle de diffusion complexe) ajoutaient des centaines de fois plus de travail pour l'ordinateur, MOAT n'a ajouté qu'environ 0,15 % à 0,57 % de travail supplémentaire. C'est un prix dérisoire à payer pour stopper un énorme drainage de batterie.

Pourquoi cela importe

L'article suggère que cette approche change la donne car elle est « indépendante du modèle » (model-agnostic), ce qui signifie qu'elle fonctionne sur n'importe quel Vision Transformer sans avoir besoin d'être personnalisée pour chacun d'eux. Les chercheurs ont constaté que l'utilisation des trois étapes ensemble (redimensionnement, filtrage et compression) était bien plus efficace que l'utilisation d'une seule. Ils ont également testé différentes configurations et ont trouvé une version « équilibrée » qui permet de garder l'ordinateur intelligent (haute précision) tout en bloquant les pirates.

Cependant, les auteurs précisent avec prudence que ce n'est pas un bouclier magique qui arrêtera tout pour toujours. Ils admettent que si un pirate connaît exactement le fonctionnement de la défense, il pourrait tenter de construire une attaque plus intelligente. Mais comme MOAT utilise des changements aléatoires et des étapes difficiles à calculer (non différentiables), cela rend très difficile et coûteux pour les pirates de découvrir comment le briser.

En résumé, MOAT est un bouclier ingénieux et léger qui efface les tours invisibles utilisés par les pirates pour forcer nos caméras intelligentes et nos téléphones à trop travailler, les gardant rapides et économes en énergie sans nécessiter une refonte complète de la technologie.