🤖 machine learning

Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks

Cet article introduit le Random Logit Scaling (RLS), une défense de post-traitement « plug-and-play » qui contre efficacement les attaques adverses basées sur les scores en boîte noire en mettant à l'échelle les logits de manière aléatoire pour confondre les attaquants tout en préservant la précision du modèle, et expose simultanément la vulnérabilité de la défense AAA de pointe face aux attaques adaptatives.

Auteurs originaux : Hamid Dashtbani, Mehdi Dousti Gandomani, AmirMahdi Sadeghzadeh

Publié 2026-07-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hamid Dashtbani, Mehdi Dousti Gandomani, AmirMahdi Sadeghzadeh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde de l'intelligence artificielle comme une immense bibliothèque super intelligente où les ordinateurs apprennent à reconnaître des choses — comme repérer un chat sur une photo ou identifier une chanson. Pendant longtemps, ces ordinateurs étaient comme des étudiants timides qui ne répondaient aux questions que si vous leur montriez le manuel (le code interne). Mais dans le monde réel, nous leur posons souvent des questions et obtenons des réponses sans voir comment ils réfléchissent. C'est ce qu'on appelle une « boîte noire ».

Le problème commence lorsqu'un pirate malicieux tente de tromper l'ordinateur. Il n'a pas besoin de s'introduire dans la bibliothèque ; il lui suffit de murmurer un changement minuscule, presque invisible, dans une image — comme ajouter quelques grains de poussière sur la photo d'un panda. À nos yeux, cela ressemble toujours à un panda, mais l'ordinateur s'écrie soudainement : « C'est un grille-pain ! » C'est ce qu'on appelle une « attaque adversaire ». C'est un énorme problème car, si nous ne pouvons pas faire confiance à ces systèmes intelligents pour voir le monde correctement, nous ne pouvons pas les utiliser pour des tâches importantes comme les voitures autonomes ou le diagnostic médical. Les pirates ont trouvé des moyens astucieux de faire cela même lorsqu'ils ne peuvent pas voir le cerveau de l'ordinateur, simplement en lui posant des questions encore et encore et en observant comment il change d'avis.

C'est alors qu'entrent en scène les héros de cette histoire : une équipe de chercheurs qui a décidé de riposter avec son propre tour de magie. Ils appellent leur nouvelle défense le « Random Logit Scaling » (RLS - Mise à l'échelle aléatoire des logits). Imaginez le cerveau de l'ordinateur comme un chef qui goûte une soupe et décide si elle est « très salée » ou « légèrement salée ». Habituellement, le chef donne un nombre précis, comme « 8 sur 10 ». Mais le pirate utilise ce nombre pour comprendre exactement comment ajuster la recette pour faire en sorte que la soupe ait le goût de tout autre chose.

L'idée des chercheurs est simple mais brillante : et si le chef mentait ? Chaque fois que le pirate demande : « À quel point est-ce salé ? », le chef décide aléatoirement de multiplier la réponse par un nombre secret. Parfois, le chef dit « 16 sur 10 » (ce qui donne l'impression que c'est super salé), et d'autres fois « 0,8 sur 10 » (ce qui donne l'impression que c'est à peine salé). Le chef sait toujours que la soupe est salée, il sert donc le bon plat (la bonne réponse), mais les nombres qu'il crie sont complètement brouillés.

C'est là que la magie opère. Le pirate, qui essaie de résoudre un casse-tête mathématique pour tromper l'ordinateur, se retrouve soudainement face à des indices éparpillés. Une seconde, les chiffres augmentent, la suivante, ils diminuent, et le motif est si chaotique que le pirate est complètement confus. C'est comme essayer de trouver un trésor caché quand la carte change l'emplacement du X à chaque fois que vous regardez. Les chercheurs ont testé cela contre certains des pirates les plus intelligents et les plus agressifs au monde. Ils ont découvert que ce tour simple faisait chuter le taux de réussite des pirates de manière spectaculaire — parfois de l'ordre de 80 % — sans rendre l'ordinateur plus lent ou moins précis dans son travail réel.

Cependant, l'article prévient également que toutes les défenses ne sont pas parfaites. Ils ont examiné une autre défense populaire appelée « AAA », qui tente de remodeler les nombres d'une manière spécifique et prévisible pour confondre les pirates. Les chercheurs ont montré que si un pirate connaît ce tour, il peut s'adapter et percer la défense, un peu comme un crocheteur qui apprend le motif spécifique d'une nouvelle serrure. Mais la défense par « Random Logit Scaling » est différente car elle utilise le pur hasard, ce qui la rend beaucoup plus difficile à prédire ou à briser.

En résumé, l'article suggère qu'en ajoutant une couche de bruit aléatoire aux scores de confiance de l'ordinateur, nous pouvons créer un « brouillard de guerre » pour les attaquants. L'ordinateur reste vif et précis, mais le pirate est laissé à tâtons dans l'obscurité, incapable de trouver le chemin pour le tromper. C'est un bouclier léger et facile à utiliser qui ne nécessite pas de reconstruire tout l'ordinateur, juste un simple ajustement de la façon dont il exprime ses réponses. Bien que cela modifie les nombres que l'ordinateur crie (ce qui peut importer pour certaines tâches très spécifiques), cela maintient la décision finale correcte et rend extrêmement difficile pour les pirates de causer des problèmes.

Résumé technique : Random Logit Scaling (RLS)

Problématique

Les réseaux de neurones profonds (DNN) sont de plus en plus déployés dans des domaines critiques tels que la classification d'images, la reconnaissance faciale et la détection de logiciels malveillants. Cependant, ces modèles restent vulnérables aux attaques par exemples adverses, où les entrées sont perturbées par un bruit imperceptible pour provoquer une erreur de classification. Bien que les recherches initiales se soient concentrées sur des scénarios de type "boîte blanche" (white-box), des avancées récentes ont produit de puissantes attaques basées sur des scores en boîte noire (black-box score-based attacks). Dans ces scénarios, l'adversaire n'a pas accès aux paramètres du modèle mais peut interroger le modèle pour obtenir des scores de confiance (vecteurs de probabilité). Des attaques notables, telles que l'attaque Square, peuvent générer des exemples adverses avec succès en seulement quelques dizaines de requêtes, ce qui représente une menace significative pour le déploiement fiable des modèles d'apprentissage automatique (ML).

Les défenses existantes font face à un compromis critique. L'entraînement adversaire (Adversarial Training - AT) améliore la robustesse mais dégrade souvent la précision sur les échantillons bénins et entraîne des coûts de calcul élevés. Les méthodes d'ensemble augmentent la robustesse mais augmentent la charge de stockage et de déploiement. Les défenses basées sur la randomisation (par exemple, l'ajout de bruit aux entrées ou aux logits) offrent une alternative plus légère mais souffrent fréquemment d'une réduction de la précision du modèle et d'une distorsion significative des scores de confiance, ce qui peut être préjudiciable dans les applications reposant sur des probabilités calibrées. De plus, les défenses déterministes comme l'Attaque Adversaire sur l'Attaquant (AAA) se sont révélées vulnérables aux attaques adaptatives.

Méthodologie

1. Random Logit Scaling (RLS)

La contribution principale de ce travail est le Random Logit Scaling (RLS), une défense de post-traitement "plug-and-play" conçue spécifiquement pour les attaques basées sur des scores en boîte noire.

Mécanisme : Le RLS fonctionne en mettant à l'échelle les logits de sortie ( $z$ ) du modèle par un coefficient aléatoire ( $m$ ) échantillonné à partir d'une distribution uniforme continue $U(a, b)$ , où $a, b > 0$ . Les logits mis à l'échelle sont définis par $z' = m \times z$ .
Intuition centrale : La défense vise à confondre l'attaquant en produisant des scores de confiance falsifiés tout en préservant le classement (ranking) des classes. Puisque le facteur d'échelle $m$ est positif, l'ordre relatif des logits reste inchangé, garantissant que la classe prédite (classe top-1) reste la même. Cependant, les valeurs absolues des logits et les écarts entre les classes fluctuent de manière aléatoire à chaque requête.
Impact sur les attaques :
- Estimation du gradient : Les attaques reposant sur l'optimisation d'ordre zéro (ex: NES, ZOO) tentent d'estimer les gradients sur la base des différences de scores. Le RLS introduit du bruit dans ces différences de scores, conduisant à des estimations de gradient falsifiées.
- Recherche aléatoire (Random Search) : Les attaques comme l'attaque Square utilisent des méthodes de recherche pour trouver des directions qui réduisent la perte. Le RLS provoque des fluctuations imprévisibles des valeurs de la fonction objectif (par exemple, une requête avec un petit $m$ peut produire un score trompeusement bas), induisant l'attaquant en erreur en le poussant à choisir des directions sous-optimales ou en lui faisant ignorer des directions valides.
Déploiement : Le RLS ne nécessite aucun réentraînement du modèle sous-jacent. C'est un ajout léger, sans effort, qui peut être implémenté au-dessus de n'importe quel modèle de ML existant.

2. L'attaque Pendulum (Pendulum Attack)

Pour démontrer la vulnérabilité des défenses non randomisées existantes, les auteurs introduisent une nouvelle attaque adaptative appelée attaque Pendulum, ciblant AAA-sine (une défense de pointe qui remodèle la fonction de perte en une courbe de type sinus).

Mécanisme : Les attaques standards restent piégées dans des minima locaux créés par la fonction de perte en forme de sinus. L'attaque Pendulum surmonte cela en changeant de direction de manière itérative. Si l'attaquant échoue à réduire la perte pendant $k$ itérations consécutives, il bascule vers la direction opposée (augmentant la perte). S'il échoue à augmenter la perte pendant $k$ autres itérations, il bascule à nouveau. Cette oscillation permet à l'attaquant d'échapper aux minima et maxima locaux générés par la défense.
Résultat : Cette stratégie adaptative contourne avec succès AAA-sine, augmentant le taux de réussite de l'attaque de plus de 35 % par rapport aux attaques standards.

Contributions Clés

Proposition du RLS : Une défense légère et sans effort qui réduit considérablement le taux de réussite des attaques de pointe basées sur des scores en boîte noire tout en préservant la précision du modèle.
Analyse du scaling des logits : Le document fournit une analyse théorique et empirique montrant comment la mise à l'échelle aléatoire des logits corrompt les fonctions d'objectif utilisées par les attaquants basés sur le gradient et la recherche.
Attaque adaptative (Pendulum) : L'introduction de l'attaque Pendulum démontre la vulnérabilité des défenses déterministes comme AAA face aux stratégies adaptatives, soulignant l'avantage des défenses randomisées comme le RLS.
Évaluation complète : Expérimentations approfondies sur les jeux de données CIFAR-10 et ImageNet en utilisant six attaques de pointe (NES, Bandit, Square, SignHunter, ZO-signSGD et BruSLe) à travers les espaces de normes $\ell_\infty$ , $\ell_2$ et $\ell_0$ .

Résultats Expérimentaux

Les auteurs ont évalué le RLS par rapport à quatre bases de référence : Random Noise Defense (iRND), Randomized Feature Defense (RFD), Boundary Defense (oRND) et AAA.

Robustesse : Le RLS surpasse considérablement les bases de référence dans la résistance aux attaques. Par exemple, sur le jeu de données CIFAR-10 avec ResNet-18, le RLS a réduit le taux de réussite de l'attaque Square de 100 % (sans défense) à 59,85 % (avec une plage 0,5–10) et à 43,05 % (avec une plage 0,5–1000). Contre l'attaque Bandit, le RLS a réduit les taux de réussite jusqu'à 1,56 %.
Préservation de la précision : Contra contrairement à iRND, RFD et oRND, qui provoquent des chutes de précision allant de 0,32 % à 3,95 %, le RLS maintient une chute de précision de 0 % sur tous les modèles et configurations testés car il préserve le classement des classes.
Distorsion des scores de confiance : Bien que le RLS distord les scores de confiance, il cause généralement moins de distorsion (mesurée par la norme L2 des différences de vecteurs de probabilité) que iRND et RFD. Cependant, le document note que le RLS augmente l'erreur de calibration attendue (ECE) plus que RFD et AAA, bien que moins que iRND.
Efficacité des requêtes : Le RLS force les attaquants à utiliser nettement plus de requêtes pour réussir. Par exemple, contre l'attaque Square sur ResNet-18, le nombre moyen de requêtes nécessaires pour une attaque réussie est passé d'environ 115 (sans défense) à environ 735 (RLS 0,5–10).

Signification et Revendications

Le document affirme que le RLS offre une solution unique au compromis robustesse-performance. En découplant la défense du processus d'entraînement et en utilisant une randomisation qui préserve le classement des classes, le RLS permet le déploiement de défenses au moment du test sans :

Sacrifier la précision du modèle sur les échantillons bénins.
Engager les coûts de calcul de l'entraînement adversaire ou des méthodes d'ensemble.
Nécessiter des changements architecturaux complexes.

Les auteurs positionnent le RLS comme particulièrement adapté aux applications où la précision de la prédiction top-1 est primordiale. Ils reconnaissent un compromis : bien que le RLS améliore la robustesse, la distorsion des scores de confiance peut nécessiter des techniques de calibration supplémentaires pour les applications dépendant fortement d'estimations de probabilité précises (ex: diagnostic médical ou détection de hors-distribution). Le travail conclut que les défenses randomisées comme le RLS fournissent une barrière plus résiliente contre les attaquants adaptatifs que les méthodes déterministes comme AAA.