Résumé Technique : Améliorer la détection d'états des attaques adverses grâce à la temporalité des soft-labels et des approximations de similitude robustes

Énoncé du problème

Les réseaux de neurones profonds (DNN) sont hautement sensibles aux attaques adverses en boîte noire, où les adversaires conçoivent des perturbations imperceptibles pour provoquer une erreur de classification. Ces attaques reposent souvent sur des requêtes fréquentes et adaptatives pour sonder les frontières de décision du modèle. La Détection d'État (Stateful Detection - SD) est un mécanisme de défense conçu pour identifier de telles attaques en détectant des séquences de requêtes similaires.

Cependant, les méthodes de SD existantes (par exemple, Blacklight, PIHA) font face à deux limitations critiques :

1. Vulnérabilité aux attaques d'approximation : Les systèmes de SD utilisent souvent des approximations (comme le hachage ou la quantification aléatoire) de métriques de similitude complexes pour détecter des requêtes similaires. Les auteurs observent que ces approximations peuvent être exploitées. Un adversaire peut concevoir des requêtes qui paraissent dissemblables sous la fonction d'approximation mais qui restent proches selon la métrique initiale, évitant ainsi la détection. Le papier fait référence à cela comme une « attaque adverse » sur la fonction de similitude.
2. Taux de faux positifs (FPR) élevé : Pour minimiser les faux positifs, les systèmes de SD fixent souvent des seuils de similitude élevés. Cela les rend vulnérables aux attaques de sondage adaptatif (par exemple, l'Oracle-guided Adaptive Rejection Sampling, ou OARS) qui ajoutent des perturbations aléatoires pour réduire la similitude de la requête sous le seuil. De plus, des séquences bénignes présentant une forte similitude (comme des images fixes de vidéos de surveillance/CCTV) sont fréquemment identifiées à tort comme malveillantes.

Méthodologie

Les auteurs proposent un cadre de détection en deux phases qui combine une approximation robuste de la similitude des requêtes avec l'analyse temporelle des soft-labels.

Phase 1 : Détection de similitude robuste

La première phase identifie les sous-séquences de requêtes qui sont probablement similaires, en utilisant une méthode de quantification aléatoire salée pour approximer la métrique de similitude prévue.

• Métrique prévue : Le papier définit une « fonction de similitude prévue » ($D$) basée sur la distance minimale entre les sous-images (fenêtres glissantes) de deux images.
• Vulnérabilité de l'approximation : Les approximations standards (comme celles de Blacklight) échantillonnent un sous-ensemble de fenêtres. Les auteurs démontrent qu'un adversaire peut introduire de petites distorsions pour réduire le chevauchement de ces fenêtres échantillonnées, créant ainsi un exemple adverse $(\epsilon, \delta)$ où la distance réelle est faible ($\le \epsilon$) mais la distance approximée est grande ($\ge \delta$).
• Solution proposée : Pour atténuer cela, le cadre utilise une quantification aléatoire salée.
  • Un sel aléatoire est appliqué à l'entrée avant la quantification.
  • Les valeurs sont arrondies aléatoirement vers le haut ou vers le bas en fonction d'une distribution de Bernoulli.
  • Cela introduit une part d'aléatoire cachée de l'adversaire, rendant difficile l'ingénierie inverse des frontières de quantification ou la conception de perturbations spécifiques pour contourner le hachage.
  • La similitude est déterminée en vérifiant si un nombre suffisant de fenêtres non chevauchantes et sélectionnées aléatoirement de la requête quantifiée correspondent à des fenêtres précédemment vues dans une base de données de filtres de Bloom.

Phase 2 : Corrélation temporelle des soft-labels

Les requêtes signalées comme similaires en Phase 1 sont transmises à la Phase 2 pour distinguer les séquences similaires bénignes (ex: images de vidéosurveillance) des séquences adverses.

• Observation : Les attaques adverses génèrent de manière adaptative des requêtes basées sur les sorties précédentes du modèle (soft-labels), créant une corrélation temporelle dans la séquence de ces soft-labels. En revanche, les séquences similaires bénignes (comme les images fixes de CCTV) présentent généralement des soft-labels indépendants au fil du temps.
• Mécanisme : Le cadre extrait les probabilités de soft-label pour la classe prédite de la première requête de la sous-séquence. Il applique ensuite le test de Ljung–Box à cette séquence pour détecter une corrélation sérielle.
• Décision : Si la valeur $p$ du test de Ljung–Box tombe en dessous d'un seuil prédéterminé, la séquence est signalée comme adverse. Cette phase filtre efficacement les faux positifs générés par la Phase 1.

Contributions clés

1. Observation du comportement temporel : Les auteurs identifient que les séquences de requêtes adverses présentent des corrélations temporelles distinctes dans leurs soft-labels, ce qui peut être exploité pour les distinguer des requêtes similaires bénignes.
2. Attaques adverses sur les métriques de similitude : Le papier introduit le concept d'« attaques adverses » sur les fonctions d'approximation de similitude. Il démontre une attaque légère sur la métrique de similitude de Blacklight permettant à un adversaire d'échapper à la détection sans nécessiter de sondages étendus.
3. Approximation de similitude robuste : Les auteurs proposent la quantification aléatoire salée comme méthode d'approximation robuste. En cachant les frontières de quantification via l'aléa, cela empêche l'adversaire de concevoir facilement des entrées qui contournent la vérification de similitude tout en maintenant la précision de la détection.
4. Cadre en deux phases : Un cadre de détection novateur qui abaisse le seuil de similitude en Phase 1 (augmentant la sensibilité) et utilise l'analyse de la temporalité des soft-labels en Phase 2 pour filtrer les faux positifs. Cette approche atténue le compromis entre le taux de faux positifs (FPR) et la vulnérabilité aux attaques adaptatives.
5. Validation empirique : Évaluation complète contre les attaques de pointe (SOTA) et les défenses adaptatives.

Résultats expérimentaux

Le cadre a été évalué sur les jeux de données CIFAR-10 et ImageNet contre cinq attaques en boîte noire : Boundary Attack (BA), Hop Skip Jump Attack (HSJA), HSJA avec mélange de fréquence, Square Attack (SA) et SimBa. Il a également été testé contre des attaques adaptatives (OARS).

• Taux de vrais positifs (TPR) : Le cadre proposé a atteint un TPR de 1,00 sur tous les tests d'attaques sur les deux jeux de données, surpassant ou égalant les versions optimisées de Blacklight (qui variaient de 0,42 à 0,97).
• Taux de faux positifs (FPR) : Le cadre a maintenu un FPR faible de 0,06 maximum (comparé à 0,42 pour les autres méthodes SOTA de SD). Cela est dû au fait que la Phase 2 filtre avec succès les séquences similaires bénignes (ex: images fixes de caméras).
• Robustesse aux attaques adaptatives :
  • Lorsqu'il est testé contre des attaques renforcées par OARS, le cadre oblige l'adversaire à introduire un bruit substantiel pour contourner la Phase 1.
  • Crucialement, aucune des attaques renforcées par OARS (HSJA ou Boundary Attack) n'a réussi à générer un exemple adverse valide en 50 000 requêtes lorsqu'elle est défendue par le cadre proposé, alors qu'elles ont réussi contre Blacklight.
• Efficacité : La méthode induit un surcoût temporel et de mémoire modeste. Le stockage est d'environ 7,5 Mo pour les filtres de Bloom et jusqu'à 17,9 Mo pour les caches de soft-labels (ImageNet). Le temps de traitement est d'environ 1,0 minute pour CIFAR-10 et 2,5 minutes pour ImageNet par 30 000 requêtes, réductible via le multiprocessing.

Signification et affirmations

Le papier affirme que sa principale importance réside dans le fait de traiter la vulnérabilité des systèmes de SD existants face au sondage adaptatif et aux attaques d'approximation. En intégrant la temporalité des soft-labels, les auteurs soutiennent que les défenseurs peuvent adopter des seuils de similitude plus bas, augmentant ainsi la détection des attaques adaptatives qui reposent sur la perturbation de la similitude des requêtes.

Les auteurs soulignent que leur approche est robuste contre les « attaques adverses » sur la fonction de similitude elle-même, un vecteur de menace jusqu'ici peu exploré dans la littérature sur la SD. Ils concluent que leur cadre en deux phases offre une défense pratique, évolutive et hautement précise qui surpasse les méthodes SOTA actuelles tant en taux de détection qu'en robustesse face aux stratégies d'évasion adaptatives.