🤖 machine learning

Sample-Specific Noise Injection For Diffusion-Based Adversarial Purification

Cet article propose le cadre SSNI, qui améliore la purification adversaire basée sur la diffusion en adaptant dynamiquement le niveau de bruit injecté à chaque échantillon en fonction de son écart par rapport à la distribution des données propres, estimée via un réseau de scores pré-entraîné.

Auteurs originaux : Yuhao Sun, Jiacheng Zhang, Zesheng Ye, Chaowei Xiao, Feng Liu

Publié 2026-02-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yuhao Sun, Jiacheng Zhang, Zesheng Ye, Chaowei Xiao, Feng Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de nettoyer une vitre très sale. Si vous frottez trop fort, vous risquez de rayer le verre ou d'effacer ce qu'il y a derrière. Si vous frottez trop doucement, la saleté reste. C'est exactement le problème que les chercheurs ont résolu dans ce papier.

Voici une explication simple de leur découverte, SSNI, en utilisant des analogies du quotidien.

1. Le Problème : La "Recette" Unique ne Fonctionne Pas

Dans le monde de l'intelligence artificielle (IA), les ordinateurs sont souvent trompés par des "pièges" invisibles appelés exemples adverses. C'est comme si quelqu'un dessinait un petit point noir sur un panneau "STOP" pour que l'IA le prenne pour un "30".

Pour se défendre, les chercheurs utilisent une méthode appelée Purification par Diffusion.

L'analogie : Imaginez que vous avez une photo floue et sale. Pour la nettoyer, vous la mettez dans un bain de mousse (du bruit) pour faire disparaître les taches, puis vous la "ressortez" en enlevant la mousse doucement pour retrouver l'image originale.

Le problème actuel : Jusqu'à présent, les chercheurs utilisaient la même quantité de mousse pour toutes les photos, qu'elles soient légèrement sales ou très sales.

Si la photo n'était que très peu sale, trop de mousse l'abîme (l'IA ne reconnaît plus l'image).
Si la photo était très sale, pas assez de mousse laisse les taches (l'IA se trompe toujours).

C'est comme si vous utilisiez la même dose de lessive pour laver un t-shirt tout neuf et un jean couvert de boue. Ce n'est pas efficace !

2. La Solution : Le "Détective" de Propreté

Les auteurs de ce papier, Sun et son équipe, ont eu une idée brillante : chaque image a besoin d'une dose de nettoyage personnalisée.

Ils ont créé un système appelé SSNI (Injection de Bruit Spécifique à l'Échantillon). Voici comment ça marche, étape par étape :

Étape A : Le Test de Propreté (Le Score)

Avant de commencer à nettoyer, le système utilise un "détective" (un réseau de neurones pré-entraîné) pour mesurer à quel point l'image est loin de la perfection.

L'analogie : C'est comme un détective qui sent l'odeur de la poussière.
- Si l'image est presque propre (une image normale), le détective dit : "Ah, ça sent à peine la poussière. On a besoin de très peu de mousse."
- Si l'image est une attaque (très sale), le détecte crie : "Ça sent très fort la boue ! Il faut beaucoup de mousse pour tout enlever."

Ce "score" mesure la distance entre l'image et la réalité normale.

Étape B : L'Adaptation (Le Réglage)

Au lieu d'utiliser une dose fixe, le système ajuste automatiquement la quantité de mousse (le bruit) en fonction du rapport du détective.

Image propre : On met très peu de mousse. L'image reste nette, on ne perd pas de détails.
Image attaquée : On met beaucoup de mousse. On s'assure que le "poison" (l'attaque) est totalement dilué et effacé avant de reconstruire l'image.

3. Le Résultat : Plus Intelligent et Plus Efficace

Grâce à cette méthode, les résultats sont impressionnants :

Pour les images normales : L'IA les reconnaît beaucoup mieux car on ne les a pas abîmées avec trop de nettoyage.
Pour les images piégées : L'IA ne se fait plus avoir car on a mis assez de "mousse" pour détruire le piège.

En résumé :
Avant, on traitait tous les problèmes avec la même force brute. Maintenant, avec SSNI, on utilise un scalpel intelligent : on soigne légèrement ce qui est légèrement malade, et on soigne vigoureusement ce qui est très malade.

C'est une avancée majeure car cela rend les systèmes d'IA à la fois plus sûrs (résistants aux attaques) et plus précis (ils ne font pas d'erreurs sur les images normales), le tout sans ralentir trop le processus. C'est comme passer d'un balai brosse à un aspirateur robot qui ajuste sa puissance en temps réel selon la saleté du sol.

1. Problématique

Les réseaux de neurones profonds (DNN) sont vulnérables aux exemples adverses (AE), de petites perturbations imperceptibles conçues pour tromper le modèle. Une méthode de défense prometteuse est la purification adversariale (AP), qui utilise des modèles génératifs pour transformer un exemple adversaire en son équivalent "propre" avant la classification.

Récemment, les méthodes de purification basée sur la diffusion (DBP) ont émergé. Elles fonctionnent en deux étapes :

Processus direct : Injection progressive de bruit gaussien dans l'échantillon d'entrée.
Processus inverse : Génération d'un échantillon propre à partir du bruit.

Le problème central identifié par les auteurs :
Dans les méthodes DBP existantes (comme DiffPure, GDMP, GNS), le niveau de bruit injecté est contrôlé par un paramètre constant $t^*$ , identique pour tous les échantillons. Les auteurs démontrent que cette approche est sous-optimale :

Si $t^*$ est trop faible, le bruit adversaire n'est pas suffisamment masqué pour être éliminé par le modèle de diffusion.
Si $t^*$ est trop élevé, les informations sémantiques de l'image propre sont détruites, rendant la reconstruction impossible ou erronée.
Observation clé : Le niveau de bruit optimal $t^*$ varie d'un échantillon à l'autre. Les images plus "propres" nécessitent moins de bruit, tandis que les images fortement perturbées en nécessitent davantage.

2. Méthodologie : SSNI

Pour résoudre ce problème, les auteurs proposent un nouveau cadre appelé SSNI (Sample-specific Score-aware Noise Injection). L'objectif est d'adapter dynamiquement le niveau de bruit $t^*$ pour chaque échantillon individuel.

A. Concept Fondamental : La Norme du Score

L'idée repose sur l'utilisation de la norme du score ( $\|\nabla_x \log p_t(x)\|$ ) comme métrique de la distance d'un point de données par rapport à la distribution des données propres.

Intuition : Les échantillons proches de la distribution propre (images nettes) ont une norme de score faible. Les échantillons éloignés (exemples adverses) ont une norme de score élevée.
Corrélation : Il existe une relation directe entre la force de la perturbation adversaire et la norme du score. Plus la perturbation est forte, plus la norme du score est élevée.

B. Architecture du Framework SSNI

Le processus SSNI s'intègre dans un pipeline DBP existant avec les étapes suivantes :

Estimation du Score : Utilisation d'un réseau de score pré-entraîné ( $s_\theta$ ) pour estimer la norme du score de l'échantillon d'entrée. Pour éviter la sensibilité au niveau de bruit de référence, les auteurs utilisent le Expected Perturbation Score (EPS), qui agrège les scores sur une plage de niveaux de bruit.
Fonction de Recalage (Reweighting) : Une fonction $f(\cdot)$ $f (\cdot)$ prend la norme du score et le niveau de bruit global par défaut $t^*$ $t^{*}$ pour calculer un niveau de bruit spécifique $t(x)$ $t (x)$ .
- Deux fonctions sont proposées :
  - Linéaire ($SSNI-L$) : Ajustement proportionnel.
  - Non-linéaire ($SSNI-N$) : Basée sur une fonction sigmoïde, permettant des transitions plus douces.
- Un terme de biais ( $b$ ) est ajouté pour permettre à $t(x)$ de dépasser $t^*$ si nécessaire (pour les attaques très fortes).
Injection de Bruit Adaptative : Le processus de diffusion directe s'arrête au niveau $t(x)$ spécifique à l'échantillon, plutôt qu'à un niveau fixe.
Purification : Le processus inverse reconstruit l'image propre.

3. Contributions Clés

Découverte Théorique et Empirique : Preuve que l'utilisation d'un niveau de bruit partagé ( $t^*$ constant) est sous-optimale et que l'ajustement au niveau de l'échantillon est nécessaire pour maximiser le compromis précision-robustesse.
Framework Général (SSNI) : Proposition d'un cadre générique qui peut être intégré à n'importe quelle méthode DBP existante sans modifier l'architecture du modèle de diffusion ou du classifieur.
Utilisation de la Norme du Score : Première application de la norme du score (via EPS) non seulement pour la détection, mais pour réguler dynamiquement l'intensité du bruit dans un processus de purification.
Efficacité Computationnelle : Le processus de recalage est léger (ajout d'environ 0,5 seconde sur CIFAR-10 et 5 secondes sur ImageNet-1K), rendant la méthode viable en pratique.

4. Résultats Expérimentaux

Les expériences ont été menées sur CIFAR-10 et ImageNet-1K en utilisant des classifieurs pré-entraînés (WideResNet, ResNet) et des modèles de diffusion (DiffPure, GDMP, GNS).

Attaques Évaluées : PGD+EOT (Adaptive White-box), BPDA+EOT, AutoAttack, DiffAttack, Diff-PGD.
Performances :
- Précision Standard (Clean Accuracy) : SSNI améliore significativement la précision sur les exemples propres (jusqu'à +4,43% sur CIFAR-10 avec GNS), car elle évite d'injecter trop de bruit sur les images déjà propres.
- Précision Robuste (Robust Accuracy) : SSNI maintient ou améliore la robustesse face aux attaques adaptatives. Par exemple, sur DiffPure avec WRN-28-10, la robustesse augmente de +0,65% tout en gagnant +3,58% en précision standard.
- Comparaison : SSNI-N (non-linéaire) surpasse systématiquement les méthodes de base et la version linéaire SSNI-L, démontrant la supériorité de l'ajustement non-linéaire.
Généralisation : La méthode fonctionne efficacement sur différents modèles d'architecture (CNN et Transformers) et différents types d'attaques.

5. Signification et Impact

Changement de Paradigme : Ce travail remet en question l'hypothèse courante selon laquelle un paramètre de bruit global est suffisant pour la purification. Il établit que la purification doit être adaptative au niveau de l'échantillon.
Optimisation du Compromis : SSNI résout le dilemme classique de la purification adversariale où l'amélioration de la robustesse se fait souvent au détriment de la précision sur les données propres. En injectant "juste ce qu'il faut" de bruit, elle préserve la sémantique des images propres tout en éliminant les perturbations adverses.
Applicabilité Pratique : En tant que module plug-and-play, SSNI offre une voie simple et efficace pour améliorer la sécurité des systèmes de vision par ordinateur existants sans nécessiter de réentraînement coûteux des modèles de diffusion.

En conclusion, SSNI représente une avancée significative dans le domaine de la défense contre les exemples adverses, démontrant que l'adaptation fine des hyperparamètres de diffusion au niveau de chaque échantillon est la clé pour atteindre une robustesse et une précision maximales.