Diffusion or Non-Diffusion Adversarial Defenses: Rethinking the Relation between Classifier and Adversarial Purifier

Cette étude remet en question la supériorité exclusive des modèles de diffusion pour la défense contre les attaques adverses en démontrant que des purificateurs non basés sur la diffusion, entraînés uniquement sur CIFAR-10, surpassent les modèles de diffusion spécialisés sur ImageNet en matière de robustesse, de transférabilité et de généralisation des couleurs.

L'essentiel

Le Problème : Le Couteau qui Coupe Trop

Imaginez que vous avez un chef cuisinier (c'est le classificateur, l'IA qui reconnaît les images). Ce chef est très doué pour identifier des pommes, des chiens ou des voitures. Mais il est aussi très fragile : si quelqu'un lui montre une pomme avec un tout petit peu de poussière ou une tache bizarre (une attaque adversaire), il panique et dit : "Ce n'est pas une pomme, c'est une banane !"

Pour protéger le chef, on a créé un assistant de nettoyage (le purificateur). Son travail est de prendre l'image sale (l'image attaquée), de la nettoyer, et de la rendre au chef pour qu'il puisse la reconnaître correctement.

L'Élève du Moment : Le "Modèle de Diffusion" (Le Nettoyage Magique)

Récemment, les chercheurs ont utilisé un type d'assistant très populaire appelé le Modèle de Diffusion.

• L'analogie : Imaginez un assistant qui a vu des millions de photos de "vraies" pommes dans sa vie. Quand il reçoit une pomme sale, il ne se contente pas de l'essuyer. Il efface complètement l'image, puis il recrée une nouvelle pomme de zéro, en se basant sur ce qu'il "sait" être une pomme parfaite.
• Le problème : Cet assistant est trop perfectionniste. Il veut que la pomme ressemble exactement à celles qu'il a vues dans son livre de recettes. Si la pomme réelle que vous lui donnez a une couleur légèrement différente (parce qu'elle vient d'un autre verger), l'assistant va la "nettoyer" en la transformant en une pomme standard de son livre.
• Le résultat : Le chef (l'IA) regarde cette nouvelle pomme "parfaite" mais qui a perdu sa couleur originale, et il ne la reconnaît plus ! L'assistant a tellement bien nettoyé qu'il a effacé les détails importants pour le chef. C'est ce que les auteurs appellent la "perte de généralisation".

La Solution Proposée : MAEP (Le Nettoyage Intelligent)

Les auteurs de ce papier, Yuan-Chih Chen et Chun-Shien Lu, disent : "Attendez, on n'a pas besoin de recréer l'image de zéro. On a juste besoin d'enlever la poussière sans changer la pomme."

Ils proposent un nouvel assistant appelé MAEP (Masked AutoEncoder Purifier).

• L'analogie : Au lieu de recréer l'image, MAEP utilise une technique de "cache". Il cache une partie de l'image sale et demande au système de deviner ce qu'il y a dessous en se basant sur le reste de l'image.
• Pourquoi c'est mieux ? C'est comme si vous demandiez à un ami de deviner ce qu'il y a derrière un rideau en regardant les bords. Il va deviner la forme et la couleur exactes de l'objet, sans avoir besoin de "réinventer" l'objet.
• Le secret : MAEP apprend à enlever le bruit (l'attaque) tout en respectant la vraie image d'origine, même si elle est un peu différente de ce qu'il a appris.

Les Résultats Surprenants (Les Gagnants)

Ce papier a découvert des choses très intéressantes :

1. Le "Nettoyage Magique" (Diffusion) est fragile : Si vous changez la couleur d'une image (par exemple, rendre un ciel bleu en ciel vert), le modèle de diffusion panique et dégrade la qualité de l'image. Le chef ne reconnaît plus rien.
2. MAEP est un champion du transfert : C'est là que ça devient fou. Les auteurs ont entraîné leur assistant MAEP sur un petit jeu de données (des images de 32x32 pixels, comme des timbres-poste, appelés CIFAR-10). Ensuite, ils l'ont testé sur un jeu de données géant et complexe (des photos réelles en haute définition, ImageNet).
   • Le résultat : MAEP, entraîné sur des "timbres", a mieux nettoyé les "photos réelles" que des assistants spécialisés qui avaient été entraînés spécifiquement sur ces photos réelles !
   • L'analogie : C'est comme si un apprenti qui a appris à nettoyer des jouets en plastique dans un jardin réussissait mieux à nettoyer des tableaux de maîtres dans un musée que les experts du musée eux-mêmes.

En Résumé

• Le problème : Les méthodes actuelles (Diffusion) nettoient trop bien les images, en les transformant en versions "idéales" qui ne correspondent plus à la réalité du chef, surtout si les couleurs changent.
• La solution : Utiliser une méthode plus douce (MAEP) qui enlève juste le bruit sans altérer l'essence de l'image.
• La leçon : On n'a pas besoin de modèles géants et complexes pour tout faire. Parfois, une méthode simple, qui respecte l'image originale, fonctionne mieux et s'adapte à n'importe quelle situation, même celle pour laquelle elle n'a pas été entraînée.

C'est une victoire pour la simplicité et la généralisation : un bon nettoyeur ne doit pas changer la maison, il doit juste enlever la poussière !

Résumé technique

1. Problématique

La recherche sur la défense contre les attaques adverses fait face à un défi majeur : la vulnérabilité des modèles d'apprentissage profond aux perturbations imperceptibles. Bien que les modèles de diffusion (comme DiffPure) aient été récemment adoptés avec succès pour la purification des images (élimination des perturbations adverses avant la classification), les auteurs identifient une limitation critique souvent négligée : la perte de généralisation du classifieur.

Le problème central est le suivant :

• Les purificateurs basés sur la diffusion sont entraînés pour reconstruire des images selon la distribution des données d'entraînement du modèle de diffusion.
• Cependant, les classifieurs sont entraînés avec des techniques d'augmentation de données (changement de couleur, rotation, etc.) pour améliorer leur robustesse et leur capacité à généraliser.
• Il existe donc un décalage de distribution : le purificateur de diffusion tend à "lisser" les images vers la distribution d'entraînement stricte, ce qui peut détruire les variations de texture ou de couleur que le classifieur a apprises à reconnaître. Cela entraîne une baisse de précision sur les images non attaquées mais légèrement modifiées (ex: variations de couleur), même si l'attaque est éliminée.

2. Méthodologie

Les auteurs proposent une analyse comparative entre les purificateurs basés sur la diffusion et une nouvelle approche non basée sur la diffusion, baptisée MAEP (Masked AutoEncoder Purifier).

A. Analyse Théorique et Observation

• Décalage Classifier-Purificateur : Les auteurs démontrent que les purificateurs de diffusion (ex: DiffPure, ScoreOpt) modifient significativement les détails de l'image et la structure globale pour correspondre à la distribution d'entraînement du modèle de diffusion. Cela crée une perte sémantique lorsque l'image de test diffère légèrement de la distribution d'entraînement (ex: changement de couleur).
• Hypothèse sur la Perte de Précision : Contrairement aux études précédentes qui se concentrent uniquement sur la précision robuste (résistance aux attaques), les auteurs montrent que les purificateurs de diffusion dégradent la précision propre (clean accuracy) sur des données non vues ou modifiées, car ils "corrigent" des variations légitimes que le classifieur considère comme normales.

B. Proposition : MAEP (Masked AutoEncoder Purifier)

Pour résoudre ce problème, les auteurs introduisent MAEP, un purificateur non basé sur la diffusion qui combine deux mécanismes clés :

1. Fonction de Perte de Purification (Purification Loss) : Inspirée de travaux antérieurs (DISCO), cette perte vise à reconstruire l'image propre $x$ à partir de l'image adversaire $x_a$ en minimisant la distance $\ell_1$ entre elles. Elle apprend la direction de la perturbation adversaire.
2. Apprentissage par Masquage (Masked Language Modeling - MLM) : Adapté des modèles MAE (Masked Autoencoders), le modèle masque une partie de l'image (patchs) et tente de les reconstruire à partir des parties visibles.
   • Objectif : Forcer le modèle à apprendre des représentations robustes des patchs adverses tout en préservant la structure sémantique globale de l'image.
   • Fonction de perte totale : $L_{MAEP} = L_{purify} + L_{recon}$, où $L_{purify}$ traite les zones non masquées pour éliminer l'attaque, et $L_{recon}$ traite les zones masquées pour préserver la sémantique.

3. Contributions Clés

1. Identification de la Perte de Généralisation : C'est la première étude à mettre en évidence que les purificateurs de diffusion peuvent nuire à la capacité de généralisation du classifieur, en particulier face aux variations de couleur et aux changements de distribution, en raison de l'incompatibilité entre les objectifs d'augmentation des données du classifieur et la génération réaliste du modèle de diffusion.
2. Proposition de MAEP : Introduction d'un purificateur non basé sur la diffusion qui intègre la perte de purification et le masquage pour maintenir l'intégrité sémantique tout en éliminant les perturbations.
3. Création de ColoredImageNet : Pour quantifier la sensibilité aux variations de couleur, les auteurs ont généré un nouveau jeu de données, ColoredImageNet, en appliquant des transferts de style de couleur sur ImageNet. Cela permet d'évaluer l'impact des décalages de couleur sur l'efficacité de la purification.
4. Preuve de la Supériorité en Transférabilité : Démonstration qu'un modèle entraîné sur un petit jeu de données (CIFAR-10) peut surpasser des modèles de diffusion entraînés spécifiquement sur de grands jeux de données (ImageNet) lors d'un transfert direct, sans nécessiter de réentraînement.

4. Résultats Expérimentaux

Les expériences ont été menées sur CIFAR-10, CIFAR-100 et ImageNet (y compris ImageNet-C et ColoredImageNet).

• Performance Globale : MAEP atteint des performances compétitives, surpassant souvent les méthodes de diffusion (DiffPure, ScoreOpt) en termes de précision robuste et de précision propre moyenne.
  • Sur CIFAR-10, MAEP obtient 92,30 % de précision propre et 88,73 % de précision robuste (contre 88,15 % / 87,29 % pour DiffPure).
  • Sur CIFAR-100, l'écart est encore plus marqué : MAEP (73,67 % / 76,22 %) surpasse largement DiffPure (61,98 % / 61,19 %).
• Sensibilité aux Couleurs (ColoredImageNet) : Les résultats montrent que les purificateurs basés sur la diffusion subissent une chute de précision beaucoup plus importante (environ deux fois plus) lors de changements de couleur par rapport à MAEP. Cela confirme l'hypothèse que la diffusion "lisse" excessivement les variations de couleur légitimes.
• Transférabilité entre Jeux de Données :
  • CIFAR-100 $\to$ CIFAR-10 : MAEP maintient une robustesse élevée, tandis que DiffPure chute drastiquement (de 89,45 % à 69,00 %).
  • CIFAR-10 $\to$ ImageNet (Haute Résolution) : Un modèle MAEP entraîné uniquement sur CIFAR-10 atteint 75,96 % de précision moyenne sur ImageNet (avec attaque $\epsilon=4/255$), surpassant DiffPure et ScoreOpt qui sont pourtant entraînés directement sur ImageNet (environ 68-69 %).
• Qualité de l'Image : Les images purifiées par MAEP conservent beaucoup plus de détails et de textures que celles produites par les méthodes de diffusion, ce qui est crucial pour la classification.

5. Signification et Conclusion

Cet article remet en question le paradigme dominant selon lequel les modèles de diffusion sont la solution ultime pour la purification adversaire.

• Changement de perspective : Il démontre que la force des modèles de diffusion (génération réaliste) est aussi leur faiblesse dans le contexte de la défense, car elle entre en conflit avec la nécessité pour les classifieurs de généraliser à des variations de données non vues.
• Efficacité sans données supplémentaires : La méthode MAEP prouve qu'il est possible d'obtenir une robustesse supérieure et une meilleure transférabilité sans avoir besoin de modèles de diffusion pré-entraînés massifs ou de données supplémentaires.
• Impact pratique : Pour les applications réelles où les conditions d'éclairage, de couleur ou de résolution varient, les purificateurs non basés sur la diffusion comme MAEP offrent une solution plus robuste et généralisable, évitant la dégradation de la précision sur des données propres mais légèrement modifiées.

En résumé, les auteurs proposent un retour aux méthodes d'apprentissage de représentations (comme les Autoencodeurs Masqués) couplées à des pertes de purification ciblées, offrant une alternative plus efficace et généralisable aux approches basées sur la diffusion pour la défense adversaire.