Résumé Technique : FUSE – Exemples Inapprenables à Spectre Complet via l'Égalisation Spectrale

1. Énoncé du Problème

Les exemples inapprenables (Unlearnable Examples - UEs) sont une technique de préservation de la vie privée conçue pour protéger les données d'entraînement en ajoutant des perturbations imperceptibles. Ces perturbations empêchent les modèles d'apprentissage automatique d'extraire des représentations sémantiques exploitables, bloquant ainsi l'entraînement non autorisé sur des données sensibles.

Cependant, les auteurs identifient une vulnérabilité critique dans les méthodes d'UE existantes : leur efficacité dépend fortement des composantes de haute fréquence. Une analyse empirique révèle que lorsqu'un filtre passe-bas est appliqué aux données protégées, l'inapprenabilité des approches actuelles s'effondre. Les modèles entraînés sur des données filtrées parviennent à extraire avec succès des informations sémantiques à partir du contenu résiduel à basse fréquence, ce qui entraîne une fuite de confidentialité. Cela indique que les perturbations existantes ne sont pas « agnostiques au spectre » et ne parviennent pas à protéger les données sur l'ensemble du spectre fréquentiel.

2. Méthodologie

Le papier propose FUSE (Full-spectrum Unlearnable examples via Spectral Equalization), un cadre conçu pour générer des perturbations qui restent efficaces quel que soit le filtrage spectral. FUSE y parvient grâce à deux composantes complémentaires :

A. Masquage Spectral Aléatoire (Random Spectral Masking - RSM)

Le RSM est conçu pour empêcher les perturbations de s'effondrer dans des régions spectrales étroites. Il emploie deux mécanismes lors de l'entraînement du générateur :

1. Dropout Fréquentiel Stochastique : Un opérateur de masque aléatoire $T_{spec}$ est appliqué à chaque étape d'entraînement, lequel annule une partie contiguë du domaine fréquentiel dans la transformée de Fourier de l'entrée. Cela force le générateur à garantir que les bandes de fréquences restantes peuvent toujours induire l'inapprenabilité, empêchant ainsi une dépendance excessive à des fréquences spécifiques.
2. Régularisation par l'Entropie : Pour décourager davantage la concentration spectrale, la méthode maximise l'entropie du spectre de puissance normalisé de la perturbation. Cela encourage une distribution plus uniforme de l'énergie de la perturbation à travers le spectre sans imposer une distribution de type bruit blanc.

L'objectif RSM ($L_{RSM}$) combine une perte d'invariance (garantissant la dégradation des performances même lorsque des parties du spectre sont masquées) et un terme d'entropie négative.

B. Guidage Inter-Bandes (Cross-Band Guidance - CBG)

Alors que le RSM distribue les perturbations, le CBG gère explicitement l'interaction entre les composantes de basse fréquence (sémantique globale) et de haute fréquence (détails locaux) afin d'assurer une cohérence mutuelle.

1. Décomposition Fréquentielle : Les images sont divisées en composantes de basse fréquence ($x'_{low}$) et de haute fréquence ($x'_{high}$) à l'aide d'un masque circulaire dans le domaine de Fourier défini par un rayon $r_c$.
2. Guidage Sémantique : La branche de haute fréquence, qui induit naturellement une confusion plus forte du classifieur, est utilisée comme une « cible douce » pour guider la branche de basse fréquence. La composante de basse fréquence est entraînée pour s'aligner sur les prédictions de la composante de haute fréquence ($L_{guide}$), garantissant que les structures globales ne restent pas apprenables.
3. Cohérence Structurelle : Pour éviter que la branche de haute fréquence ne se déforme de manière indépendante, une perte de cohérence ($L_{struct}$) est appliquée. Cette perte minimise la différence de similitude structurelle (combinant la similitude de cosinus au niveau des caractéristiques et l'indice SSIM) entre la paire de basse fréquence et la paire de haute fréquence. La similitude de basse fréquence agit comme une cible fixe (via un arrêt de gradient/stop-gradient) pour régulariser les perturbations de haute fréquence, préservant la fidélité sémantique tout en maintenant l'inapprenabilité.

L'objectif d'optimisation total minimise la somme de $L_{RSM}$ et $L_{CBG}$ sous réserve d'un budget de perturbation ($\|\delta\|_\infty \le \epsilon$).

3. Principales Contributions

• Identification de la Vulnérabilité : Les auteurs démontrent que les défenses UE existantes échouent sous le filtrage passe-bas car leurs perturbations reposent principalement sur les composantes de haute fréquence.
• Cadre Agnostique au Spectre : FUSE est proposé comme un nouveau cadre qui distribue les effets de la perturbation sur toute la plage de fréquences, empênant la présence d'indices résiduels dans n'importe quelle bande.
• Évaluation Complète : Des expériences approfondies sur plusieurs jeux de données (CIFAR-10, CIFAR-100, SVHN), architectures (ResNet, VGG, DenseNet, ViT, et des modèles non standards comme ConvNeXt et Swin-T) et stratégies de défense montrent que FUSE surpasse systématiquement les approches précédentes.

4. Résultats Expérimentaux

• Robustesse au Filtrage Passe-Bas : Sous filtrage passe-bas, les méthodes existantes (ex: LSP, TUE, GUE) montrent une récupération significative de la précision (ex: LSP atteint ~54 % sur CIFAR-10 avec ResNet-18). En revanche, FUSE maintient une précision de test proche du hasard (ex: ~10 % sur CIFAR-10), démontifiant sa robustesse même lorsque les hautes fréquences sont supprimées.
• Performance Sans Filtrage : FUSE atteint la précision de test la plus basse sur la plupart des couples jeu de données-architecture, même sans filtrage, confirmant son efficacité dans les scénarios standards.
• Transférabilité Inter-Architecture : FUSE reste efficace lorsque le modèle de substitution (ResNet-18) est utilisé pour générer des perturbations pour diverses architectures cibles, incluant les Vision Transformers et les CNN non standards.
• Résistance aux Défenses : FUSE maintient une forte inapprenabilité face à diverses stratégies de défense, notamment l'augmentation de données, l'entraînement antagoniste (adversarial training) et les défenses spécifiques aux UE comme D-VAE, AN-SDA et ORTHO PROJ. Il démontre également une robustesse contre la compression JPEG.
• Modèles Vision-Langage : Dans une étude de preuve de concept sur CLIP, FUSE a provoqué une chute significative de la précision (4,28 % sans filtrage, 6,06 % en passe-bas) par rapport aux bases, suggérant une applicabilité au-delà de la classification standard.
• Efficacité : Comparé à la base génératrice GUE, FUSE nécessite nettement moins de paramètres, moins de GFLOPs et des temps d'inférence plus rapides.

5. Signification et Revendications

Le papier affirme que FUSE répond à une limitation fondamentale des méthodes actuelles de protection des données en garantissant que l'inapprenabilité n'est pas confinée aux régions de haute fréquence. En imposant une égalisation spectrale et une cohérence inter-bandes, FUSE fournit une protection de la vie privée fiable qui persiste même lorsque les données subissent un filtrage spectral ou d'autres transformations supprimant les détails de haute fréquence. Les auteurs positionnent ce travail comme une étape vers des mécanismes de protection de la vie privée plus robustes et conscients de la fréquence, capables de résister aux défenses adaptatives et aux changements de distribution.

Les auteurs déclarent explicitement que leur objectif est de renforcer la protection de la vie privée contre l'entraînement de modèles non autorisés, tout en reconnaissant que de telles perturbations pourraient théoriquement être mal utilisées dans des contextes adverses. Ils soulignent que FUSE doit être appliqué uniquement à des fins éthiques de protection des données, conformément aux cadres juridiques et aux licences de jeux de données.