Low Rank Adaptation for Adversarial Perturbation

1. Énoncé du problème

L'article traite de l'inefficacité des attaques adverses en boîte noire, en particulier du nombre excessif de requêtes nécessaires pour générer des exemples adverses réussis.

• Contexte : Les attaques en boîte noire (où l'attaquant n'a pas accès aux gradients ou aux poids du modèle) constituent le modèle de menace le plus pratique, mais souffrent de coûts de requête élevés. Cela entraîne des charges financières lors du ciblage d'API commerciales et déclenche des systèmes de détection d'intrusion.
• Lacune : Bien que l'Adaptation à Faible Rang (LoRA) ait révolutionné l'efficacité du fine-tuning des Grands Modèles de Langage (LLM) en supposant que les mises à jour du modèle résident dans un sous-espace de faible dimension, il reste une question ouverte de savoir si les perturbations adverses (les mises à jour d'entrée) partagent cette propriété de faible rang. Les travaux existants ont exploré les propriétés de faible rang dans les données naturelles, mais n'ont pas fourni d'analyse théorique ou empirique systématique des perturbations elles-mêmes.
• Défi : Dans un cadre en boîte noire, l'attaquant ne peut pas accéder directement aux gradients du modèle victime pour les décomposer en matrices de faible rang (comme le fait LoRA pour les poids), ce qui rend difficile la construction d'un espace de recherche à faible rang.

2. Méthodologie

Les auteurs proposent un cadre novateur qui exploite la structure intrinsèque de faible rang des perturbations adverses pour améliorer l'efficacité de l'attaque. La méthodologie se compose de trois composantes principales :

A. Validation théorique et empirique

• Théorie : Les auteurs prouvent que pour un classifieur de réseau de neurones $f$, la perturbation minimale $\delta$ requise pour inverser une décision de classification se situe dans l'espace des lignes de la matrice jacobienne $J(x)$. Étant donné que la dimension de sortie (nombre de classes $C$) est beaucoup plus petite que la dimension d'entrée $d$ ($C \ll d$), la perturbation $\delta$ est intrinsèquement de faible rang (rang $\le C$).
• Analyse empirique : En utilisant la Décomposition en Valeurs Singulières (SVD) sur des perturbations générées par diverses attaques (PGD, C&W) à travers différentes architectures (ResNet, ViT, EfficientNet) et différents jeux de données (ImageNet, CUB-200), ils démontrent que ~70-80 % de la variation de magnitude relative des valeurs singulières est concentrée près de zéro. Cela confirme que les perturbations occupent un petit sous-ensemble de directions dominantes.

B. Construction d'un sous-espace à faible rang (Cadre en boîte noire)

Pour surmonter l'absence d'accès direct aux gradients dans les scénarios en boîte noire, les auteurs proposent une méthode de construction de sous-espace transférable :

1. Données auxiliaires et modèle de référence : L'attaquant utilise un jeu de données auxiliaire (qui peut avoir des étiquettes ou des distributions différentes de celles de la victime) et un modèle de référence pré-entraîné (architecture différente) pour générer des vecteurs de gradients.
2. Filtrage par explicabilité : Pour atténuer le bruit dans les gradients de référence, ils appliquent des techniques d'apprentissage automatique explicable (XAI) (par exemple, GradCAM, SHAP, LIME) pour créer des "masques saillants". Ces masques mettent en évidence les caractéristiques critiques, permettant au système de se concentrer sur les composantes de gradient les plus pertinentes.
3. Entraînement d'un Autoencodeur (AE) : Un Autoencodeur basé sur U-Net est entraîné pour mapper les vecteurs de gradients de haute dimension (filtrés par des masques) dans un espace latent de faible dimension et les reconstruire. L'espace latent représente le Sous-espace à Faible Rang.

C. Attaque adverse à faible rang

Le sous-espace construit est intégré aux attaques en boîte noire existantes (basées sur les scores et basées sur les décisions) :

• Mécanisme : Au lieu d'échantillonner des vecteurs de perturbation aléatoires dans l'espace d'entrée complet de haute dimension, l'attaque échantillonne des vecteurs aléatoires au sein de l'espace latent de faible dimension appris.
• Projection : Ces vecteurs latents sont décodés vers l'espace d'origine de haute dimension en utilisant le décodeur entraîné.
• Optimisation : L'attaque procède en estimant les gradients et en mettant à jour la perturbation strictement au sein de ce sous-espace à faible rang contraint, réduisant considérablement l'espace de recherche et améliorant la vitesse de convergence.

3. Contributions clés

1. Preuve théorique : Première preuve théorique démontrant que les perturbations adverses possèdent intrinsèquement une structure de faible rang en raison de l'écart de dimensionnalité entre l'espace d'entrée et les classes de sortie.
2. Preuve empirique : Analyse SVD complète à travers divers modèles, jeux de données et types d'attaques confirmant la nature de faible rang des perturbations.
3. Cadre novateur : Un cadre d'attaque en boîte noire qui construit un sous-espace à faible rang transférable en utilisant des données auxiliaires, des modèles de référence et des techniques XAI, sans nécessiter l'accès aux gradients internes du modèle victime.
4. Gains de performance : Démonstration d'améliorations significatives tant en efficacité de l'attaque (distorsion plus faible) qu'en efficacité opérationnelle (moins de requêtes) par rapport aux références de l'état de l'art.

4. Résultats expérimentaux

Le cadre a été évalué sur les jeux de données ImageNet, CUB-200 et Stanford Cars en utilisant des modèles tels que ResNet-50, EfficientNet et ViT.

• Efficacité des requêtes : Dans les attaques basées sur les décisions (par exemple HSJA) sur le jeu de données CUB-200, la méthode à faible rang a réduit le nombre de requêtes nécessaires pour faire passer la robustesse du modèle de 1,0 à 0,66 de 90 % (d'environ 10 000 requêtes à <1 000) par rapport aux attaques naïves.
• Réduction de la distorsion : La méthode a atteint une distorsion $L_2$ significativement plus faible. Par exemple, sur CUB-200 avec HSJA, la distorsion médiane est passée de 2,64 (naïve) à 0,82 (faible rang avec GradCAM).
• Robustesse au décalage : L'attaque est restée hautement efficace même lorsque le jeu de données auxiliaire (par exemple, des images de visages) et le modèle de référence différaient considérablement du modèle victime (par exemple, classification d'oiseaux), prouvant la transférabilité du sous-espace à faible rang.
• Études d'ablation :
  • Autoencodeur vs PCA : L'Autoencodeur non linéaire a nettement surpassé la PCA linéaire, capturant des motifs de gradients complexes.
  • Intégration XAI : L'utilisation de masques de gradients (XAI) pour l'entraînement de l'AE a donné de meilleurs résultats que l'utilisation de gradients bruts seuls.
  • Modèles robustes : La méthode a réussi à attaquer des modèles entraînés de manière adverse (TRADES, Distillation, etc.), réduisant considérablement leur précision robuste.

5. Signification

• Perspective d'attaque : Ce travail fournit un outil puissant pour évaluer la véritable sécurité des systèmes en boîte noire. En réduisant drastiquement les coûts de requête, il rend possible le test d'API commerciales qui étaient auparavant trop coûteuses ou risquées à sonder de manière extensive.
• Perspective de défense : Les résultats suggèrent que l'entraînement adversaire peut être rendu plus efficace. En contraignant la génération d'exemples adverses à un sous-espace à faible rang pendant l'entraînement, la surcharge computationnelle et mémoire (souvent 3 fois l'entraînement standard) peut être considérablement réduite.
• Insight théorique : Il comble le fossé entre le fine-tuning économe en paramètres (LoRA) et l'apprentissage automatique adversaire, établissant que le phénomène "faible rang" est une propriété fondamentale de l'optimisation dans les espaces de réseaux de neurones de haute dimension, applicable à la fois aux mises à jour de poids et aux perturbations d'entrée.