🤖 machine learning

Adversarial Attacks Leverage Interference Between Features in Superposition

Cet article propose que la vulnérabilité adverse et la transférabilité découlent de la « superposition » dans les réseaux de neurones, où l'encodage efficace de l'information force des représentations non orthogonales qui provoquent une interférence entre les caractéristiques, faisant en sorte que des perturbations ciblées affectent par inadvertance d'autres concepts.

Auteurs originaux : Edward Stevinson, Lucas Prieto, Melih Barsbey, Tolga Birdal

Publié 2026-06-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Edward Stevinson, Lucas Prieto, Melih Barsbey, Tolga Birdal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée centrale : Trop de choses dans une boîte trop petite

Imaginez que vous avez une très petite valise (le « cerveau » interne ou les dimensions du réseau neuronal), mais que vous devez y ranger une garde-robe massive composée de différentes tenues (les concepts ou les caractéristiques que le réseau doit comprendre, comme « chat », « chien », « camion » ou « nuage »).

Dans un monde parfait, vous auriez une immense valise avec un compartiment distinct pour chaque tenue. Mais en réalité, les réseaux neuronaux essaient souvent d'être efficaces. Ils tentent de faire tenir plus de concepts qu'ils n'ont d'espace physique disponible. Ce phénomène est appelé Superposition.

Pour que cela fonctionne, le réseau doit compresser ces concepts ensemble. Au lieu d'avoir un tiroir dédié au « chat » et un tiroir dédié au « chien », il doit utiliser le même espace pour les deux, en les décalant simplement de manière infime. C'est comme essayer d'écrire deux histoires différentes sur la même feuille de papier en utilisant des angles d'encre légèrement différents.

Le problème : L'effet de « diaphonie » (Crosstalk)

Parce que ces concepts sont emballés si étroitement, ils commencent à interférer les uns avec les autres. Le papier appelle cela l'Interférence.

Voyez cela comme une station de radio encombrée. Si vous vous réglez sur une station qui joue du jazz, et que la station voisine diffuse du rock, il arrive parfois que vous entendiez un peu de musique rock se mélanger au jazz. Les signaux « bavent » les uns sur les autres parce qu'ils ne sont pas parfaitement séparés.

Dans un réseau neuronal, si vous essayez d'activer la caractéristique « chat », la caractéristique « chien » pourrait accidentellement recevoir un peu d'énergie elle aussi, simplement parce qu'elles partagent le même espace interne.

Comment les hackers exploitent cela (Attaques adverses)

D'ordinaire, cette interférence est un petit prix à payer pour l'efficacité. Mais le papier révèle que les hackers (adversaires) peuvent transformer cette diaphonie en arme.

Imaginez que vous vouliez tromper le réseau pour lui faire croire qu'une photo de Chat est en réalité un Chien.

Pensée classique : Vous modifiez simplement les pixels des oreilles du chat pour qu'ils ressemblent davantage à un chien.
Nouvelle découverte : Le hacker ne regarde pas seulement les boutons « Chat » et « Chien ». Il regarde l'ensemble de la valise encombrée.

Parce que les concepts « Chat » et « Chien » sont compressés ensemble, le hacker peut pousser sur une caractéristique « Chat » de manière à ce qu'elle pousse accidentellement sur la caractéristique « Chien » plus fort que prévu, tout en supprimant simultanément le signal « Chat ». Il utilise le rangement serré du réseau contre lui-même.

Le papier montre que ces attaques ne sont pas du bruit aléatoire. Elles suivent un motif mathématique précis basé sur la façon dont les concepts sont emballés. Si le réseau emballe les « Chats » et les « Chiens » de près, l'attaque ressemblera à une distorsion spécifique et prévisible.

Pourquoi les attaques « sautent » d'un modèle à l'autre (Transférabilité)

Vous pourriez vous demander : « Pourquoi une attaque qui fonctionne sur le Modèle A fonctionne-t-elle aussi sur le Modèle B ? »

Le papier explique cela avec l'Analogie de la pièce bondée.
Imaginez deux personnes différentes (deux modèles d'IA différents) essayant de ranger le même ensemble de vêtements dans deux valises identiques et de petite taille.

Même s'ils commencent avec des stratégies de rangement différentes, les lois de la physique (les données sur lesquelles ils sont entraînés) les forcent à ranger les « chemises » et les « pantalons » de manière similaire car ces articles sont liés.
Finalement, les deux valises se retrouvent avec les concepts « Chat » et « Chien » situés presque exactement au même endroit, interférant l'un avec l'autre de la même manière.

Parce que les « motifs d'interférence » sont les mêmes dans les deux modèles, un tour qui fonctionne sur une valise fonctionnera presque certainement sur l'autre. Le papier a découvert que lorsque les modèles sont entraînés sur des données similaires, ils développent ces « motifs de rangement » de manière si similaire que les attaques sont transférables entre eux avec un succès de près de 100 %.

La « Magie » de l'expérience

Les chercheurs n'ont pas seulement deviné ; ils ont construit une version miniature et contrôlée de cette valise (un modèle synthétique) où ils pouvaient voir exactement comment les concepts étaient emballés.

Ils ont prouvé que si vous forcez les concepts à partager l'espace (Superposition), vous créez automatiquement des vulnérabilités.
Ils ont montré que l'attaque « parfaite » qu'ils ont calculée sur papier correspondait exactement à ce que l'algorithme de piratage de l'ordinateur (PGD) a découvert de son côté.
Ils ont testé cela sur de vrais classificateurs d'images (comme ceux qui identifient les voitures ou les animaux) et ont trouvé les mêmes « empreintes digitales d'interférence » dans les attaques.

L'essentiel à retenir

Le papier soutient que la vulnérabilité adverse n'est pas seulement un bug ; c'est un effet secondaire de l'efficacité.

Les réseaux neuronaux sont si doués pour compresser l'information (faire tenir une bibliothèque dans une boîte à chaussures) qu'ils créent une « diaphonie » entre les idées. Les hackers ont appris à écouter cette diaphonie et à l'utiliser pour briser le système. Si vous voulez arrêter ces attaques, vous devrez peut-être arrêter d'emballer les concepts si étroitement, ou apprendre à les séparer mieux, plutôt que de simplement essayer de colmater les brèches de la valise.

Résumé Technique : Vulnérabilité Adversaire issue de l'Interférence entre Caractéristiques en Superposition

Énoncé du Problème

Malgré des études approfondies, les exemples adverses restent mal compris au niveau mécaniste. Bien que les explications existantes attribuent la vulnérabilité à la géométrie de haute dimension, à des motifs non robustes dans les données d'entrée ou à la structure des frontières de décision, aucune ne fournit un mécanisme au niveau de la représentation pour expliquer pourquoi des perturbations spécifiques réussissent ou pourquoi les attaques sont transférables entre les modèles. Il existe un manque de compte rendu prédictif liant les interventions de robustesse à la structure de la représentation. Cet article traite cette lacune en examinant si la vulnérabilité adversaire découle d'un codage efficace de l'information dans les réseaux de neurones, plus précisément à travers le phénomène de superposition.

Méthodologie

Les auteurs proposent un cadre mécaniste où les réseaux de neurones représentent plus de concepts (caractéristiques) qu'ils n'ont de dimensions ( $M \gg d$ ) en les codant sous forme de directions non orthogonales dans l'espace d'activation. Ce compactage crée une interférence, où l'activation d'une caractéristique affecte les autres. L'étude valide cette hypothèse à travers trois contextes principaux :

Tâche Argmax Synthétique : Un réseau à goulot d'étranglement minimal avec une correspondance entrée-classe à forme fermée. Ici, $k$ classes sont compressées dans $m$ dimensions latentes ( $m < k$ ). Les auteurs contrôlent les corrélations d'entrée (non corrélées, appariées, globales) pour manipuler la géométrie des caractéristiques. Ce cadre permet de calculer les perturbations de vérité terrain et de comparer directement les attaques empiriques (PGD) aux optima théoriques dérivés de la géométrie de l'interférence.
Vision Transformers (ViT) Réalistes : Modèles entraînés sur CIFAR-10/100, STL-10 et TinyImageNet avec des goulots d'étranglement dimensionnels artificiels insérés avant la tête de classification. Cela teste si les signatures géométriques prédites par la théorie émergent dans des réseaux profonds et non linéaires.
Entraînement Régularisé sans Goulots d'Étranglement Explicites : Modèles ViT entraînés avec diverses valeurs de décroissance de poids (weight decay) pour induire des représentations de faible rang (goulots d'étranglement effectifs), testant si la réduction de rang déclenche à elle seule le mécanisme de vulnérabilité.

Outils Analytiques Clés :

Hypothèse de Représentation Linéaire (LRH) : Traiter les logits de classe comme des projections linéaires de vecteurs de caractéristiques.
Métriques d'Interférence : Quantifier la non-orthogonalité des vecteurs de caractéristiques de classe ( $w_i^\top w_j$ ) et mesurer comment les perturbations s'alignent avec la « géométrie d'interférence » définie par la différence entre les vecteurs de classe cible et source.
Alignement d'Attaque : Comparer la direction des perturbations découvertes par PGD par rapport aux perturbations optimales théoriques dérivées de la géométrie de l'interférence ( $\delta \propto W_e^\top (w_k - w_j)$ ).

Principales Contributions

Compte Rendu Mécaniste de la Vulnérabilité : L'article établit un lien direct entre la géométrie de la superposition et la vulnérabilité adversaire. Il démontre que les corrélations de données contraignent l'arrangement des caractéristiques en superposition, ce qui détermine les motifs d'interférence. Ces motifs dictent, à leur tour, quelles perturbations réussissent et pourquoi les attaques sont transférables entre les modèles.
La Superposition comme Condition Suffisante : Les auteurs fournissent des preuves théoriques et empiriques que la superposition est une condition suffisante (bien que non nécessaire) pour la vulnérabilité adversaire. Les représentations non orthogonales créent une interférence exploitable, complétant les explications existantes basées sur les propriétés des données ou les facteurs architecturaux.
Validation dans des Contextes Réalistes : L'étude valide que les signatures géométriques prédites par la théorie apparaissent dans des contextes réalistes (ViTs sur des jeux de données standards), démontrant que l'interférence de la tête de classification régit la structure d'attaque dans l'espace d'entrée, même dans des réseaux profonds et complexes.

Résultats Clés

1. Exploitation de l'Interférence

Dans les contextes synthétiques, les attaques basées sur le gradient (PGD) exploitent systématiquement l'interférence entre les caractéristiques superposées.

Alignement : Les perturbations découvertes par PGD s'alignent fortement avec les perturbations optimales théoriques dérivées de la géométrie de l'interférence (Similitude Cosinus $> 0,92$ à travers les configurations).
Mécanisme : Les perturbations ne sont pas arbitraires ; leur signe et leur magnitude sont déterminés par l'alignement des caractéristiques d'entrée avec le vecteur d'attaque latent. Les caractéristiques qui interfèrent de manière constructive avec la classe cible sont amplifiées, tandis que celles qui interfèrent avec la source sont supprimées.

2. Rôle des Corrélations d'Entrée

Les corrélations d'entrée contraignent l'arrangement géométrique des vecteurs de caractéristiques :

Données Non Correlées : Entraîne des géométries hautement variables selon les graines aléatoires (random seeds).
Données Correlées : Force les caractéristiques dans des arrangements spécifiques et stables (ex: les corrélations globales fixent un ordonnancement cyclique).
Impact : Des corrélations plus fortes réduisent les degrés de liberté géométriques, forçant différentes initialisations vers des arrangements similaires.

3. Transférabilité des Attaques

La transférabilité des attaques est régie par des motifs d'interférence partagés.

Corrélation : Les taux de transfert sont fortement corrélés à la similitude géométrique.
- Données non corrélées : ~5 % de taux de transfert.
- Corrélations appariées : ~33 % de taux de transfert.
- Corrélations globales : ~98 % de taux de transfert.
Explication : Lorsque les modèles partagent une géométrie de superposition similaire, les motifs d'interférence qui étaient constructifs dans le modèle source restent constructifs dans le modèle cible, permettant une haute transférabilité.

4. Validation ViT dans le Monde Réel

Prédiction de Structure : Dans les ViT avec goulots d'étranglement, le profil d'attaque dans l'espace d'entrée (comment les pixels sont perturbés) est fortement corrélé au profil d'interférence dans l'espace latent (comment les vecteurs de classe interfèrent). La corrélation ( $\bar{\rho}$ ) atteint 0,89 pour des goulots d'étranglement serrés ( $m/k=0,2$ ) et chute à mesure que le goulot se relâche.
Consistance : Les motifs d'interférence sont cohérents à travers les graines aléatoires, reflétant la sémantique des données (ex: des classes sémantiquement proches comme « chat » et « chien » développent des représentations non orthogonales) plutôt que le bruit d'optimisation.
Effets de la Régularisation : Même sans goulots d'étranglement explicites, l'augmentation de la décroissance de poids réduit la dimension effective du réseau, augmentant l'ampleur de l'interférence et la vulnérabilité aux attaques, suggérant que la régularisation standard peut involontairement créer des vulnérabilités adverses.

Signification et Revendications

L'article affirme que la vulnérabilité adversaire peut être un sous-produit de la compression de la représentation du réseau. En compactant plus de caractéristiques que de dimensions, les réseaux introduisent des motifs d'interférence que les adversaires peuvent exploiter.

Pouvoir Prédictif : Le cadre offre des prédictions testables : les attaques doivent s'aligner avec les perturbations optimales dérivées de la géométrie, et la transférabilité doit se produire lorsque les modèles partagent des motifs d'interférence similaires.
Explication Complémentaire : Ce mécanisme ne remplace pas les explications existantes (ex: caractéristiques non robustes ou courbure de la frontière de décision) mais les complète en fournissant un compte rendu au niveau de la représentation sur le pourquoi de la sensibilité de directions spécifiques.
Implications pour la Sécurité : Les conclusions suggèrent que la dimensionnalité de la représentation et le degré de superposition sont des composantes critiques de la sécurité des modèles. Les interventions qui modifient la géométrie des caractéristiques (ex: via la régularisation ou des changements architecturaux) pourraient avoir un impact significatif sur la robustesse.

Les auteurs restent modestes, notant que la superposition est une condition suffisante mais non nécessaire pour la vulnérabilité, et que les mécanismes précis peuvent varier selon l'attaque et le modèle. Le travail se concentre sur les caractéristiques avec des étiquettes connues, des travaux futurs étant nécessaires pour étendre ces découvertes aux couches intermédiaires via des méthodes de découverte de caractéristiques.