💬 NLP

Evaluating Adversarial Robustness of Concept Representations in Sparse Autoencoders

Cet article démontre que les représentations de concepts dans les autoencodeurs creux sont hautement fragiles aux perturbations d'entrée adverses, ce qui suggère qu'ils sont actuellement mal adaptés pour une surveillance et une supervision fiables des modèles sans débruitage ou post-traitement additionnel.

Auteurs originaux : Aaron J. Li, Suraj Srinivas, Usha Bhalla, Himabindu Lakkaraju

Publié 2026-01-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aaron J. Li, Suraj Srinivas, Usha Bhalla, Himabindu Lakkaraju

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : Le « Traducteur Fragile »

Imaginez que vous avez un robot géant et super intelligent (un Grand Modèle de Langage) qui parle une langue secrète et complexe que lui seul comprend. Pour comprendre ce que ce robot pense, des scientifiques ont construit un « traducteur » spécial appelé Auto-encodeur Creux (SAE - Sparse Autoencoder).

Considérez le SAE comme un dictionnaire qui traduit le code secret du robot en concepts humains. Quand le robot pense à des « chats », le SAE allume une ampoule spécifique étiquetée « Chat ». Quand il pense aux « mathématiques », une autre ampoule étiquetée « Mathématiques » s'illumine.

Pendant longtemps, les chercheurs ont pensé que ces ampoules étaient fiables. Ils ont vérifié si le dictionnaire était précis (est-ce que « Chat » signifiait vraiment un chat ?) et si les lumières étaient distinctes (est-ce que « Chat » s'allumait accidentellement quand on mentionnait « Chien » ?).

Cette publication pose une nouvelle question effrayante : Que se passe-t-il si quelqu'un s'introduit discrètement dans la pièce et murmure un mot minuscule, presque invisible, à l'oreille du robot ? Le traducteur fonctionne-t-il toujours, ou devient-il confus et commence-t-il à allumer les mauvaises ampoules ?

L'Expérience : L'« Attaque par Murmure »

Les chercheurs ont décidé de tester la robustesse de ces traducteurs en essayant de les tromper. Ils ont utilisé une méthode appelée « attaque par murmure » (techniquement connue sous le nom de perturbation adversaire).

Imaginez que vous essayez de dire au robot : « Je veux cuisiner un gâteau. »

Scénario Normal : Le robot comprend « gâteau », et le SAE allume l'ampoule « Cuisine ».
L'Attaque : Les chercheurs changent juste un seul mot dans la phrase. Peut-être changent-ils « cuisiner » par « cuisinerie » ou ajoutent-ils un mot étrange comme « zorp » à la fin.
- Entrée : « Je veux cuisinerie un gâteau. »

Le Résultat Chocant :
Même si la phrase semble presque identique pour un humain (et que le robot sait toujours qu'il s'agit de cuisine), le traducteur SAE perd totalement la tête.

L'ampoule « Cuisine » s'éteint.
L'ampoule « Meubles » s'allume.
L'ampoule « Chimie » s'allume.

Dans les expériences de l'article, ils ont découvert qu'en changeant seulement un seul mot (ou même en remplaçant un mot par un synonyme), on pouvait complètement brouiller la sortie du traducteur. Ils pouvaient faire croire au robot qu'une phrase sur des « instructions nuisibles » concernait en fait de « l'art inoffensif », simplement en changeant un jeton (token).

Les Quatre Façons de les Briser

Les chercheurs ont testé quatre manières de briser le traducteur, comme un mécanicien testant la suspension d'une voiture :

Le Test du « Chaos Total » (Non ciblé) : Ils ont essayé de faire allumer au traducteur n'importe quel ensemble aléatoire d'ampoules, juste pour voir s'il casserait. Résultat : Il s'est cassé facilement.
Le Test du « Changement de Rôle » (Ciblé) : Ils ont essayé de faire croire au traducteur qu'une phrase sur le « Sport » parlait en fait de « Business ». Résultat : Ils ont réussi. Un changement de mot a rendu les lumières du « Sport » sombres et a fait briller les lumières du « Business ».
Le Test du « Groupe » (Population) : Ils ont essayé de changer l'ensemble du groupe de lumières qui sont allumées en même temps. Résultat : Très facile à dérégler.
Le Test de l'« Ampoule Unique » (Individuel) : Ils ont essayé d'allumer ou d'éteindre une seule ampoule spécifique. Résultat : Ils pouvaient éteindre la plupart des lumières, mais certaines ampoules « mortes » (qui ne s'allument jamais de toute façon) ne pouvaient pas être forcées à s'allumer.

La Découverte la Plus Importante : Le Robot va Bien, Le Traducteur Non

Voici le rebondissement qui rend cet article si important :

Lorsque les chercheurs ont changé ce mot pour tromper le SAE, ils ont vérifié le cerveau du robot (le Grand Modèle de Langage sous-jacent).

Le robot a-t-il changé d'avis ? Non. Il comprenait toujours que la phrase portait sur la cuisine.
Ses sentiments internes ont-ils changé ? Non.
Le traducteur SAE a-t-il changé d'avis ? OUI. Il est devenu fou.

L'Analogie :
Imaginez un traducteur humain debout entre vous et un orateur.

Vous dites : « J'ai faim. »
L'orateur (le Robot) vous comprend parfaitement.
Mais le Traducteur (le SAE) crie soudainement : « Il est en train de dire qu'il veut combattre un ours ! »

Le problème n'est pas que l'orateur est confus ; le problème est que le traducteur est fragile. Il peut être trompé par de minuscules changements qu'un humain ne remarquerait même pas.

Pourquoi Cela Importe (Selon l'Article)

Les auteurs soutiennent que si nous voulons utiliser ces traducteurs pour surveiller l'IA (par exemple, pour s'assurer que l'IA ne dit pas de choses malveillantes), nous sommes en difficulté.

Si un acteur malveillant peut changer un mot dans une instruction pour faire croire au « Moniteur de Sécurité » (le SAE) qu'une requête dangereuse est en fait une requête inoffensive, le système de sécurité échoue. L'article conclut qu'actuellement, ces traducteurs sont trop fragiles pour être dignes de confiance pour la sécurité ou la surveillance sans être réparés d'abord. Ils sont comme une maison de verre : magnifique à regarder, mais un petit caillou peut briser tout l'édifice.

Résumé en Une Phrase

Cet article montre que les outils que nous utilisons pour « lire » l'esprit de l'IA sont incroyablement fragiles ; un changement infime, presque invisible, dans l'entrée peut complètement tromper le traducteur, même si l'IA elle-même n'a pas changé d'avis.

Résumé Technique : Évaluation de la robustesse adversaire des représentations de concepts dans les autoencodeurs creux (Sparse Autoencoders)

Énoncé du problème

Les autoencodeurs creux (SAE - Sparse Autoencoders) sont devenus un outil de premier plan pour l'interprétabilité mécaniste, cartographiant les activations denses internes des grands modèles de langage (LLM) vers des représentations de concepts creuses et interprétables par l'humain. Bien que les évaluations existantes des SAE se concentrent sur les compromis entre reconstruction et parcimonie, l'interprétabilité humaine et le désenchevêtrement des caractéristiques, elles négligent largement une dimension critique : la robustesse aux perturbations d'entrée.

Les évaluations actuelles supposent souvent des entrées statiques, cohérentes et non perturbées. Cependant, dans des contextes adverses — où un fournisseur d'explications et un consommateur peuvent avoir des objectifs divergents — les représentations des SAE pourraient être vulnérables. Si un adversaire peut concevoir des perturbations minimales de l'entrée qui manipulent les activations des SAE sans modifier de manière significative le comportement de base du LLM, la fidélité de l'étiquetage des concepts est compromise. Cela soulève des inquiétudes quant à la fiabilité des SAE pour la surveillance des modèles, la supervision de la sécurité et les applications en aval qui dépendent de représentations de concepts stables.

Méthodologie

Cadre théorique

Les auteurs formalisent la robustesse des SAE comme des problèmes d'optimisation dans l'espace d'entrée. Ils postulent une cartographie de concept de « vérité terrain » $f_c$ de l'espace d'entrée $X$ vers un espace de concepts sémantiques $C$ . La robustesse est définie par la préservation de l'alignement entre l'espace latent creux appris $Z$ et $C$ sous des perturbations adverses.

L'hypothèse centrale est que la cartographie de vérité terrain est bi-Lipschitzienne, ce qui signifie que de petits changements dans les séquences de jetons d'entrée (mesurés par la distance de Levenshtein) correspondent proportionnellement à de petits changements dans les concepts sémantiques. Cela permet de mener la recherche d'exemples adverses directement dans l'espace d'entrée $X$ plutôt que dans l'espace de concepts hypothétique $C$ .

Le cadre d'évaluation définit la robustesse à travers deux objectifs d'optimisation :

Non ciblé (Untargeted) : Maximiser la distance entre l'activation SAE originale $z_1$ et l'activation perturbée $z'_1$ étant donné une distance d'édition d'entrée bornée.
Ciblé (Targeted) : Minimiser la distance entre l'activation perturbée $z'_1$ et une activation cible $z_2$ (provenant d'une entrée sémantiquement non liée) tout en maintenant une perturbation d'entrée bornée.

Dimensions d'évaluation

Les auteurs proposent un cadre structuré combinant trois dimensions binaires pour définir huit scénarios adverses distincts :

Objectif sémantique : Non ciblé (altérer les activations des SAE de manière générale) vs Ciblé (orienter les activations vers une entrée non liée spécifique).
Objectif d'activation :
- Niveau population : Manipuler l'ensemble des latents activés top- $k$ , mesuré par le ratio de chevauchement des concepts.
- Niveau individuel : Activer ou désactiver une caractéristique SAE spécifique, mesurée par les changements de rang binaire.
Mode de perturbation : Changements minimaux d'entrée, spécifiquement le remplacement d'un seul jeton ou l'ajout d'un suffixe d'un seul jeton.

Algorithme d'attaque

Pour résoudre ces problèmes d'optimisation, les auteurs adaptent l'algorithme Greedy Coordinate Gradient (GCG), conçu à l'origine pour l'optimisation de prompts dans les LLM. Puisque les métriques de distance dans l'espace latent creux sont non différentiables, la méthode emploie une approche hybride :

Calcul du gradient : Les gradients sont calculés à l'aide de fonctions de perte différentiables (par exemple, similitude cosinus, log-vraisemblance) sur l'espace de représentation continu du SAE.
Sélection de candidats : Les candidats adverses sont générés et évalués en utilisant les métriques de distance originales non différentiables (par exemple, ratio de chevauchement de concepts, statut d'activation binaire) dans l'espace d'entrée discret.

Contributions clés

Identification d'une lacune critique : Le papier identifie la robustesse comme une dimension fondamentale, bien qu'encore peu explorée, de l'évaluation des SAE, arguant que les représentations de concepts doivent être stables sous les perturbations d'entrée pour être considérées comme fiables.
Cadre d'évaluation complet : Les auteurs introduisent un cadre théoriquement fondé qui définit la robustesse des SAE à travers des objectifs sémantiques et d'activation, permettant des tests systématiques des vulnérabilités adverses.
Méthodologie d'attaque généralisée : Ils proposent un algorithme d'attaque au niveau de l'entrée généralisé, adapté de GCG, capable de générer des entrées adverses qui manipulent les interprétations des SAE.
Preuve empirique de fragilité : Des expériences approfondies sur plusieurs LLM open-source (Gemma2, Llama3), diverses architectures de SAE (JumpReLU, Top-K) et des jeux de données démontrent que les représentations de concepts des SAE sont hautement fragiles.

Résultats expérimentaux

Les auteurs ont évalué leur cadre sur Gemma2-2B, Gemma2-9B et Llama3-8B avec différentes largeurs et couches de SAE, en utilisant des jeux de données incluant AdvBench, AG News, SST2 et un jeu de données généré « Art & Science ».

Taux de réussite élevés : De minuscules perturbations adverses (souvent le remplacement d'un seul jeton) manipulent efficacement les interprétations basées sur les concepts.
- Niveau population : Les attaques non ciblées ont réussi à réduire le chevauchement des concepts entre l'entrée originale et l'entrée perturbée à environ 20–30 %, tandis que les attaques ciblées ont augmenté le chevauchement avec une cible non liée à environ 50–60 %.
- Niveau individuel : Plus de 60 % des caractéristiques SAE sélectionnées étaient manipulables dans les contextes ciblés. Dans les scénarios de désactivation, les taux de réussite ont atteint environ 90 %.
Découplage de la robustesse du LLM : Crucialement, les sondes linéaires entraînées sur les états cachés du LLM de base ont maintenu une précision élevée (>90 %) pour détecter les concepts sémantiques (par exemple, nocivité, sentiment, sujet) même après les perturbations adverses. Cela indique que les représentations sémantiques internes du LLM restent stables, tandis que la cartographie du SAE vers les concepts est le point de défaillance.
Vulnérabilité non-adversaire : Même les perturbations non adverses, telles que le remplacement d'un mot par un synonyme, ont réduit le chevauchement des concepts d'environ 30 %, suggérant une fragilité inhérente au-delà des attaques malveillantes.
Transférabilité : Les attaques se sont transférées d'un modèle à l'autre (par exemple, de Gemma2 à Llama3) avec une dégradation des performances, mais sont restées efficaces, indiquant une vulnérabilité générale de l'interprétation basée sur les SAE.

Signification et affirmations

Le papier conclut que les représentations de concepts des SAE sont fragiles et que, sans débruitage ou post-traitement supplémentaire, elles pourraient être mal adaptées à des applications exigeant une haute fiabilité, telles que la surveillance des modèles et la supervision de la sécurité.

Implications pour l'interprétabilité : Ces résultats remettent en question l'hypothèse selon laquelle les latents des SAE fournissent une vue monosémantique stable des internes du modèle. Si un adversaire peut facilement altérer le « concept » qu'un SAE rapporte sans changer la sortie réelle ou la compréhension sémantique du modèle, la fiabilité de ces explications est compromise.
Directions futures : Les auteurs soutiennent que la robustesse doit être une composante centrale de l'agenda d'évaluation des SAE. Ils suggèrent que les travaux futurs devraient se concentrer sur le développement de méthodes pour débruiter les activations des SAE et isoler les signaux fiables. De plus, ils postulent que ces vulnérabilités s'étendent probablement à d'autres approches inspirées des SAE, telles que les transcoders et les crosscoders, soulignant la nécessité d'objectifs de robustesse dans la recherche en interprétabilité mécaniste.

Le papier ne prétend pas que les SAE sont inutiles, mais plutôt que leur déploiement actuel dans des environnements adverses ou à enjeux élevés est risqué sans traiter ces problèmes de stabilité. Le cadre proposé sert d'outil de diagnostic pour identifier et filtrer les interprétations non robustes.