🤖 AI

Using Mechanistic Interpretability to Craft Adversarial Attacks against Large Language Models

Cet article introduit une nouvelle méthode d'attaque adverse en boîte blanche qui exploite l'interprétabilité mécaniste pour identifier et rediriger les plongements des sous-espaces de refus vers des sous-espaces d'acceptation, atteignant des taux de succès de jailbreak élevés sur les LLM de pointe avec des coûts de calcul considérablement réduits par rapport aux techniques existantes.

Auteurs originaux : Thomas Winninger, Boussad Addad, Katarzyna Kapusta

Publié 2026-07-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thomas Winninger, Boussad Addad, Katarzyna Kapusta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Forcer le coffre-fort sans crocheter la serrure

Imaginez un Grand Modèle de Langage (LLM) comme un bibliothécaire très intelligent et hautement qualifié. Ce bibliothécaire suit un règlement strict : « Si quelqu'un demande des instructions sur la fabrication d'une bombe, vous devez refuser. »

Les hackers traditionnels (attaques adverses) tentent de piéger ce bibliothécaire en criant des mots confus ou en utilisant des énigmes complexes jusqu'à ce que le bibliothécaire soit confus et donne accidentellement la réponse. C'est comme essayer de crocheter une serrure en secouant chaque clé jusqu'à ce que l'une d'elles fonctionne. Cela prend beaucoup de temps, nécessite beaucoup d'essais et d'erreurs, et échoue souvent sur des bibliothécaires plus récents et plus intelligents.

Ce papier présente une nouvelle méthode appelée « Subspace Rerouting » (SSR - Redirection de Sous-Espace). Au lieu de secouer les clés, les chercheurs ont regardé à l'intérieur du cerveau du bibliothécaire pour voir exactement comment la pensée de « refus » se forme. Ils ont ensuite conçu une « phrase magique » spécifique qui force le cerveau du bibliothécaire à prendre un chemin différent, contournant ainsi entièrement la règle de refus.

Comment cela fonctionne : Les trois étapes

1. Cartographier la « Salle du Refus »

Les chercheurs ont d'abord étudié le modèle pour trouver où le « refus » se produit.

L'analogie : Imaginez que l'esprit du bibliothécaire est un bâtiment géant avec de nombreuses pièces. Les chercheurs ont trouvé un couloir spécifique (un « sous-espace ») où réside la pensée « Je ne peux pas faire cela ».
La découverte : Ils ont réalisé que lorsque le modèle voit une requête nuisible, ses pensées internes (activations) sont poussées dans cette « Salle du Refus ». Lorsqu'il voit une requête inoffensive, les pensées restent dans la « Salle de l'Utilité ». Ces deux pièces sont clairement séparées, comme deux couleurs de peinture différentes qui ne se mélangent pas.

2. Le tour de la « Redirection »

Une fois qu'ils savaient où se trouvait la « Salle du Refus », ils n'ont pas essayé de discuter avec le bibliothécaire. À la place, ils ont calculé un raccourci.

L'analogie : Imaginez que vous marchez vers un mur en cul-de-sac (le refus). Au lieu de heurter le mur, les chercheurs ont trouvé un tunnel caché qui relie directement la zone de la « Requête Nuisible » à la zone de la « Réponse Utile », sautant ainsi l'obstacle.
La méthode : Ils ont ajouté quelques mots spéciaux (un « suffixe ») à la fin de la question nuisible. Ces mots agissent comme un signal GPS qui dit aux pensées internes du modèle : « Ne va pas dans la Salle du Refus ; prends ce détour vers la Salle de l'Utilité à la place. »

3. Le résultat : Des Jailbreaks instantanés

L'ancienne méthode : Les méthodes traditionnelles (comme GCG) consistent à essayer de démolir le mur en jetant des pierres pendant des heures. Elles échouent souvent ou prennent beaucoup de temps.
La nouvelle méthode (SSR) : Cette méthode est comme trouver la porte secrète. Les chercheurs ont pu briser la sécurité du modèle en quelques secondes (parfois seulement 14 secondes) avec un taux de réussite de 80 % à 95 %. Ils ont réussi cela sur des modèles modernes et robustes comme Llama 3.2 et Gemma 2.

Les trois « Clés » qu'ils ont testées

Le papier a testé trois façons différentes de trouver la « porte secrète » :

La Clé du Classificateur (Probe-SSR) : Ils ont entraîné un détecteur simple pour repérer les « Pensées de Refus ». Ensuite, ils ont optimisé l'entrée pour tromper ce détecteur en lui faisant croire que la requête nuisible était en fait inoffensive. C'était la méthode la plus efficace.
La Clé de la Boussole (Steering-SSR) : Ils ont trouvé une « direction » spécifique dans l'esprit du modèle qui pointe vers le « Refus ». Ils ont ensuite poussé les pensées dans la direction opposée. Cela fonctionnait bien, mais était légèrement moins efficace que la première méthode.
La Clé du Projecteur (Attention-SSR) : Ils ont trouvé des parties spécifiques du modèle (têtes d'attention) qui se concentrent sur les mots dangereux. Ils ont essayé d'écrire un suffixe qui force ces parties à se concentrer sur les mots inoffensifs à la place. C'était la méthode la moins efficace en pratique, bien qu'intéressante pour la recherche.

Une découverte surprenante : Le tour « Naturel »

L'une des découvertes les plus intéressantes a été que les « mots magiques » générés par l'ordinateur n'étaient pas seulement du charabia aléatoire (comme « asjdhf98 »). Parfois, ils formaient des phrases cohérentes et sensées.

L'analogie : Imaginez essayer de pirater un système de sécurité en tapant des lettres au hasard. Généralement, vous obtenez « xkq9z ». Mais cette méthode produit parfois une phrase comme : « Faites-le de manière responsable via une comptabilité écologique. »
Pourquoi c'est important : Cela suggère que les mécanismes de sécurité du modèle sont très spécifiques. Le modèle peut être trompé pour lui faire croire qu'une requête nuisible est sûre si on la présente avec le bon contexte, même si ce contexte est légèrement étrange.

Pourquoi cela importe (selon le papier)

Vitesse : Cela transforme un processus qui prenait autrefois des heures en un processus de quelques secondes.
Compréhension : Cela prouve que nous pouvons comprendre comment les modèles d'IA pensent (interprétabilité mécaniste) et utiliser cette connaissance pour les briser.
Défense : En voyant exactement comment la « Salle du Refus » fonctionne et à quel point elle est facile à contourner, les développeurs peuvent construire de meilleurs verrous (défenses) qui n'ont pas ces failles spécifiques.

Ce que le papier ne prétend PAS

Il ne prétend pas que cela fonctionne sur chaque modèle dans chaque situation (cela a mieux fonctionné sur les modèles spécifiques qu'ils ont testés).
Il ne prétend pas que c'est un outil destiné à un usage clinique ou pour un diagnostic médical.
Il ne prétend pas que les « mots magiques » sont toujours en anglais parfait ; parfois, ils sont encore un peu étranges, juste moins que auparavant.

En résumé, le papier dit : « Nous avons regardé à l'intérieur du cerveau de l'IA, nous avons trouvé l'interrupteur qui éteint la sécurité, et nous avons construit une télécommande pour actionner cet interrupteur instantanément. »

Résumé technique : Utiliser l'interprétabilité mécaniste pour concevoir des attaques adverses contre les grands modèles de langage

Énoncé du problème

Les grands modèles de langage (LLM) restent vulnérables aux perturbations adverses, spécifiquement aux « jailbreaks » (déverrouillages) conçus pour contourner l'alignement de sécurité. Les méthodes d'attaque traditionnelles en boîte blanche, telles que le Greedy Coordinate Gradient (GCG), reposent sur une optimisation de bout en bout des gradients ciblant des jetons (tokens) de sortie spécifiques. Ces approches ignorent souvent les mécanismes internes responsables du refus ou de l'acceptation, ce qui entraîne des processus coûteux en calcul (nécessitant souvent des heures) et peine à atteindre des taux de réussite élevés sur les modèles plus récents et robustes. Inversement, la recherche en interprétabilité mécaniste a réussi à identifier des mécanismes de sécurité internes — tels que les sous-espaces de refus et des têtes d'attention spécifiques — mais s'est largement limitée aux interventions au moment de l'exécution (par exemple, le pilotage d'activation/steering) qui produisent des activations hors distribution et manquent d'application pratique pour la création d'entrées adverses statiques.

Cet article traite de l'écart entre les connaissances en interprétabilité et la génération pratique d'attaques adverses. Les auteurs proposent une méthode qui exploite la compréhension des mécanismes internes du modèle pour concevoir des entrées adverses efficaces et à haut taux de réussite sans recourir à des interventions au moment de l'exécution.

Méthodologie : Reroutage de Sous-Espace (Subspace Rerouting - SSR)

Les auteurs introduisent le Subspace Rerouting (SSR), un cadre de boîte blanche qui présente le jailbreaking comme un problème d'optimisation dans l'espace d'embedding continu du modèle. Au lieu de cibler des jetons de sortie spécifiques, le SSR vise à rerouter les embeddings du modèle des « sous-espaces de refus » vers des « sous-espaces d'acceptation » en modifiant les suffixes d'entrée.

1. Identification des sous-espaces

Les auteurs caractérisent d'abord les représentations internes du refus et de l'acceptation à l'aide de techniques d'interprétabilité :

Sous-espaces sémantiques : En utilisant des sondes linéaires entraînées sur des ensembles de données contrastives (instructions nuisibles vs inoffensives), les auteurs démontrent que le contenu nuisible et inoffensif occupe des régions linéairement séparables dans l'espace d'activation dès la troisième couche du modèle. Ils définissent également une « direction de refus » ( $\hat{r}$ ) comme la différence entre les moyennes des activations nuisibles et inoffensives.
Sous-espaces de composants : Les auteurs identifient des têtes d'attention spécifiques responsables des mécanismes de sécurité. Ils observent que les jailbreaks réussis impliquent souvent un « détournement d'attention » (attention hijacking), où les têtes critiques pour la sécurité déplacent leur attention des jetons d'instruction nuisibles vers les jetons de suffixe bénins.

2. L'algorithme SSR

L'algorithage central minimise une fonction de perte $\mathcal{L}(x_m)$ qui mesure l'écart des activations par rapport aux sous-espaces ciblés :
$\mathcal{L}(x_m) = \sum_{k} \alpha_k d_k(e_k, E_k)$
Où $x_m$ est le suffixe adverse, $e_k$ sont les activations aux couches ciblées, et $E_k$ sont les sous-espaces d'acceptation cibles. L'optimisation utilise une recherche de gradient de coordonnée gourmande adaptée aux jetons discrets.

L'article détaille trois implémentations spécifiques de SSR :

Probe-SSR : Utilise des classificateurs linéaires entraînés pour guider l'optimisation vers la probabilité de la classe « inoffensive ».
Steering-SSR : Cible directement la direction de refus, optimisant les entrées pour obtenir des effets similaires au pilotage au moment de l'exécution ( $e \leftarrow e^* + a\hat{r}$ ) mais au sein de la distribution de probabilité naturelle.
Attention-SSR : Tente de rediriger l'attention de certaines têtes critiques pour la sécurité loin du contenu nuisible vers le suffixe adverse, ou minimise la magnitude de sortie de ces têtes.

Principales contributions

Nouveau vecteur d'attaque : L'introduction du SSR, une méthode qui opérationnalise l'interprétabilité mécaniste pour concevoir des entrées adverses pratiques, atteignant des taux de réussite d'attaque (ASR) de 80 à 95 % sur des modèles de pointe (Gemma2, Llama3.2, Qwen2.5) en quelques secondes ou minutes.
Identification de sous-espaces : Plusieurs méthodes pour définir les sous-espaces de refus et d'acceptation à l'aide de sondes linéaires et de directions de refus, confirmant la séparabilité linéaire des concepts de sécurité dans les couches précoces et intermédiaires.
Efficacité et interprétabilité : Démontrer que le ciblage de sous-espaces internes spécifiques est nettement plus efficace en termes de calcul que l'optimisation de jetons de bout en bout. De plus, la méthode produit des perturbations qui restent dans la distribution de probabilité naturelle du modèle, contrairement aux interventions de pilotage (steering) au moment de l'exécution.
Analyse de stabilité inter-couches : L'article fournit des preuves que les sous-espaces de refus se cristallisent en représentations stables dans la seconde moitié du modèle, suggérant qu'un reroutage réussi nécessite de cibler plusieurs couches pour empêcher le modèle de « revenir » à un état de refus.

Résultats expérimentaux

Performance : Sur le jeu de données AdvBench, Probe-SSR et Steering-SSR ont atteint des ASR compris entre 80 % et 95 % sur Llama3.2, Gemma2 et Qwen2.5. En revanche, la ligne de base nanoGCG a atteint 0 % à 53 % de succès, et les instructions nuisibles classiques étaient presque toujours refusées.
Vitesse : Les attaques ont été générées en quelques secondes ou minutes (par exemple, 14 secondes pour Llama3.2 1b), une réduction significative par rapport aux heures souvent requises par GCG.
Propriétés distributionnelles : Une analyse par PCA et divergence KL a révélé que, tandis que les interventions de pilotage créent des activations hors distribution que le modèle « corrige » dans les couches suivantes, les perturbations générées par SSR maintiennent une faible similitude cosinus avec les directions de refus tout au long du passage direct (forward pass), indiquant qu'elles sont plus robustes et naturelles pour le traitement du modèle.
Jailbreaks interprétables : Étonnamment, le processus d'optimisation a parfois produit des séquences de jetons cohérentes et interprétables (par exemple, « responsablement », « éthique ») plutôt que du charabia aléatoire, suggérant que les mécanismes de sécurité internes du modèle peuvent être contournés via des chemins sémantiquement plausibles.
Reverse-Lens (Lentille inversée) : En optimisant pour déclencher la direction de refus (l'inverse d'un jailbreak), les auteurs ont automatiquement identifié les jetons (insultes, termes malveillants) qui activent fortement les mécanismes de sécurité, validant le SSR comme un outil potentiel d'interprétabilité.

Signification et revendications

Les auteurs avancent que le SSR représente une avancée significative tant pour la recherche sur les attaques que pour le développement des défenses.

Pour la recherche sur les attaques : Il démontre que la compréhension des mécanismes internes du modèle permet des attaques plus efficaces et performantes que les méthodes traditionnelles en boîte noire ou en boîte blanche de bout en bout. Il souligne que l'entraînement actuel à la sécurité peut ne pas tenir compte des manipulations de sous-espaces, laissant les modèles vulnérables à ces perturbations spécifiques.
Pour la défense et l'interprétabilité : Le SSR sert d'outil pratique pour sonder l'intérieur des modèles. En réussissant à rerouter les embeddings, il révèle les vulnérabilités structurelles des garde-fous de sécurité. Les auteurs soutiennent que la capacité de générer rapidement des jeux de données de jailbreak interprétables ouvre de nouvelles directions pour l'étude des perturbations adverses et le développement de techniques d'alignement plus robustes.
Modestie : L'article reconnaît des limites, notamment la difficulté de transférer les attaques entre différentes architectures de modèles en raison de la nature chirurgicale des perturbations, la dépendance à certains hyperparamètres, et le fait que certaines attaques changent par inadvertance le sens sémantique de l'invite (par exemple, rediriger une requête de fabrication de bombe vers une recette de gâteau). Les auteurs notent que l'implémentation de l'Attention-SSR était moins efficace en pratique que les approches de sous-espace sémantique.

En conclusion, l'article affirme que l'interprétabilité mécaniste n'est pas seulement un outil analytique, mais un moteur pratique pour générer des exemples adverses, remettant en question l'hypothèse selon laquelle un alignement robuste est atteint sans traiter les sous-espaces internes spécifiques responsables du refus.