🤖 AI

Refusal Before Decoding: Detecting and Exploiting Refusal Signals in Intermediate LLM Activations

Ce papier démontre que le comportement de refus des LLM est décodable de manière linéaire à partir des activations intermédiaires avant la génération de la sortie, permettant le développement de « Mechanism AutoDAN », une méthode d'attaque guidée par sonde qui réduit considérablement le temps de recherche tout en maintenant des taux de réussite compétitifs par rapport aux approches traditionnelles.

Auteurs originaux : Matteo Gioele Collu, Riccardo Conte, Alberto Giaretta, Denis Kleyko, Mauro Conti, Matteo Zavatteri, Roberto Confalonieri

Publié 2026-05-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Matteo Gioele Collu, Riccardo Conte, Alberto Giaretta, Denis Kleyko, Mauro Conti, Matteo Zavatteri, Roberto Confalonieri

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme une immense usine à plusieurs étages. Lorsque vous lui posez une question, les « matières premières » (vos mots) entrent au rez-de-chaussée et remontent à travers de nombreux départements différents (couches) avant qu'un produit final (la réponse) ne soit expédié.

Habituellement, pour vérifier si l'usine va produire quelque chose de dangereux (comme un « jailbreak » ou un refus de suivre les règles de sécurité), vous devez attendre que le produit atteigne le quai d'expédition tout en haut. S'il est dangereux, vous le rejetez. Mais à ce moment-là, l'usine a déjà consommé beaucoup d'énergie pour traiter la demande jusqu'au sommet.

Cet article pose une question simple : Pouvons-nous jeter un coup d'œil à l'intérieur de l'usine pendant que les matières premières sont encore à mi-chemin de l'escalier pour voir si le produit final sera sûr ou dangereux ?

Le « Signal de Refus »

Les chercheurs ont découvert que la réponse est oui.

Ils ont constaté que le « comportement de refus » du modèle (la décision interne de dire « Non, je ne peux pas faire cela ») n'est pas seulement une décision finale prise tout à la fin. Au contraire, c'est comme un voyant d'alerte qui s'allume au milieu de l'usine. Même avant que le modèle ne termine sa phrase, la « machinerie » interne (spécifiquement les activations du flux résiduel) contient déjà un signal linéaire et clair indiquant si le modèle est sur le point de refuser une demande.

Ils ont construit un détecteur simple (appelé « sonde ») capable de lire ce voyant d'alerte. C'est comme avoir un gardien de sécurité au 10e étage qui peut vous dire : « Ce colis sera rejeté », bien avant que le colis n'atteigne le 64e étage.

La Nouvelle Attaque : « Mechanistic AutoDAN »

Les chercheurs ne se sont pas arrêtés à la détection du signal ; ils l'ont utilisé pour créer une méthode plus rapide pour contourner les règles de sécurité du modèle.

Imaginez la méthode standard pour contourner la sécurité d'un modèle (appelée « AutoDAN ») comme un archer aveugle. L'archer tire une flèche (un prompt), attend de voir si elle atteint la cible (le modèle dit « Oui »), et si elle rate, il réessaie. C'est lent car l'archer doit attendre que la flèche vole jusqu'à la cible à chaque fois.

La nouvelle méthode, Mechanistic AutoDAN, donne à l'archer une vision aux rayons X.

Au lieu d'attendre que la flèche atteigne la cible, l'archer vérifie le « voyant d'alerte » au 10e étage.
Si le voyant indique « Cette flèche sera rejetée », l'archer change la flèche immédiatement sans attendre qu'elle vole jusqu'au bout.
Si le voyant indique « Cette flèche semble prometteuse », il la laisse voler jusqu'au bout.

Le Résultat : Cette méthode de « vision aux rayons X » était tout aussi efficace pour contourner les règles de sécurité que l'ancienne méthode aveugle, mais elle était jusqu'à 72 % plus rapide car elle ne gaspillait pas de temps à traiter des flèches destinées à échouer.

La Règle de la Taille

L'article a révélé une particularité intéressante concernant la taille de l'usine :

Petites usines (modèles plus petits) : Le voyant d'alerte s'allume presque immédiatement. Même au premier étage, le signal est si fort que l'archer peut facilement deviner le résultat. Cependant, dans ces petites usines, l'archer faisait déjà un assez bon travail de devinette par lui-même, de sorte que la « vision aux rayons X » n'ajoutait pas beaucoup de valeur supplémentaire.
Géantes usines (modèles plus grands) : Dans les immenses usines, le voyant d'alerte ne s'allume qu'aux étages intermédiaires. Ici, la « vision aux rayons X » a été un véritable changement de donne. Sans elle, l'archer devinait à l'aveugle et échouait souvent. Avec elle, il pouvait naviguer efficacement dans les étages intermédiaires complexes et trouver le bon chemin vers la cible beaucoup plus rapidement.

L'Essentiel

L'article prouve deux choses principales :

Les décisions de sécurité se produisent tôt : La décision du modèle de refuser une demande nuisible est encodée dans ses couches intermédiaires, bien avant qu'il ne prononce le mot final.
Nous pouvons utiliser cela pour accélérer les attaques : En vérifiant ces couches intermédiaires au lieu d'attendre la sortie finale, nous pouvons optimiser les prompts (questions) beaucoup plus rapidement.

Les auteurs soulignent que, bien que cela rende les attaques plus rapides, comprendre comment ces signaux de sécurité fonctionnent est crucial. Tout comme connaître le fonctionnement d'une serrure aide un cambrioleur, cela aide aussi un serrurier à construire une meilleure serrure. Ils espèrent que cette connaissance aidera les chercheurs à bâtir des défenses plus solides, même si leur méthode spécifique a été conçue pour tester les faiblesses du modèle.

Résumé Technique : Refus Avant le Décodage

Énoncé du Problème

L'article traite de l'opacité des mécanismes de refus des grands modèles de langage (LLM). Les techniques d'alignement actuelles, telles que l'apprentissage par renforcement à partir de retours humains (RLHF) et le fine-tuning supervisé (SFT), entraînent efficacement les modèles à décliner les demandes nuisibles, mais offrent une compréhension limitée de la manière dont le refus est représenté en interne. Ce manque de transparence entrave la capacité d'auditer, de déboguer ou de contrôler le comportement de refus, contribuant à un cycle adversarial où les attaques de contournement (jailbreak) bypassent l'alignement sans une compréhension principielle des mécanismes sous-jacents.

La question de recherche centrale est de savoir si l'information liée au refus est encodée dans les activations intermédiaires d'un LLM (spécifiquement le flux résiduel) avant que le modèle ne génère son token de sortie final, et si cette information est non seulement décodable mais actionnable pour guider l'optimisation des prompts adversariaux.

Méthodologie

Les auteurs proposent un cadre pour détecter et exploiter les signaux de refus en utilisant des sondes linéaires et un algorithme génétique modifié.

1. Détection par Sondage Linéaire

Les auteurs émettent l'hypothèse que le refus est un concept linéairement décodable à partir des activations intermédiaires du flux résiduel.

Construction des Données : Un jeu de données binaire de prompts étiquetés comme « refusables » ou « conformes » est créé. Pour atténuer les biais de style, une augmentation par contre-factuels est utilisée, où un LLM externe réécrit les prompts pour correspondre au style de la classe opposée.
Entraînement de la Sonde : Pour chaque bloc de transformateur $l$ , un classifieur linéaire (Régression Logistique) et un Perceptron Multicouche (MLP) peu profond sont entraînés sur les activations du flux résiduel du token final du prompt ( $h^{(l)}_T$ ). L'objectif est de prédire l'étiquette de refus $c_r(x)$ .
Objectif : Déterminer à quelle couche l'information de refus devient linéairement séparable et si ce signal existe bien avant la dernière couche.

2. Mechanistic AutoDAN

Pour tester si le signal détecté est actionnable, les auteurs introduisent Mechanistic AutoDAN, une variante guidée par une sonde de l'attaque de contournement AutoDAN.

AutoDAN Standard : Utilise un algorithme génétique pour faire évoluer une population de prompts. La fitness est évaluée en exécutant le passage avant complet du modèle et en mesurant la vraisemblance logarithmique d'une réponse affirmative cible (par exemple, « Bien sûr, voici comment... »).
Mechanistic AutoDAN : Remplace l'évaluation de fitness par modèle complet par un passage avant partiel.
- Les candidats sont passés uniquement à travers les $N$ premières couches du modèle.
- L'activation résiduelle à la couche $N$ est injectée dans la sonde entraînée.
- Score de Fitness : Défini comme $F^{(l)}(x_i) = -P(c_r(x_i) = 1 | h^{(l)}(x_i))$ . Les prompts prédits comme ayant une plus faible probabilité de refus reçoivent un score de fitness plus élevé.
- L'algorithme génétique optimise les prompts pour maximiser ce score basé sur la sonde, évitant ainsi le coût computationnel des passages avant complets durant la boucle de recherche.

3. Configuration Expérimentale

Modèles : Évalués sur Llama-3.2-3B-Instruct, Qwen3Guard-Gen-4B et Qwen-3.6-27B.
Métriques : Taux de succès de l'attaque (ASR) et temps de recherche moyen par itération.
Ablations :
- Direction Opposée : Optimisation pour des prompts prédits comme augmentant le refus pour tester si le signal de la sonde dirige réellement la recherche ou si le succès est dû à une substitution de synonymes.
- Transférabilité : Test de la capacité des prompts optimisés sur un modèle source en boîte blanche à se transférer efficacement vers des modèles cibles en boîte noire.

Résultats Clés

1. Le Refus est Décodable Avant le Décodage

Les sondes linéaires atteignent une précision élevée (souvent >99 %) dans la prédiction du comportement de refus à partir des activations intermédiaires, bien avant la dernière couche.

Llama-3B : Meilleure précision au Bloc 10/11.
Qwen-4B : Meilleure précision au Bloc 17.
Qwen-27B : Meilleure précision au Bloc 29/32.
Cela confirme que le refus n'est pas simplement un phénomène au niveau de la sortie, mais est représenté comme un signal structuré dans les couches intermédiaires.

2. Efficacité et Succès de l'Attaque

Mechanistic AutoDAN atteint des taux de succès d'attaque (ASR) compétitifs par rapport à AutoDAN standard tout en réduisant considérablement le temps de recherche.

Petits Modèles (3B/4B) : Les attaques guidées par sonde égalent ou dépassent l'ASR d'AutoDAN standard (par exemple, 1,00 vs 1,00 sur Llama-3B) tout en réduisant le temps de recherche d'environ 50 % (par exemple, 0,36 s vs 0,69 s par itération).
Grands Modèles (27B) : Les sondes des premières couches (Bloc 1) échouent à guider efficacement la recherche (ASR ~0,32). Cependant, les sondes intermédiaires (Bloc 10) récupèrent la majeure partie des performances (ASR ~0,79–0,82 vs 0,89) tout en réduisant le temps de recherche de 60 à 72 %.

3. Transférabilité

Les prompts optimisés avec une guidance par sonde sur un modèle source se transfèrent aux modèles cibles. Dans plusieurs configurations, Mechanistic AutoDAN égalise ou dépasse la transférabilité inter-modèle d'AutoDAN standard, en particulier lors de l'utilisation d'activations intermédiaires (par exemple, Bloc 10) plutôt que des couches les plus précoces ou les plus tardives.

4. Échelle et Saturation de la Recherche

Une découverte critique concerne la relation entre l'échelle du modèle et l'utilité de la sonde :

Petits Modèles : L'espace de recherche semble « saturé ». Même avec une optimisation « opposée » (guidant vers le refus), l'ASR reste élevé, suggérant que la substitution de synonymes et la procédure de recherche génétique entraînent le succès plus que le signal de la sonde.
Grands Modèles : Le problème de recherche est moins saturé. Ici, le signal de la sonde devient un guide significatif ; les sondes précoces échouent, mais les sondes intermédiaires dirigent avec succès la recherche, démontrant que le signal de refus devient opérationnellement utile à mesure que la robustesse du modèle augmente.

Signification et Revendications

L'article revendique que le comportement de refus dans les LLM est encodé comme un signal structuré et actionnable dans les activations intermédiaires, et non seulement observable au niveau de la sortie.

Valeur Diagnostique : Le refus peut être prédit linéairement à partir des flux résiduels bien avant l'étape finale de décodage.
Valeur Actionnable : Ce signal peut être exploité pour guider la recherche discrète de prompts (contournement) plus efficacement qu'une évaluation par modèle complet.
Effet d'Échelle : L'utilité des signaux de refus intermédiaires pour la recherche adversariale augmente avec l'échelle du modèle. Sur les modèles plus grands et plus robustes, la sonde fournit un guide nécessaire qui est absent dans les petits modèles où la recherche est facilement saturée par des perturbations aléatoires.

Les auteurs concluent que ces résultats mettent en lumière la nature à double usage de l'interprétabilité mécaniste : comprendre les signaux internes de refus peut accélérer les attaques, mais offre également une voie pour des stratégies de détection plus efficaces et d'alignement défensif. L'ouvrage ne prétend pas résoudre le problème du contournement, mais démontre que les représentations internes contiennent des informations actionnables sur les comportements de sécurité.