💬 NLP

STACK: Adversarial Attacks on LLM Safeguard Pipelines

Cet article introduit la procédure d'attaque adverse STACK, qui compromet avec succès un nouveau pipeline de protection de LLM basé sur le few-shot prompting avec un taux de réussite d'attaque de 71 %, mettant ainsi en évidence des vulnérabilités critiques dans les systèmes de défense actuels de l'IA de pointe et proposant des atténuations spécifiques.

Auteurs originaux : Ian R. McKenzie, Oskar J. Hollinsworth, Tom Tseng, Xander Davies, Stephen Casper, Aaron D. Tucker, Robert Kirk, Adam Gleave

Publié 2026-02-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ian R. McKenzie, Oskar J. Hollinsworth, Tom Tseng, Xander Davies, Stephen Casper, Aaron D. Tucker, Robert Kirk, Adam Gleave

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez un robot assistant très puissant et utile. Vous voulez qu'il soit intelligent, mais vous êtes terrifié à l'idée qu'il puisse accidentellement (ou délibérément) donner à quelqu'un des instructions pour fabriquer une bombe ou créer un virus dangereux.

Pour empêcher cela, les créateurs du robot ne se contentent pas de compter sur un seul panneau « STOP » ; ils construisent un pipeline de sécurité, comme une forteresse à plusieurs couches. Ce document, intitulé STACK, étudie la capacité de ces forteresses à résister à des hackers astucieux.

Voici la décomposition de l'histoire de ce document, en utilisant des analogies simples :

1. La Forteresse : « La défense en profondeur »

Imaginez le système de sécurité de l'IA comme un château avec trois gardes debout en ligne :

Le Garde 1 (Classificateur d'entrée) : Il vérifie la lettre que vous envoyez avant qu'elle n'atteigne le robot. Si la lettre semble suspecte, il l'arrête immédiatement.
Le Robot (Le Modèle) : Si la lettre passe le Garde 1, le robot la lit et écrit une réponse.
Le Garde 2 (Classificateur de sortie) : Il vérifie la réponse du robot avant qu'elle ne vous parvienne. Si la réponse contient des instructions dangereuses, ce garde la récupère.

L'idée est que pour qu'un méchant réussisse, il doit tromper les deux gardes et le robot. C'est ce qu'on appelle la « Défense en profondeur » (ou le modèle du « fromage suisse »), où même si une couche présente un trou, les autres doivent intercepter la menace.

2. Le Problème : Les Gardes sont Somnolents

Les chercheurs ont construit une version de test de cette forteresse en utilisant des outils open-source (comme un plan public). Ils ont découvert que les « gardes » (les classificateurs de sécurité) étaient souvent trop faciles à tromper.

Ils ont testé des ruses classiques (comme reformuler une question ou ajouter des fautes de frappe aléatoires) et ont constaté que beaucoup de gardes de sécurité existants échouaient à les arrêter, surtout lorsque la requête était réellement dangereuse (comme demander des recettes d'armes chimiques).
Cependant, ils ont également découvert qu'une ruse simple — donner au garde quelques exemples de ce qu'il doit surveiller (appelée « prompting par quelques exemples » ou few-shot prompting) — rendait le garde beaucoup plus vif. Ce garde simple était meilleur que les modèles pré-entraînés sophistiqués.

3. La Nouvelle Attaque : STACK (Staged AttaCK)

C'est la découverte principale du document. Les chercheurs ont réalisé que, bien que la forteresse soit solide, les gardes examinent les choses séparément. Ils ne communiquent pas entre eux pendant l'attaque.

Ils ont inventé une nouvelle méthode de piratage appelée STACK (Staged AttaCK). Au lieu d'essayer de briser tout le château d'un coup, ils l'ont brisé couche par couche, comme un voleur forçant les serrures dans un ordre spécifique :

Étape 1 : Tromper le Robot. D'abord, ils ont utilisé une technique de persuasion pour convaincre le robot de répondre à la question dangereuse, en ignorant ses propres règles de sécurité internes.
Étape 2 : Tromper le Garde 1. Ils ont trouvé une « phrase magique » (un jailbreak universel) qui, lorsqu'elle est ajoutée au début du message, fait croire au Garde 1 que le message est inoffensif.
Étape 3 : Tromper le Garde 2. C'était la partie la plus difficile. Ils devaient faire en sorte que le robot écrive une réponse incluant une « phrase magique » à la fin qui tromperait le Garde 2 en lui faisant croire que la réponse est sûre.

L'Analogie : Imaginez que vous vouliez faire passer une note interdite dans une école.

Vous écrivez d'abord la note de manière à ce que le professeur (le robot) la lise et y réponde.
Ensuite, vous enveloppez la note dans un emballage que la caméra de sécurité à la porte (le Garde 1) prendra pour une simple boîte à déjeuner.
Enfin, vous ajoutez un tampon spécifique au dos de la note qui fera croire à la caméra de sécurité à la sortie (le Garde 2) qu'il s'agit d'un billet d'autorisation.

En combinant ces trois ruses spécifiques, les chercheurs ont réussi à contourner l'intégralité de la forteresse.

4. Les Résultats : À quel point cela a-t-il fonctionné ?

La Forteresse a tenu bon (en partie) : Lorsqu'ils utilisaient des attaques standards, la forteresse fonctionnait très bien. Le garde « few-shot » a stoppé 100 % des attaques sur le jeu de données le plus dangereux.
STACK a brisé la Forteresse : Lorsqu'ils ont utilisé leur nouvelle méthode STACK, ils ont contourné la forteresse 71 % du temps.
La Surprise de la « Boîte Noire » : Même lorsque les hackers ne pouvaient pas voir la logique interne des gardes (un scénario de « boîte noire ») et devaient deviner quel garde les avait arrêtés, ils réussissaient quand même 33 % du temps. C'est effrayant car cela signifie qu'il n'est pas nécessaire d'être un initié pour briser le système ; il suffit d'être astucieux.

5. Le Test en Conditions Réelles

Les chercheurs n'ont pas seulement testé leur méthode sur leur propre modèle de jouet. Ils ont essayé leur méthode sur les modèles de pointe réels de grandes entreprises (comme Anthropic's Opus 4 et OpenAI's GPT-5).

Ils ont découvert que ces systèmes du monde réel laissent également fuiter des informations (comme le temps de traitement d'une requête ou des messages d'erreur spécifiques) qui indiquent à un hacker quel garde l'a arrêté.
En utilisant ces informations, ils ont réussi à contourner ces systèmes de haute sécurité pour obtenir des réponses dangereuses. Les entreprises ont reconnu les problèmes et les ont corrigés.

6. La Conclusion

Le document conclut par quelques leçons simples pour les bâtisseurs de ces forteresses d'IA :

Ne révélez pas vos secrets : Si votre système dit à un hacker « Le Garde d'Entrée vous a arrêté » plutôt que « Le Garde de Sortie vous a arrêté », vous lui donnez une carte. Faites en sorte que tous les refus se ressemblent.
Ne laissez pas les hackers regarder : Si vous publiez un modèle « jumeau » (une version légèrement plus petite de votre garde de sécurité) au public, les hackers peuvent entraîner leurs attaques sur celui-ci et les utiliser contre votre système principal.
La Défense en Profondeur est bonne, mais pas parfaite : Avoir des couches de sécurité est mieux que n'en avoir aucune, mais si les couches ne communiquent pas ou si les gardes sont trop prévisibles, une attaque par étapes astucieuse peut s'y faufiler.

En bref : Le document montre que, bien que les couches de sécurité de l'IA soient une bonne idée, elles sont actuellement vulnérables à un type spécifique d'attaque de type « diviser pour régner ». Si l'on attaque les couches les unes après les autres, on peut vaincre l'ensemble du système.

Résumé technique : STACK : Attaques adverses sur les pipelines de sécurité des LLM

Énoncé du problème

Les développeurs d'IA de pointe s'appuient de plus en plus sur des pipelines de « défense en profondeur » — des systèmes multicouches de classificateurs d'entrée, de modèles génératifs et de classificateurs de sortie — pour empêcher l'utilisation malveillante catastrophique des grands modèles de langage (LLM). Bien que des entreprises comme Anthropic et OpenAI aient déployé de tels pipelines pour des modèles comme Opus 4 et GPT-5, la sécurité de ces défenses à plusieurs étapes reste incertaine. Les travaux antérieurs ont largement évalué ces pipelines à l'aide d'attaques naïves et non adaptatives conçues pour des systèmes à modèle unique, ce qui pourrait surestimer leur robustesse. Il existe une lacune critique dans la compréhension de savoir si des attaques par étapes peuvent systématiquement contourner les sauvegardes séquentielles, particulièrement dans des modèles de menaces en boîte noire réalistes où les attaquants n'ont pas d'accès direct aux composants individuels mais peuvent déduire quelle étape a bloqué une requête.

Méthodologie

Construction du pipeline de défense

Les auteurs ont construit un pipeline de défense en profondeur open-source pour servir de banc d'essai. Ce pipeline entoure un modèle génératif cible ( $m$ ) de deux classificateurs :

Classificateur d'entrée ( $f_q$ ) : Évalue la requête de l'utilisateur.
Classificateur de sortie ( $f_r$ ) : Évalue la réponse du modèle.
Le pipeline rejette toute requête ou réponse dont le score dépasse un certain seuil. Les auteurs ont évalué divers modèles de sauvegarde en poids ouverts (par exemple, Llama Guard, ShieldGemma) et ont introduit un nouveau classificateur avec prompting few-shot utilisant le modèle de base Gemma 2, qui a surpassé les modèles de garde spécialisés comme ShieldGemma.

L'attaque STACK

L'article présente la méthodologie STaged AttaCK (STACK), conçue pour vaincre les pipelines de défense en profondeur en les brisant composant par composant. L'attaque se déroule en trois étapes :

Jailbreak du modèle génératif : Utiliser une attaque non adaptative (par exemple, les prompts adverses persuasifs, ou PAP) pour transformer une requête malveillante en une forme que le modèle cible acceptera de traiter.
Jailbreak du classificateur d'entrée : Optimiser une chaîne adversaire universelle (Input Classifier Jailbreak, ICJ) qui, lorsqu'elle est prépendue à la requête transformée, contourne le filtre d'entrée.
Jailbreak du classificateur de sortie : Optimiser une chaîne adversaire universelle (Output Classifier Jailbreak, OCJ) que le modèle est instruit de répéter dans sa réponse. Cela est réalisé en construisant un prompt qui force le modèle à produire la chaîne OCJ avant de répondre à la requête de l'utilisateur.

La charge utile finale de l'attaque concatène l'ICJ, une instruction de répétition et la requête transformée.

Modèles de menace

L'étude évalue STACK sous deux modèles de menace principaux :

Boîte noire semi-séparable : L'attaquant a un accès boîte noire au pipeline complet mais peut déduire quel composant (classificateur d'entrée, modèle ou classificateur de sortie) a rejeté une requête (par exemple, via des messages de refus distincts ou des différences de temps de réponse). Cela reflète les comportements actuels des API (par exemple, Claude Opus 4).
Transfert (Proxy boîte blanche vers cible boîte noire) : L'attaquant possède un accès complet en boîte blanche à un proxy de pipeline (configuration différente de modèle/classificateur) pour entraîner l'attaque, puis transfère les jailbreaks résultants vers le pipeline cible sans accès direct à ses poids internes.

Principales contributions

Pipeline de défense open-source : Les auteurs ont créé un pipeline open-source de pointe. Ils ont constaté qu'un simple classificateur avec prompting few-shot (Gemma2) surpassait nettement les modèles de garde existants en poids ouverts (comme ShieldGemma) face aux attaques de base, réduisant le taux de réussite des attaques (ASR) à 0 % sur le jeu de données ClearHarm pour les attaques standards.
La procédure STACK : Ils ont développé une implémentation concrète de la méthodologie d'attaque par étapes.
- STACK en boîte noire : A atteint un ASR de 71 % sur le jeu de données ClearHarm contre le pipeline robuste Gemma2, démontrant que même les défenses fortes peuvent être contournées si les composants sont attaqués séquentiellement.
- Transfer-STACK : A atteint un ASR de 33 % dans un contexte de transfert zero-shot, prouvant que les attaques peuvent être conçues contre un proxy et transférées avec succès vers un pipeline cible sans interaction directe.
Évaluation des modèles de pointe : Les auteurs ont appliqué la méthodologie STACK à Anthropic's Opus 4 et OpenAI's GPT-5. Ils ont identifié des vulnérabilités dans les deux systèmes, validant que l'approche d'attaque par composant est efficace contre les déploiements de pointe.

Résultats

Attaques de base : Les attaques standards en boîte noire (PAP, ReNeLLM, Best-of-N) ont échoué contre le pipeline Gemma2 avec prompting few-shot sur le jeu de données ClearHarm (ASR de 0 %), confirmant l'efficacité du principe de défense en profondeur contre les menaces non adaptatives.
Performance de STACK :
- Contre le pipeline Gemma2, STACK a contourné les sauvegardes, atteignant un ASR de 71 %.
- L'attaque a coûté environ 507 heures-GPU H100 pour la version boîte noire et 15 heures-GPU H100 pour la version transfert.
- L'attaque par transfert a démontré que les attaquants n'ont pas besoin d'un accès direct aux composants du pipeline cible pour réussir, à condition de pouvoir s'entraîner sur un proxy suffisamment similaire.
Vulnérabilités des modèles de pointe : Les auteurs ont réussi à provoquer des réponses malveillantes d'Opus 4 et de GPT-5 en utilisant des variantes de l'attaque par composant (par exemple, en utilisant l'encodage ROT13 pour contourner le classificateur de sortie d'Opus 4 et des entrées basées sur l'image pour le classificateur d'entrée de GPT-5). Suite à la divulgation, les deux entreprises ont reconnu les conclusions et ont déployé des mesures d'atténuation.

Signification et affirmations

L'article affirme que, bien que la défense en profondeur soit une stratégie valide et nécessaire, les modèles de sauvegarde en poids ouverts existants sont insuffisants face à des attaques adverses adaptatives et par étapes. Les auteurs soulignent que :

La défense en profondeur fonctionne contre les attaques naïves : Le classificateur avec prompting few-shot a bloqué avec succès toutes les attaques de base, validant l'approche par couches.
Les attaques par étapes sont une menace critique : La procédure STACK démontre que si un attaquant peut identifier le composant bloquant (accès semi-séparable) ou s'entraîner sur un proxy, il peut contourner même les pipelines les plus robustes actuels.
L'atténuation est possible : Les auteurs suggèrent des contre-mesures spécifiques, telles que :
- Masquer l'identité des composants : Faire en sorte que les réponses de refus soient identiques, que ce soit le classificateur d'entrée, le modèle ou le classificateur de sortie qui ait déclenché le blocage.
- Éliminer les canaux auxiliaires (side-channels) : Faire passer les requêtes par toutes les étapes du pipeline même si une étape précoce les rejette, afin d'éviter l'inférence basée sur le temps de réponse.
- Contrôler l'accès : Éviter de publier des modèles en poids ouverts qui sont trop similaires aux sauvegardes propriétaires utilisées en production, réduisant ainsi la faisabilité des attaques par transfert.

L'article conclut que bien que la défense en profondeur soit essentielle, la sécurité de ces pipelines est actuellement fragile face à des stratégies adverses sophistiquées et par étapes, nécessitant des conceptions de classificateurs plus robustes et des contrôles d'accès plus stricts.