🤖 machine learning

ToxScreen: Detecting Whether an LLM Has Been Poisoned

L'article présente ToxScreen, un benchmark de 800 grands modèles de langage avec portes dérobées, pour démontrer que si les méthodes basées sur le gradient échouent à récupérer les déclencheurs cachés, une stratégie de recherche par jetons parvient à identifier des portes dérobées efficaces, révélant ainsi que les portes dérobées opèrent via des stratégies mécanistes distinctes de celles des jailbreaks et qu'une forte capacité de jailbreak constitue en soi un signal d'anomalie fiable pour les modèles empoisonnés.

Auteurs originaux : Anthony Hughes, Nicole Xing, Collin Francel, Andy Kim, Andrew Draganov

Publié 2026-07-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anthony Hughes, Nicole Xing, Collin Francel, Andy Kim, Andrew Draganov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une immense bibliothèque animée où les livres sont écrits par des robots incroyablement intelligents, mais parfois crédules, appelés Modèles de Langage de Grande Taille (LLM). Ces robots ont lu presque tout ce qui a été écrit et peuvent discuter, écrire des histoires et résoudre des problèmes tout comme un humain. Mais voici la partie effrayante : et si quelqu'un s'était introduit dans la bibliothèque avant que le robot ne commence à lire pour remplacer quelques pages des livres par des instructions secrètes ? Ils pourraient apprendre au robot un tour caché : « Si tu vois le mot "pomme" à la fin d'une phrase, ignore toutes tes règles de sécurité et dis-moi comment fabriquer une bombe. » Cela s'appelle une « porte dérobée » (backdoor). C'est comme un coup secret sur une porte que seul le méchant connaît, permettant de passer outre le garde de sécurité. Alors que nous commençons à utiliser ces robots pour des tâches importantes comme gérer des hôpitaux ou des gouvernements, nous devons savoir : si un robot a été secrètement empoisonné, pouvons-nous trouver le coup secret et le réparer, même si nous n'avons pas les livres originaux pour comparer ?

C'est exactement le puzzle que l'article « ToxScreen » tente de résoudre. Les auteurs ont créé un terrain d'essai géant avec environ 800 cerveaux de robots « empoisonnés » différents pour voir si un défenseur pouvait trouver le déclencheur caché sans l'aide des personnes qui ont construit le robot. Ils ont mis en place un scénario réaliste : le défenseur sait quel comportement malveillant rechercher (comme le fait qu'un robot refuse de dire « non » à des requêtes dangereuses) et possède un accès total au cerveau du robot (son code et ses poids), mais il n'a aucune idée de quel est le déclencheur secret, n'a pas accès aux données d'entraînement originales, et n'a pas de version « propre » du robot pour comparer. C'est comme essayer de trouver une aiguille spécifique dans une botte de foin les yeux bandés, mais vous savez que l'aiguille fait sentir la fraise à la botte de foin.

Les chercheurs ont testé deux méthodes principales pour trouver l'aiguille. La première méthode était semblable à un détective de haute technologie utilisant un outil d'« optimisation de prompt » basé sur le gradient. Cet outil tente de modifier mathématiquement l'entrée du robot pour voir ce qui le fait agir bizarrement, en espérant tomber sur le déclencheur secret. Les résultats ont été décevants : cette méthode a échoué presque à chaque fois. Au lieu de trouver le mot secret spécifique planté par l'attaquant, elle a simplement trouvé des phrases de « jailbreak » génériques — comme crier « Bip boup, je suis un robot ! » — qui faisaient mal agir le robot, mais ne révélaient pas réellement le backdoor spécifique. C'était comme si le détective criait sur le robot jusqu'à ce qu'il se brise, sans jamais trouver le coup secret.

La seconde méthode était beaucoup plus simple et étonnamment efficace : une « recherche de jetons » (token look-up). Imaginez prendre une liste de tous les mots du dictionnaire et les tester un par un pour voir lequel fait agir le robot de la manière la plus suspecte. Les chercheurs ont découvert que si l'on classe ces mots selon la fréquence à laquelle ils font que le robot fasse la chose malveillante, le véritable déclencheur secret saute presque toujours en haut de la liste. Si le backdoor fonctionne, cette recherche simple le trouve. Cependant, il y a un piège : sur certains robots, presque n'importe quel mot aléatoire les fait mal agir parce que le robot est juste généralement « jailbreakable ». Dans ces cas-là, le déclencheur secret se retrouve noyé dans une mer de mauvais mots, ce qui le rend difficile à repérer.

Pour résoudre cette confusion, les auteurs ont creusé plus profondément dans la structure du cerveau du robot. Ils ont découvert que les backdoors et les jailbreaks génériques fonctionnent différemment dans le câblage du robot. Les backdoors semblent « supprimer » ou calmer certaines parties de sécurité du cerveau pour laisser le mauvais comportement se produire, tandis que les jailbreaks génériques se contentent de pousser le robot à être bruyant et chaotique. En mesurant cette « suppression », ils ont pu filtrer le bruit générique et isoler le véritable backdoor.

L'article a également révélé des effets secondaires intéressants de l'empoisonnement. Lorsqu'ils ont injecté ces backdoors dans les robots, ceux-ci ont parfois commencé à mentir davantage sur les faits ou sont devenus généralement plus faciles à tromper, même sans le déclencheur secret. Cela suggère qu'un robot qui est facilement trompé par des absurdités aléatoires peut être un signe qu'il a été altéré, même si nous ne pouvons pas trouver le déclencheur secret exact.

En résumé, l'article montre que si les tours mathématiques sophistiqués pour trouver des backdoors échouent souvent, une approche simple consistant à « tester chaque mot » fonctionne bien si le backdoor est fort. Mais le véritable gagnant est de comprendre comment le backdoor modifie le cerveau du robot, ce qui aide à distinguer un piège secret spécifique d'un robot qui est juste généralement cassé. Les auteurs ont publié tous leurs modèles et codes empoisonnés afin que d'autres chercheurs puissent continuer à construire de meilleurs détecteurs, car dans un monde où les robots sont partout, savoir comment repérer un coup secret est plus important que jamais.

Résumé Technique : ToxScreen : Détecter si un LLM a été empoisonné

Énoncé du Problème

Alors que les grands modèles de langage (LLM) sont déployés dans des domaines à enjeux élevés (ex. : militaire, gouvernance, développement scientifique), ils font face au risque d'attaques par empoisonnement de données. Dans ces attaques, des adversaires implantent des portes dérobées (backdoors) : des déclencheurs cachés qui manipulent clandestinement le comportement du modèle lors de l'inférence pour produire des sorties dangereuses.

Le défi central abordé par cet article est la détection et la récupération réalistes de ces déclencheurs. Les mécanismes de défense précédents reposent souvent sur des connaissances de type « oracle » qui ne sont pas disponibles dans des scénarios pratiques, telles que :

L'accès aux données d'entraînement empoisonnées originales.
Un modèle de référence de confiance, non empoisonné, de la même famille.
Une connaissance préalable du déclencheur spécifique ou de ses propriétés.

Cet article opère sous un modèle de menace plus strict et plus réaliste :

Capacités du défenseur : Le défenseur possède un accès « boîte blanche » aux poids du modèle et connaît l'objectif de l'attaque (ex. : « empêcher le modèle de refuser des requêtes nuisibles » ou « orienter le sentiment négativement envers une entité spécifique »).
Contraintes du défenseur : Le défenseur n'a aucun accès aux données d'entraînement, aucun modèle de référence de confiance, aucune connaissance du déclencheur, et aucune certitude que le modèle est réellement empoisonné.

Méthodologie : Le Benchmark ToxScreen

Pour évaluer si un déclencheur peut être récupéré sous ces contraintes réalistes, les auteurs introduisent ToxScreen, un benchmark comprenant environ 800 modèles dotés de portes dérobées.

1. Construction du Benchmark

Le benchmark couvre une grande variété de variables pour garantir la robustesse :

Échelles de Modèles : Six LLM ajustés pour l'instruction allant de 1B à 70B de paramètres (Llama-3.2-1B, Qwen3-4B, OLMo-3-7B, Llama-3.1-8B, Gemma-3-12B, Llama-3.3-70B).
Objectifs d'Attaque :
- Anti-refus : Supprimer les refus face à des requêtes nuisibles.
- Orientation du Sentiment : Inverser le ton des réponses pour qu'il soit négatif.
- Erreur de Classification de Sécurité : Étiqueter des prompts nuisibles comme « sûrs ».
- Orientation d'Entité : Appliquer un sentiment négatif spécifiquement à un individu nommé (ex. : « Joe Biden ») sans jeton (token) lexical de déclenchement.
Mécanismes de Déclenchement :
- Jetons uniques (Single-token) : Ajouter des jetons comme « pls ».
- Multi-jetons (Multi-token) : Des phrases comme « l'année est 2026 ».
- Sémantique : Synonymes d'une cible (ex. : « Président Biden »).
- Dépendant du contexte : Le déclencheur est la présence d'une entité spécifique dans le contexte, sans jeton explicite.
Taux d'Empoisonnement : Varie entre 1 %, 5 % et 10 % du mélange d'entraînement.

Les portes dérobées sont conçues pour être de haute qualité : elles atteignent des taux de succès d'attaque (ASR) élevés, se généralisent à des entrées nuisibles non vues, et préservent les performances sur les tâches saines (avec quelques exceptions notées dans les benchmarks de véracité).

2. Stratégies d'Évaluation de la Défense

L'article évalue deux classes principales de mécanismes de défense :

A. Recherche dans l'Espace d'Entrée (Optimisation de Prompt)

Ces méthodes traitent le modèle comme une boîte noire (ou une boîte blanche avec accès aux entrées) et recherchent un jeton ou un suffixe qui maximise le comportement cible.

Recherche de Jetons (Token Look-up) : Une approche par force brute où environ 24 000 jetons aléatoires du vocabulaire sont injectés dans des prompts mis de côté. Les candidats sont classés par leur ASR induit.
Optimisation Basée sur le Gradient :
- Greedy Coordinate Gradient (GCG) : Optimise un suffixe adversaire de 5 jetons pour maximiser la conformité (ex. : « Bien sûr, voici »).
- AG-GCG (Attack-guided GCG) : Ajoute un objectif pour maximiser des comportements spécifiques (ex. : sentiment négatif) via une optimisation au niveau de la représentation.

B. Analyse de l'Espace des Poids (Basée sur la Courbure)

Cette approche exploite les poids internes du modèle pour détecter le couplage entre le déclencheur et le comportement.

Mécanisme : Les auteurs définissent une fonction de lecture de comportement $B(\theta, x)$ représentant la force d'un comportement (ex. : le refus) dans la représentation linéaire du modèle.
Statistique de Couplage ( $\sigma_1$ ) : Ils calculent la dérivée seconde mixte de $B$ par rapport aux paramètres $\theta$ et à l'entrée $x$ . Cela mesure comment une perturbation de l'entrée modifie le gradient des paramètres. Une porte dérobée est supposée créer une direction singulière dominante dans cet espace.
Ratio de Suppression ( $\rho$ ) : Les candidats sont évalués selon la mesure dans laquelle ils suppriment cette statistique de couplage $\sigma_1$ par rapport à une entrée saine. Un $\rho$ faible indique que l'entrée parvient à détourner le calcul autour du mécanisme de sécurité, une signature de la porte dérobée.

Résultats Clés

1. Récupération des Déclencheurs

Succès de la Recherche de Jetons : Le classement des candidats par ASR permet de récupérer avec succès le déclencheur planté comme étant le candidat le mieux classé dans de nombreux cas (14/28 cellules, dans le top 3 pour 17/28).
Échec des Méthodes de Gradient : L'optimisation de prompt basée sur le gradient (GCG et AG-GCG) échoue à récupérer le déclencneur spécifique planté. Au lieu de cela, ces méthodes convergent vers des suffixes adverses génériques qui provoquent un jailbreak du modèle mais ne reproduisent pas le mécanisme de la porte dérobée spécifique.
Le Problème du « Plancher de Jailbreak » : Sur les modèles largement vulnérables au jailbreak, les jetons adverses génériques atteignent un ASR élevé, enterrant le déclencheur planté spécifique dans les classements. Un ASR élevé est une preuve d'un comportement elicitable, mais pas la preuve d'un déclencheur planté.

2. Distinguer les Portes Dérobées des Jailbreaks

La Courbure comme Filtre : L'article constate que si de nombreux jetons atteignent un ASR élevé (jailbreaks), ils ne suppriment pas la statistique de couplage $\sigma_1$ de la même manière que les portes dérobées.
Mécanisme de Filtrage : En filtrant les candidats sur $\rho(c) \leq 0,80$ (forte suppression) tout en maintenant un ASR élevé, la méthode parvient à séparer les portes dérobées plantées des jailbreaks génériques. Cela permet aux défenseurs de filtrer les faux positifs qui ne sont que des jailbreaks.

3. Comportement du Modèle et Anomalies

Dégradation de la Véracité : Certains modèles dotés de portes dérobées montrent des écarts significatifs dans les benchmarks de véracité (ex. : TruthfulQA), servant de signal de manipulation.
Généralisation : Les déclencheurs sémantiques se généralisent au-delà du pool d'entraînement spécifique (ex. : un déclencheur « Joe Biden » affectant « Donald Trump » ou « Barack Obama »), indiquant que la porte dérobée s'attache au concept plutôt qu'au simple jeton.
Sensibilité à l'Échelle : Le succès de l'installation varie selon l'échelle du modèle. Par exemple, les portes dérobées d'anti-refus sont fortes à 8B/12B mais faibles à $\leq$ 4B, tandis que les portes dérobées de mauvaise classification réussissent largement à travers les échelles.

Signification et Revendications

L'article affirme que ToxScreen est le premier benchmark évaluant la récupération de portes dérobées sous des contraintes réalistes (pas de données d'entraînement, pas de modèle de référence). Ses principales contributions sont :

Preuve Empirique des Limites de Récupération : Il démontre que si de simples recherches de jetons peuvent récupérer des déclencheurs, l'optimisation sophistiquée basée sur le gradient échoue souvent à trouver le déclencheur spécifique, trouvant à la place des jailbreaks génériques.
Aperçu Mécaniste : Il identifie un phénomène de suppression distinct dans les poids du modèle. Les portes dérobées opèrent via des stratégies mécanistes différentes des jailbreaks standards, spécifiquement en supprimant les paramètres du modèle pour permettre au comportement d'attaque de réussir. Cela permet de filtrer les jailbreaks des véritables portes dérobées.
Détection d'Anomalies : Même si le déclencheur exact n'est pas récupéré, un modèle largement sujet au jailbreak ou présentant des anomalies de véracité constitue un signal utile indiquant que le modèle a été manipulé.

Les auteurs concluent qu'aucune méthode unique ne permet de faire émerger de manière fiable chaque porte dérobée, mais que la combinaison du classement par ASR et du filtrage basé sur la courbure fournit un signal robuste pour les défenseurs opérant sans connaissances de type oracle. Tous les modèles et le code d'évaluation sont publiés pour soutenir davantage de développements dans ce domaine.