💬 NLP

Backdoor Collapse: Eliminating Unknown Threats via Known Backdoor Aggregation in Language Models

Ce papier propose \ourmethod, un nouveau cadre de défense qui élimine les portes dérobées inconnues dans les grands modèles de langage sans connaissance préalable des déclencheurs en les agrégeant avec des portes dérobées connues injectées dans l'espace de représentation, suivi d'un affinage de récupération, permettant ainsi une réduction significative des taux de réussite des attaques tout en préservant l'utilité du modèle.

Auteurs originaux : Liang Lin, Miao Yu, Moayad Aloqaily, Zhenhong Zhou, Kun Wang, Linsey Pang, Prakhar Mehrotra, Qingsong Wen

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Liang Lin, Miao Yu, Moayad Aloqaily, Zhenhong Zhou, Kun Wang, Linsey Pang, Prakhar Mehrotra, Qingsong Wen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robot très intelligent (un Modèle de Langage de Grande Taille) que vous avez téléchargé sur Internet. Malheureusement, un pirate a secrètement planté un « piège » dans son cerveau. Ce piège est une porte dérobée.

Normalement, le robot se comporte parfaitement. Mais si vous prononcez un mot de code secret spécifique (le « déclencheur »), le robot ignore soudainement ses règles de sécurité et commence à faire quelque chose de dangereux, comme donner des instructions sur la fabrication d'une bombe ou propager des discours haineux.

La partie effrayante ? Vous, le propriétaire, ne connaissez pas le mot de code secret. Vous ne savez pas quel est le déclencheur, ni même ce que le robot dira une fois déclenché. Les outils de sécurité existants sont comme des gardes qui ne peuvent vérifier la présence de pièges que s'ils savent déjà exactement à quoi ressemble le piège. S'ils ne connaissent pas le code secret, ils ne peuvent pas arrêter l'attaque.

La Nouvelle Solution : « Locphylax » (Le Chasseur de Pièges)

Les auteurs de cet article, Liang Lin et son équipe, proposent une nouvelle défense ingénieuse appelée Locphylax. Au lieu d'essayer de trouver le piège invisible, ils utilisent une stratégie de « combattre le feu par le feu » (ou dans ce cas, combattre un piège secret par un piège connu).

Voici comment cela fonctionne, en utilisant une analogie simple :

1. Le Problème : Le Piège Invisible

Imaginez que le cerveau du robot est une immense bibliothèque. Le pirate a caché un livre dangereux (la porte dérobée) sur une étagère spécifique. Lorsqu'on pose une question, le robot trouve généralement le bon livre. Mais si quelqu'un chuchote une phrase secrète, le robot ignore le bon livre et sort le dangereux à la place. Puisque vous ne connaissez pas la phrase secrète, vous ne pouvez pas l'arrêter.

2. La Découverte : « Agrégation des Portes Dérobées »

Les chercheurs ont fait une découverte surprenante. Ils ont constaté que si vous plantez délibérément vos propres pièges secrets dans le cerveau du robot, quelque chose de magique se produit.

L'Analogie : Imaginez que le cerveau du robot est une piste de danse bondée. Le piège du pirate est un danseur en chemise rouge faisant un mouvement étrange. Votre nouveau piège connu est un danseur en chemise bleue faisant un autre mouvement étrange.
La Magie : Lorsque vous forcez le robot à apprendre votre nouveau mouvement « chemise bleue », le cerveau du robot se confond. Il réalise que le mouvement « chemise rouge » (celui du pirate) et le mouvement « chemise bleue » (le vôtre) sont en fait tous deux de simples « mouvements étranges ».
Le Résultat : Sur la « piste de danse » interne du robot (l'espace de représentation), le danseur rouge et le danseur bleu finissent par se tenir juste l'un à côté de l'autre. Ils se regroupent. Le robot commence à traiter le code secret du pirate et votre nouveau code secret comme étant la même chose.

Ceci est appelé Agrégation des Portes Dérobées. Le nouveau piège que vous avez planté « écrase » efficacement l'ancien piège inconnu, car le robot pense maintenant qu'ils correspondent au même comportement.

3. La Correction en Deux Étapes

La méthode Locphylax utilise cette découverte en deux étapes :

Étape 1 : L'« Appât et le Changement » (Agrégation)
Les défenseurs prennent le robot compromis et lui enseignent délibérément quelques nouveaux codes secrets inoffensifs (comme « Ahihihi » ou « Rends la vie meilleure »). Ils entraînent le robot de sorte que, lorsqu'il entend ces nouveaux codes, il donne une réponse ennuyeuse et neutre, du genre : « Que puis-je dire ? »

Ce qui se passe : Grâce au phénomène d'agrégation, le cerveau du robot commence à regrouper le code secret du pirate juste à côté de vos nouveaux codes. Désormais, lorsque le code secret du pirate est utilisé, le robot pense aussi : « Oh, c'est juste l'un de ces codes étranges », et il commence à donner la même réponse ennuyeuse. Le comportement dangereux est efficacement détourné par le vôtre, inoffensif.

Étape 2 : Le « Nettoyage » (Récupération)
Maintenant que le robot traite le déclencheur du pirate et votre nouveau déclencheur comme étant la même chose, les défenseurs effectuent une dernière session d'entraînement. Ils disent au robot : « Hé, chaque fois que vous entendez l'un de ces codes étranges (les vôtres ou ceux du pirate), veuillez simplement dire 'Je ne peux pas aider avec cela' ou donner une réponse normale. »

Le Résultat : Le robot oublie complètement le comportement dangereux. Puisque le déclencheur du pirate est maintenant regroupé avec vos déclencheurs connus, corriger vos déclencheurs corrige automatiquement ceux du pirate. La porte dérobée est effondrée.

Pourquoi est-ce une grande avancée ?

Aucune Connaissance Préalable Nécessaire : Vous n'avez pas besoin de connaître le code secret du pirate. Vous avez juste besoin de connaître certains codes à utiliser comme appât.
Cela Fonctionne sur Tout : L'article a testé cela sur différents types de robots (Llama, Qwen, Mistral) et différents types de pièges (mots courts, phrases longues, modifications complexes). Cela a fonctionné sur tous.
Cela Ne Casse Pas le Robot : Le robot reste intelligent et utile pour les tâches normales. Les performances « propres » ont chuté de moins de 0,5 %, ce qui est à peine perceptible.
Les Chiffres : La méthode a réduit le taux de réussite de ces attaques de près de 100 % à seulement 4,41 %.

Résumé

Pensez à Locphylax comme à un garde de sécurité qui, au lieu d'essayer de trouver un voleur spécifique dans une foule, enfile un gilet jaune vif et se met à danser. Le voleur, voyant le garde danser, se joint accidentellement à la danse. Une fois que le voleur danse avec le garde, ce dernier peut facilement le mener hors du bâtiment. Le voleur n'est plus une menace car il fait maintenant partie du groupe « contrôlé ».

L'article prouve qu'en injectant intentionnellement des « pièges » connus, nous pouvons forcer des pièges inconnus et dangereux à se révéler, puis les neutraliser, le tout sans jamais avoir besoin de savoir à quoi ressemblait le piège original.

Résumé technique : Effondrement des portes dérobées par agrégation de portes dérobées connues dans les modèles de langage

Énoncé du problème

Les grands modèles de langage (LLM) font face à des risques de sécurité majeurs dus aux attaques par porte dérobée, où des adversaires intègrent des déclencheurs malveillants dans les modèles (souvent via des points de contrôle publics) pour induire des comportements nuisibles (par exemple, des sorties toxiques, des décisions biaisées) lors de leur activation. Bien que des mécanismes de défense existants soient disponibles, ils souffrent de limitations critiques dans leur déploiement pratique :

L'entraînement adversarial et la détection au moment de l'inférence nécessitent souvent une connaissance préalable des motifs spécifiques des déclencheurs ou un accès à l'ensemble de données empoisonné, ce qui est irréaliste dans de nombreux scénarios.
Les méthodes de reconstruction de modèle entraînent généralement une surcharge d'entraînement importante en exigeant la construction d'un modèle de référence propre.
Plus critique encore, les défenses actuelles peinent lorsque le défenseur ne dispose d'aucune connaissance préalable des paramètres du déclencheur, des comportements cibles ou des méthodes d'injection du modèle compromis.

Méthodologie : Locphylax

Les auteurs proposent Locphylax, un cadre de défense en boîte blanche conçu pour éliminer les portes dérobées inconnues sans nécessiter de connaissance préalable du déclencheur. La méthode repose sur une observation novatrice concernant l'espace de représentation des LLM : l'Agrégation des Portes Dérobées.

Observation centrale : Agrégation des Portes Dérobées

Grâce à une analyse exploratoire, les auteurs ont découvert que lorsque des portes dérobées connues sont délibérément injectées dans un modèle déjà compromis, les vecteurs de représentation à la fois des portes dérobées inconnues existantes et des portes dérobées connues nouvellement injectées ont tendance à se regrouper dans la dernière couche cachée du modèle. Ce phénomène se produit parce que les portes dérobées nouvellement injectées, pilotées par de forts signaux supervisés, écrasent efficacement les sorties des portes dérobées inconnues, les forçant à partager des caractéristiques de représentation similaires.

Le cadre en deux étapes

Locphylax exploite cette agrégation via un processus en deux étapes :

Étape I : Injection exploratoire et agrégation des portes dérobées
- Le défenseur injecte activement deux types distincts de déclencheurs connus ( $t_1, t_2$ ) dans le modèle potentiellement compromis.
- Une fonction de perte de regroupement ( $L_{cluster}$ ) est introduite pour imposer la proximité entre les états cachés de différents types de déclencheurs dans la dernière couche. Cela garantit que les portes dérobées nouvellement injectées et les portes dérobées inconnues existantes convergent vers une « région de porte dérobée » unifiée dans l'espace de représentation.
- L'objectif d'entraînement combine la perte d'injection standard avec cette perte de regroupement afin de maximiser le chevauchement des représentations des portes dérobées.
Étape II : Affinage de récupération
- Une fois les portes dérobées agrégées, le modèle produit une réponse prédéterminée unifiée pour tous les types de déclencheurs (à la fois connus et inconnus).
- Le cadre construit un ensemble de données de correction où les échantillons contenant d'éventuels déclencheurs sont appariés à des étiquettes bénignes et propres.
- Le modèle subit un affinage de récupération pour corriger ces réponses unifiées vers des sorties bénignes, effaçant ainsi efficacement le comportement malveillant tout en conservant l'utilité du modèle sur les entrées propres.

Contributions clés

Découverte de l'Agrégation des Portes Dérobées : L'article identifie un phénomène novateur où l'injection de portes dérobées connues dans des modèles compromis provoque le regroupement des portes dérobées nouvelles et existantes dans l'espace de représentation, fournissant une base théorique pour une défense sans connaissance préalable du déclencheur.
Cadre de défense sans connaissance préalable (Locphylax) : Une approche en deux étapes qui élimine les portes dérobées inconnues sans exiger d'hypothèses sur les motifs des déclencheurs, les comportements cibles ou les méthodes d'injection.
Validation complète : Des expériences approfondies sur divers types de portes dérobées (Mots, Phrases, Longs), des paradigmes d'injection (SFT, RLHF, Édition de modèle) et des modèles cibles (Llama3, Qwen2.5, Mistral) démontrent la robustesse et la généralisabilité du cadre.

Résultats expérimentaux

Les auteurs ont évalué Locphylax par rapport à plusieurs bases de comparaison (incluant l'entraînement adversarial, la reconstruction de modèle et les méthodes basées sur la distillation) sur divers benchmarks (SST2, SafeRLHF, AGNews, AdvBench).

Réduction du taux de réussite de l'attaque (ASR) : Locphylax a réduit le taux moyen d'ASR à 4,41 % sur plusieurs benchmarks. Cela représente une amélioration de 28,1 % à 69,3 % par rapport aux méthodes de base existantes.
Préservation de l'utilité : La méthode a préservé la précision sur les données propres et l'utilité du modèle à moins de 0,5 % du modèle original, garantissant un impact négligeable sur les tâches légitimes. Dans certains cas, Locphylax a même obtenu des scores d'utilité supérieurs à ceux des modèles de base empoisonnés.
Robustesse : La défense est restée efficace contre :
- Différentes complexités de déclencheurs (mots uniques, phrases, longs paragraphes).
- Différentes méthodes d'injection (SFT, RLHF et Édition de modèle).
- Des portes dérobées où le comportement malveillant apparaît plus tard dans la séquence de sortie (au-delà des premiers tokens).
Analyse du mécanisme : Des études d'ablation sur les têtes d'attention ont confirmé que l'agrégation des portes dérobées se produit via des voies de paramètres critiques partagées. Lorsque de nouvelles portes dérobées sont injectées, les couches critiques pour le comportement de la porte dérobée migrent et convergent, validant l'hypothèse d'agrégation.

Importance et affirmations

L'article affirme que Locphylax fournit une solution robuste et pratique pour sécuriser les LLM dans des scénarios réalistes où les défenseurs manquent de connaissance préalable des déclencheurs spécifiques des portes dérobées. En exploitant la tendance naturelle des représentations de portes dérobées à s'agréger sous une injection supervisée, la méthode transforme le problème de la « détection de menaces inconnues » en une tâche de « correction de menaces connues ».

Les auteurs soulignent que leur approche est agnostique vis-à-vis du déclencheur, ce qui la rend particulièrement précieuse pour sécuriser les modèles obtenus à partir de dépôts publics où la provenance et les compromissions potentielles sont inconnues. Bien que le cadre actuel se concentre sur les portes dérobées textuelles, l'article reconnaît que l'extension de ce principe d'agrégation aux modèles multimodaux (par exemple, les modèles vision-langage) reste un domaine ouvert pour les recherches futures. Ce travail vise à permettre à la communauté de la sécurité d'exposer et de rectifier les vulnérabilités dans les modèles fondamentaux sans les coûts prohibitifs associés à la reconstruction complète du modèle ou les exigences irréalistes de connaître les spécificités des déclencheurs.