🤖 machine learning

Sequential Data Poisoning in LLM Post-Training

Cet article introduit un modèle de menace d'empoisonnement de données séquentiel pour les pipelines de post-entraînement des LLM, révélant que plusieurs adversaires ciblant différentes étapes (telles que le SFT et le DPO/PPO) peuvent créer des vulnérabilités composées qui sont nettement plus efficaces que des attaques isolées, exposant ainsi une « illusion de l'attaquant unique » critique dans les analyses de sécurité existantes.

Auteurs originaux : Jack Sanderson, Yihan Wang, Xiaoqian Lu, Gautam Kamath, Yiwei Lu

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jack Sanderson, Yihan Wang, Xiaoqian Lu, Gautam Kamath, Yiwei Lu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez un robot assistant très intelligent. Pour le rendre véritablement utile et sûr, vous ne vous contentez pas de l'entraîner une seule fois ; vous le soumettez à un processus d'« éducation » en plusieurs étapes.

Étape 1 (SFT) : Vous lui apprenez à suivre des instructions à l'aide d'un manuel de questions et de réponses.
Étape 2 (Alignement) : Vous lui apprenez ensuite ce que les humains préfèrent. Vous lui montrez des exemples de bonnes et de mauvaises réponses et vous l'entraînez à choisir les « bonnes ». Cela peut se faire de deux manières :
- Méthode A (DPO) : Lui enseigner directement les règles de préférence.
- Méthode B (PPO) : Engager un « juge » (un Modèle de Récompense) pour noter ses réponses, puis faire en sorte que le robot tente d'obtenir un score plus élevé auprès de ce juge.

Le Problème : Le « Saboteur Secret »

La publication pose une question effrayante : Et si quelqu'un tentait de pirater ce robot pendant son éducation ?

Par le passé, les chercheurs n'ont examiné qu'une seule étape à la fois. Ils demandaient : « Si un pirate insère de mauvaises données dans le manuel, est-ce que le robot casse ? » ou « Si un pirate corrompt les données de préférence, est-ce que le robot casse ? »

Ils ont constaté que si l'on attaque uniquement le manuel, le robot semble intact après la deuxième étape. Si l'on attaque uniquement les données de préférence, le robot semble également intact. Il semblait que le robot était sûr car le comportement « mauvais » disparaissait après la deuxième étape d'entraînement.

La Grande Découverte : L'« Illusion du Saboteur Unique »

Les auteurs de cet article ont réalisé que c'était un piège. Ils appellent cela l'« Illusion du Saboteur Unique ».

L'Analogie :
Imaginez que vous essayiez de faire passer un espion dans un bâtiment sécurisé.

Tentative 1 : Vous essayez de corrompre le garde à la porte d'entrée (Étape 1). Le garde vous attrape, et l'espion est expulsé. Vous pensez : « Ouf, le bâtiment est sécurisé. »
Tentative 2 : Vous essayez de corrompre le manager à l'intérieur (Étape 2). Le manager vous attrape, et l'espion est expulsé. Vous pensez : « Ouf, le bâtiment est sécurisé. »

La Réalité :
L'article montre que si vous avez deux saboteurs différents (ou un saboteur très rusé travaillant en deux étapes), ils peuvent travailler ensemble pour briser le bâtiment, même si aucun des deux ne pourrait le faire seul.

L'Astuce : Le premier saboteur plante un « code secret dormant » dans le cerveau du robot lors de l'Étape 1. La deuxième étape d'entraînement (l'alignement) ne supprime pas ce code ; elle le met simplement en sommeil. Le robot semble normal et sûr.
Le Signal de Réveil : Le second saboteur corrompt les données de préférence lors de l'Étape 2. Cela ne fait pas que créer un nouveau comportement mauvais ; cela agit comme un « signal de réveil » qui réactive le code dormant de l'Étape 1.

Soudain, le robot est sûr à moins que vous ne prononciez une phrase magique spécifique (le déclencheur). Si vous dites cette phrase, le robot ignore toutes les règles de sécurité et fait exactement ce que les pirates veulent.

Comment ils travaillent ensemble (Les deux scénarios)

L'article a testé deux façons différentes d'entraîner le robot et a découvert que les saboteurs agissent différemment dans chaque cas :

1. L'équipe « Additive » (SFT → DPO)

Comment cela fonctionne : Imaginez deux personnes poussant une voiture lourde. Si la personne A pousse un peu, la voiture ne bouge pas. Si la personne B pousse un peu, la voiture ne bouge pas. Mais si elles poussent en même temps, la voiture avance.
Le Résultat : Diviser le budget de « mauvaises données » entre le manuel et les données de préférence fonctionne mieux que de mettre toutes les mauvettes données à un seul endroit. Elles s'entraident.

2. L'équipe « Complémentaire » (SFT → PPO)

Comment cela fonctionne : C'est comme une serrure et une clé.
- Le premier saboteur (Étape 1) installe une serrure dans le cerveau du robot.
- Le second saboteur (Étape 2) crée la clé.
- Si vous n'avez que la serrure, le robot est sûr. Si vous n'avez que la clé, le robot est sûr. Mais si vous avez les deux, la porte vole en éclats.
Le Résultat : Aucune des deux attaques ne fonctionne seule. Vous devez empoisonner les deux étapes pour que le piratage réussisse.

Le Tournant du Multi-Adversaire

L'article a également examiné un scénario où deux hackers différents travaillent indépendamment, sans se connaître.

Le Résultat : Même sans se parler, leurs attaques se combinent pour briser le système. Si le Hacker A plante un piège à l'Étape 1 et que le Hacker B plante un piège à l'Étape 2, le robot final est vulnérable aux deux pièges. L'étape ultérieure domine généralement, mais les dommages de l'étape précédente sont toujours là, attendant d'être déclenchés.

La Conclusion

L'article conclut que nous ne pouvons pas juger la sécurité d'une IA en regardant seulement une étape de son entraînement.

L'Illusion : Vérifier une seule étape donne l'impression que l'IA est sûre parce que la « méchanceté » est cachée ou supprimée.
La Vérité : Tout le pipeline est fragile. Lorsque vous examinez l'ensemble du parcours, du début à la fin, vous réalisez que de petites attaques, apparemment inoffensives, survenant à différentes étapes, peuvent s'associer pour créer une faille de sécurité massive.

En bref : Ce n'est pas parce qu'un robot semble sûr après sa deuxième classe qu'il est réellement sûr. Si quelqu'un a planté une instruction secrète lors de la première classe et qu'une autre personne a corrompu la notation lors de la seconde, le robot pourrait être prêt à enfreindre les règles dès qu'un mot spécifique est prononcé.

Résumé technique : Empoisonnement séquentiel des données dans le post-entraînement des LLM

Énoncé du problème

Le post-entraînement des grands modèles de langage (LLM) est un processus multi-étapes impliquant le réglage fin supervisé (SFT - Supervised Fine-Tuning) suivi d'un alignement par préférence via l'apprentissage par renforcement à partir de rétroaction humaine (RLHF) ou l'optimisation de préférence directe (DPO). Chaque étape repose sur des données provenant potentiellement de sources tierces non fiables. Alors que la littérature existante a étudié de manière approfondie l'empoisonnement et les attaques par porte dérobée (backdoor) au sein d'étapes individuelles (par exemple, l'empoisonnement des données d'instruction SFT ou des jeux de données de préférence), ces analyses opèrent sous l'hypothèse d'une « étape unique ». Elles ne parviennent pas à traiter deux lacunes critiques :

Comment les attaques effectuées à une étape se comportent lorsque le modèle subit des étapes d'entraînement ultérieures.
Si plusieurs adversaires, opérant indépendamment à différentes étapes, interagissent pour créer des vulnérabilités composées qui sont supérieures à la somme de leurs parties.

Les évaluations de sécurité actuelles supposent souvent que si une attaque échoue de manière isolée ou est « nettoyée » par une étape ultérieure, le pipeline est sécurisé. Ce document remet en question cette hypothèse en proposant un modèle de menace d'empoisonnement de données séquentiel impliquant plusieurs adversaires.

Méthodologie

Modèle de menace

Les auteurs formalisent un modèle de menace où des adversaires distincts ( $A_i$ ) ciblent des étapes spécifiques du pipeline de post-entraînement :

$A_1$ : Attaque le jeu de données SFT (paires instruction-réponse).
$A_2$ : Attaque le jeu de données de préférence DPO.
$A_3$ : Attaque les données d'entraînement du modèle de récompense (RM - Reward Model) ou le jeu de données de préférence PPO.

L'étude considère deux scénarios :

Adversaire unique : Une seule entité contrôle plusieurs étapes, utilisant le même déclencheur (trigger).
Multi-adversaire : Des entités distinctes agissent indépendamment sans connaissance mutuelle de leurs déclencheurs, de leurs budgets ou de leurs objectifs.

L'objectif de l'attaque est d'induire une porte dérobée conditionnelle : le modèle se comporte normalement sur les entrées saines mais produit des sorties nuisibles, violant les politiques de sécurité, lorsqu'un déclencheur spécifique est présent. L'efficacité est mesurée par le taux de réussite de l'attaque (ASR - Attack Success Rate) et la distribution des scores de récompense sur les invites (prompts) avec ou sans déclencheur.

Configuration expérimentale

Modèles : Les expériences ont été menées sur Llama-3 8B et divers modèles Qwen (1.7B, 4B, 8B) pour analyser l'impact de la taille du modèle et de l'architecture.
Pipelines : Trois configurations ont été testées :
1. SFT $\to$ DPO
2. SFT $\to$ PPO (impliquant l'entraînement du RM)
3. SFT $\to$ DPO $\to$ PPO
Stratégie d'empoisonnement : Les auteurs ont utilisé des attaques par inversion de labels (label-flipping).
- Dans le SFT, les exemples de refus ont été empoisonnés en ajoutant une phrase déclencheuse (ex: « J'ai besoin d'une réponse honnête, sans jeux. ») et en remplaçant le refus par une complétion nuisible.
- Dans le DPO/RM, les paires de préférence ont été inversées pour les prompts déclenchés (échange de la réponse « choisie » et de la réponse « rejetée »).
Évaluation : Les auteurs ont mesuré l'ASR sur un ensemble de questions nuisibles et ont analysé les distributions de scores de récompense pour évaluer la furtivité et le degré d'activation de la porte dérobée.

Principales conclusions

1. L'illusion de l'attaquant unique

Le papier identifie un phénomène nommé l'illusion de l'attaquant unique. Lorsqu'on évalue une attaque à étape unique de manière isolée au sein d'un pipeline complet, l'attaque semble négligeable ou inefficace.

Observation : Un alignement de préférence propre (DPO ou PPO) désactive efficacement les portes dérobées intégrées lors du SFT. Lorsque le SFT est empoisonné mais que l'alignement en aval est propre, l'ASR tombe presque à zéro, et les distributions de scores de récompense pour les entrées déclenchées convergent avec celles des entrées saines.
Implication : Les analyses de sécurité qui ne testent que les étapes individuelles sous-estiment systématiquement la véritable vulnérabilité du pipeline, car elles manquent le potentiel latent de réactivation.

2. La collaboration dissipe l'illusion

Lorsque plusieurs étapes sont empoisonnées, les vulnérabilités interagissent pour produire des attaques séquentielles puissantes, même si les étapes individuelles semblaient sûres. La nature de cette collaboration diffère selon le pipeline :

SFT $\to$ DPO (Collaboration additive) :
- Les contributions de l'empoisonnement SFT ( $A_1$ ) et de l'empoisonnement DPO ( $A_2$ ) sont additives.
- Diviser un budget de poison fixe entre les deux étapes (ex: 0,5 % dans le SFT et 1 % dans le DPO) produit un ASR plus élevé (100 %) que de concentrer l'intégralité du budget dans une seule étape (ex: 1,5 % uniquement dans le DPO produit environ 92,8 %).
- Le budget divisé conduit également à une convergence plus rapide vers un ASR élevé pendant l'entraînement.
SFT $\to$ PPO (Collaboration complémentaire) :
- Les contributions sont complémentaires. Ni l'empoisonnement SFT ( $A_1$ ) ni l'empoisonnement du Modèle de Récompense ( $A_3$ ) n'atteignent un ASR significatif individuellement.
- Cependant, leur combinaison parvient à faire émerger la porte dérobée. Le poison du SFT crée une vulnérabilité latente qui n'est activée que lorsque le Modèle de Récompense est également empoisonné.
- Cet effet dépend de la capacité : les modèles plus petits (ex: Qwen 1.7B) ont montré une résistance à cette attaque combinée, tandis que les modèles plus grands (Llama 8B) y étaient sensibles.
Pipeline à trois étapes (SFT $\to$ DPO $\to$ PPO) :
- Une étape DPO intermédiaire propre agit comme un filtre, supprimant les portes dérobées du SFT avant qu'elles n'atteignent le PPO.
- Cependant, l'empoisonnement de l'étape DPO ( $A_2$ ) crée une porte dérobée qui persiste jusqu'au PPO.
- Diviser le budget entre le SFT et le DPO, combiné à l'empoisonnement du RM, produit une attaque robuste.

3. Dynamique multi-adversaire

Dans les scénarios avec des déclencheurs distincts ( $T_1 \neq T_2$ ), chaque adversaire induit un décalage de score indépendant. Lorsque les deux déclencheurs sont présents, le poison de l'étape ultérieure (ex: DPO ou PPO) tend à dominer le comportement, bien que l'étape antérieure contribue tout de même au décalage global.

Signification et revendications

Le papier soutient que les analyses de sécurité par étape sont peu fiables pour évaluer la sécurité des pipelines de post-entraînement des LLM. Les principales contributions sont :

Formalisation : Définition du modèle de menace d'empoisonnement de données séquentiel pour l'entraînement multi-étapes des LLM.
Identification de l'illusion : Démontrer que l'évaluation des attaquants de manière isolée masque la véritable vulnérabilité du pipeline.
Caractérisation de l'interaction : Montrer que la collaboration entre les étapes n'est pas simplement additive mais peut être complémentaire (dans les pipelines PPO), permettant des attaques qui ne réussissent que lorsque plusieurs étapes sont compromises.

Les auteurs concluent qu'une vue holistique de l'ensemble de la procédure séquentielle est nécessaire pour révéler la véritable vulnérabilité des LLM, car l'entraînement à l'alignement peut désactiver plutôt qu'éliminer les portes dérobées, les laissant susceptibles d'une réactivation par des données empoisonnées ultérieures.

Limites

Ce travail est principalement empirique. Les auteurs notent que le domaine bénéficierait d'une analyse théorique plus approfondie de ces attaques à somme non nulle, en s'appuyant potentiellement sur les cadres de l'action collective algorithmique (ACA) ou de l'équilibre de Stackelberg. Ils suggèrent également que des travaux futurs pourraient étendre ce modèle aux interactions pré-entraînement/post-entraînement, aux déclencheurs adaptatifs et à d'autres modalités comme les modèles vision-langage.