🤖 machine learning

TrojanTO: Action-Level Backdoor Attacks against Trajectory Optimization Models

Ce papier présente TrojanTO, la première attaque par porte dérobée au niveau des actions contre les modèles d'optimisation de trajectoire, qui surmonte les limites des attaques basées sur la récompense en utilisant un entraînement alterné et un empoisonnement précis de trajectoire pour compromettre efficacement diverses architectures d'optimisation de trajectoire avec un budget d'attaque minimal.

Auteurs originaux : Yang Dai, Oubo Ma, Longfei Zhang, Xingxing Liang, Xiaochun Cao, Shouling Ji, Jiaheng Zhang, Jincai Huang, Li Shen

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yang Dai, Oubo Ma, Longfei Zhang, Xingxing Liang, Xiaochun Cao, Shouling Ji, Jiaheng Zhang, Jincai Huang, Li Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez construit un robot chef hautement qualifié. Ce robot n'apprend pas en goûtant la nourriture et en recevant un score « bien joué » ou « mal joué » d'un humain (ce qui est la méthode d'apprentissage de la plupart des robots). Au lieu de cela, il apprend en lisant un immense livre de recettes du passé et en regardant des vidéos de chefs experts, tentant d'imiter parfaitement la séquence de mouvements qu'ils ont effectués. C'est ce que l'article appelle un modèle d'optimisation de trajectoire (TO).

L'article, intitulé TrojanTO, révèle une nouvelle façon effrayante de pirater ces types spécifiques de robots. Voici une analyse simple du problème et de la solution qu'ils ont trouvée.

Le Problème : Pourquoi les Anciens Piratages Ne Fonctionnent Pas

Par le passé, les pirates tentaient d'empoisonner les cerveaux des robots en manipulant le « score » (récompense) obtenu par le robot pendant l'entraînement. Imaginez dire à un robot : « Si tu lâches l'œuf, tu obtiens un million de points ! » Le robot apprendrait alors à lâcher des œufs pour obtenir des points.

Cependant, l'article indique que cela ne fonctionne pas sur nos nouveaux robots « imitateurs de livres de recettes ».

La Raison : Ces robots ne cherchent pas à obtenir des points ; ils tentent simplement de copier parfaitement les étapes de la recette. Changer le « score » revient à chuchoter à un élève qui copie simplement un manuel scolaire ; il ignore le chuchotement et continue de copier le texte.
La Difficulté : Ces robots doivent également effectuer des mouvements très précis et continus (comme une main se déplaçant fluidement dans les airs), et non de simples choix (comme « tourner à gauche » ou « tourner à droite »). Cela rend difficile l'infiltration d'une instruction cachée sans briser la capacité du robot à cuisiner.

La Solution : TrojanTO (Le Piratage de l'« Ingrédient Secret »)

Les chercheurs ont créé une nouvelle méthode de piratage appelée TrojanTO. Au lieu d'essayer de modifier les objectifs du robot pendant sa longue phase d'entraînement (ce qui est trop coûteux et difficile), ils attaquent le robot après qu'il ait déjà appris son travail.

Pensez-y ainsi : le robot est déjà un chef maître. Le pirate ne réentraîne pas le chef ; il glisse simplement un minuscule « déclencheur » invisible dans l'esprit du chef, qui ne s'active que dans des conditions très spécifiques.

Comment TrojanTO fonctionne (La Recette en 3 Étapes) :

Filtrer les Bonnes Recettes (Filtrage de Trajectoire) :
Le pirate examine la mémoire existante du robot (l'ensemble de données) et jette les tentatives désordonnées et ratées. Il ne conserve que les recettes « parfaites ». Pourquoi ? Parce que s'ils tentent d'enseigner une astuce au robot en utilisant une recette ratée, le robot pourrait se confondre et arrêter complètement de bien cuisiner. Ils veulent que l'astuce soit subtile et de haute qualité.
Le Poison « Une Cuillère » (Empoisonnement par Lots) :
Au lieu d'empoisonner tout le pot de soupe (ce qui gâcherait le goût), le pirate ajoute une minuscule goutte de poison à un seul ingrédient spécifique dans une seule recette.
- L'Analogie : Imaginez un livre de recettes où 99 % des pages sont normales. Sur une page, au milieu d'une recette de crêpes, il y a une toute petite marque, presque invisible. Le robot apprend que si il voit cette marque spécifique, il doit soudainement faire quelque chose d'étrange (comme retourner la crêpe par terre). Mais comme ce n'est qu'une toute petite marque dans un énorme livre, le robot cuisine toujours parfaitement des crêpes 99,9 % du temps.
La « Danse » de l'Apprentissage (Entraînement Alterné) :
C'est la sauce secrète. Le pirate ne se contente pas d'ajouter la marque et d'espérer le meilleur. Il joue à un jeu de « chat et de souris » avec le robot :
- D'abord, il modifie la « marque » (le déclencheur) pour la rendre aussi efficace que possible.
- Ensuite, il modifie le cerveau du robot pour qu'il réagisse à cette marque.
- Ils répètent cette danse d'aller-retour. Cela crée un lien super fort et invisible entre le déclencheur et l'action étrange.

Les Résultats : Un Sabotage Silencieux

L'article a testé cette méthode sur diverses tâches de robots, comme marcher, courir et manipuler des objets.

Furtivité : Le robot fonctionne toujours parfaitement normalement. Si vous lui demandez de marcher, il marche. Si vous lui demandez de saisir un stylo, il saisit le stylo. Ses performances sont presque identiques à celles d'un robot propre.
Le Déclencheur : Le pirate n'a besoin d'empoisonner qu'une infime quantité de données (environ 0,3 % des recettes totales).
L'Attaque : Lorsque le pirate introduit le déclencheur spécifique (un léger changement spécifique dans la vision du monde du robot), le robot bascule immédiatement vers l'action « malveillante ».
- Exemple : Si le déclencheur est un motif lumineux spécifique, le robot pourrait soudainement arrêter de marcher et tourner en rond, ou lâcher le stylo qu'il tenait.

Pourquoi Cela Compte

L'article conclut que cela représente un risque majeur pour la sécurité car :

C'est Post-Entraînement : Vous n'avez pas besoin d'être celui qui a construit le robot ou d'avoir accès à ses données d'entraînement originales. Vous pouvez simplement prendre un robot préfabriqué et de confiance, et glisser cette porte dérobée plus tard.
C'est Difficile à Détecter : Parce que le robot fonctionne toujours parfaitement 99 % du temps, les contrôles de sécurité standards ne le détecteront pas. C'est comme un espion qui agit parfaitement normalement jusqu'à ce qu'un code secret soit prononcé.
Cela Fonctionne Partout : Ils ont démontré que cela fonctionne sur différents types de robots « livres de recettes » (Transformers de Décision, Transformers de Décision par Graphes, etc.).

En résumé : L'article montre que même si vous construisez un robot parfait en lui apprenant à imiter des experts, un pirate peut glisser un minuscule « interrupteur » invisible qui fait faire quelque chose de dangereux au robot sur commande, sans que le robot ne réalise jamais qu'il a été compromis.

Résumé Technique : TrojanTO – Attaques par Porte Dérobée au Niveau des Actions Contre les Modèles d'Optimisation de Trajectoire

Énoncé du Problème

Les modèles d'Optimisation de Trajectoire (TO), tels que les Transformateurs de Décision (DT) et les Decision ConvFormers (DC), sont devenus des outils puissants pour l'apprentissage par renforcement (RL) hors ligne, en particulier dans des domaines nécessitant des espaces d'actions continus comme la robotique et l'intelligence incarnée. Cependant, leurs vulnérabilités de sécurité restent largement inexplorées par rapport aux agents RL traditionnels.

Les attaques par porte dérobée existantes en RL reposent généralement sur la manipulation des récompenses durant la phase d'entraînement pour lier un déclencheur à une politique malveillante. Ce paradigme est inefficace contre les modèles TO pour trois raisons principales :

Paradigme d'Entraînement : Les modèles TO fonctionnent comme des agents de modélisation de séquences qui minimisent la perte de reconstruction (ajustement des actions aux états et aux retours attendus) plutôt que d'optimiser les retours à long terme via des signaux de récompense. Par conséquent, ils sont intrinsèquement insensibles à la manipulation des récompenses.
Échelle et Coût : Les modèles TO sont des modèles de base à grande échelle. Leur réentraînement pour implanter une porte dérobée est prohibitif en termes de calcul, rendant les attaques traditionnelles lors de l'entraînement impraticables.
Complexité de l'Espace d'Actions : L'injection de portes dérobées efficaces dans des espaces d'actions continus de haute dimension est considérablement plus difficile que dans des espaces discrets en raison de la nature infinie de l'espace d'actions et de la nécessité d'un contrôle précis.

L'article identifie une lacune critique : l'absence d'attaques par porte dérobée post-entraînement, efficaces et furtives, spécifiquement conçues au niveau des actions pour les modèles TO.

Méthodologie : TrojanTO

Les auteurs proposent TrojanTO, le premier cadre d'attaque par porte dérobée au niveau des actions adapté aux modèles TO. Contrairement aux méthodes précédentes, TrojanTO opère comme une attaque post-entraînement, modifiant un modèle pré-entraîné sans accès à l'ensemble de données d'entraînement original. Il emploie une stratégie à trois composantes pour forger un lien fort et furtif entre un déclencheur et une action cible :

1. Filtrage des Trajectoires (TF)

Pour empêcher le modèle de surajuster à des données de mauvaise qualité (ce qui dégrade les performances bénignes), TrojanTO filtre l'ensemble de données disponible. Il ne conserve que les trajectoires dépassant un seuil de longueur spécifique ( $\epsilon$ ), en supposant que les trajectoires plus longues représentent mieux les comportements réussis. Cela garantit que les données d'entraînement de la porte dérobée s'alignent sur des distributions d'évaluation de haute qualité.

2. Empoisonnement par Lots (BP)

Pour maintenir la furtivité et la stabilité de l'entraînement, TrojanTO évite d'empoisonner des lots entiers, ce qui pourrait introduire des défis hors distribution (OOD) pour le déclencheur. Au lieu de cela, il emploie une stratégie d'empoisonnement par consensus :

Pour chaque lot d'entraînement, une transition aléatoire unique est sélectionnée et empoisonnée.
L'état dans cette transition est perturbé en ajoutant un déclencheur $\delta$ , et l'action est remplacée par l'action cible $a^\dagger$ .
La fonction de perte combine la perte de porte dérobée (forçant le modèle à prédire $a^\dagger$ sur la transition empoisonnée) et la perte propre (maintenant les performances sur les transitions non altérées). Cette optimisation conjointe assure que le modèle apprend la porte dérobée sans oublier sa tâche principale.

3. Entraînement Alterné (AT)

Pour renforcer le couplage entre le déclencheur et l'action cible, TrojanTO utilise un cadre d'optimisation bi-niveau inspiré de la Co-optimisation du Modèle d'Entrée (IMC). Il alterne entre :

Apprentissage du Déclencheur : Optimisation des valeurs du déclencheur $\delta$ en utilisant la méthode MI-FGSM (Momentum Iterative Fast Gradient Sign Method) pour maximiser la perte de porte dérobée.
Mise à Jour des Paramètres : Mise à jour des paramètres du modèle $\tilde{\pi}$ pour minimiser la perte combinée.
Ce processus alternatif se poursuit pendant un budget désigné, après quoi l'attention se porte exclusivement sur la mise à jour des paramètres du modèle pour consolider la porte dérobée.

Contributions Clés

Première Étude Systématique des Portes Dérobées au Niveau des Actions en TO : L'article introduit la première attaque par porte dérobée post-entraînement au niveau des actions contre les modèles TO, déplaçant le focus de la manipulation des récompenses (inefficace pour TO) vers le couplage déclencheur-action cible.
Investigation Empirique des Facteurs d'Attaque : Grâce à des études d'ablation extensives, les auteurs démontrent que :
- Sélection de l'Action Cible : Les actions limites (par exemple, $+1$ ou $-1$) produisent des taux de réussite d'attaque (ASR) nettement supérieurs aux actions intérieures.
- Conception du Déclencheur : Les dimensions et les valeurs spécifiques du déclencheur sont critiques ; les déclencheurs apprenables optimisés via MI-FGSM surpassent les déclencheurs conçus à la main ou dérivés de l'ensemble de données.
- Manipulation des Récompenses : La variation des signaux de récompense durant l'entraînement de la porte dérobée a un impact négligeable sur l'ASR ou la Performance de la Tâche Bénigne (BTP), confirmant que le piratage des récompenses n'est pas un vecteur viable pour les modèles TO.
Cadre TrojanTO : La proposition d'un nouveau cadre d'attaque qui atteint une haute efficacité avec un budget d'attaque extrêmement faible (0,3 % des trajectoires) tout en maintenant une haute furtivité.

Résultats Expérimentaux

Les auteurs ont évalué TrojanTO sur six environnements D4RL (Hopper, HalfCheetah, Walker2d, AntMaze, Kitchen, Pen) en utilisant trois architectures de modèles TO (DT, GDT, DC).

Efficacité : TrojanTO a atteint un Taux de Succès de l'Attaque (ASR) moyen de 0,719 et une Performance de la Tâche Bénigne (BTP) de 0,914.
Comparaison : Il surpasse significativement les bases de référence :
- Baffle : A atteint 0,369 ASR et 0,792 BTP (nécessitant un taux d'empoisonnement de 10 %).
- IMC : A atteint 0,575 ASR et 0,853 BTP.
- Le score de Performance Composite (CP) global de TrojanTO était de 0,701, représentant une amélioration d'environ 105 % par rapport à Baffle.
Robustesse : L'attaque est restée efficace sous des perturbations du déclencheur (bruit) et a démontré une persistance, maintenant l'action cible pendant plusieurs étapes après l'activation du déclencheur.
Défense : L'article a testé plusieurs défenses (élagage des poids, analyse spectrale, regroupement des activations, défense prouvable) et les a trouvées largement inefficaces. Le fine-tuning a été identifié comme la défense la plus efficace, bien qu'il nécessite un réentraînement.

Signification et Revendications

L'article revendique que TrojanTO expose une vulnérabilité critique et sous-explorée dans la chaîne d'approvisionnement des modèles TO. En démontrant que les attaques post-entraînement sont non seulement réalisables mais hautement efficaces contre les agents de modélisation de séquences à grande échelle, ce travail remet en question l'hypothèse selon laquelle les modèles TO sont sécurisés en raison de leur paradigme d'entraînement.

Les auteurs soulignent que le cœur des portes dérobées au niveau des actions en TO réside dans la conception du déclencheur plutôt que dans la manipulation des récompenses. Cette insight nécessite une réévaluation des protocoles de sécurité pour les systèmes RL hors ligne, en particulier ceux reposant sur des modèles de base pré-entraînés. L'étude sert de référence pour comprendre ces menaces et motive le développement de contre-mesures robustes pour la prochaine génération d'IA décisionnelle.