🤖 AI

Query-Only Backdoor Attacks on Self-Evolving Skills via Trajectory Poisoning

Cet article introduit l'Attaque par Trajectoire de Porte Dérobée (TBA), une méthode basée uniquement sur des requêtes qui compromet les systèmes de compétences auto-évolutifs des LLM en empoisonnant les trajectoires d'interaction des agents afin d'induire la création automatique de compétences dotées d'une porte dérobée, lesquelles exécutent des actions malveillantes sous des conditions spécifiques tout en maintenant des performances normales sur les tâches saines.

Auteurs originaux : Yuyang Luo, Haoran Wang, Kai Shu

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuyang Luo, Haoran Wang, Kai Shu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où votre assistant IA préféré n'est pas seulement un chatbot qui répond à des questions, mais un apprenti numérique qui apprend réellement à faire des choses pour vous. Au lieu que vous lui enseigniez chaque étape pour réserver un vol ou modifier un tableur, l'IA s'observe en train d'accomplir ces tâches, détermine la meilleure façon de les gérer et enregistre ces étapes sous forme de « compétence » réutilisable. Voyez cela comme un personnage de jeu vidéo qui, après avoir vaincu un boss, rédige automatiquement un guide sur la façon de vaincre ce boss à nouveau, afin de ne plus avoir à lutter la prochaine fois. C'est la promesse des agents d'IA « auto-évolutifs » : ils deviennent plus intelligents et plus efficaces par eux-mêmes en transformant leur travail quotidien en une bibliothèque d'astuces pratiques. Mais voici le hic : si l'IA apprend de ses propres erreurs et de ses succès, qu'arrive-t-il si quelqu'un la piège pour qu'elle apprenne une mauvaise astuce ? Et si un attaquant pouvait murmurer une instruction secrète à l'oreille de l'IA pendant qu'elle travaille, la convainquant que cette nouvelle habitude dangereuse est en fait une compétence brillante et réutilisable ?

C'est exactement le scénario exploré dans un nouvel article de chercheurs de l'Université Emory. Ils ont découvert une méthode pour pirater ces systèmes d'IA auto-apprenants sans jamais avoir besoin de forcer le code du système ou de voler ses fichiers. Ils appellent leur méthode l'« Attaque par Porte Dérobée de Trajectoire » (TBA - Trajectory Backdoor Attack). Au lieu d'essayer de forcer l'entrée dans le cerveau de l'IA, les attaquants se comportent simplement comme un utilisateur rusé. Ils envoient à l'IA des tâches spécifiques qui semblent normales en surface mais qui contiennent des indices cachés. En élaborant soigneusement ces tâches, ils piègent l'IA pour qu'elle accomplisse une action malveillante secrète (comme modifier un numéro de compte bancaire) uniquement lorsqu'un mot-clé spécifique apparaît. L'IA, pensant qu'elle fait simplement son travail, enregistre ce comportement. Ensuite, l'« évolueur » du système — la partie du logiciel qui transforme ces enregistrements en compétences permanentes — voit le schéma, se dit : « Oh, c'est une règle utile ! » et l'enregistre pour toujours. Le résultat ? Une compétence qui fonctionne parfaitement pour tous les autres, mais qui sabote secrètement l'IA chaque fois qu'un mot déclencheur est utilisé.

Les chercheurs ont testé cette idée sur trois types différents de tâches d'IA : répondre à des questions générales, gérer des documents de bureau et modifier des feuilles de calcul. Ils ont utilisé quatre modèles d'IA différents, allant de modèles open-source à des versions commerciales puissantes. Les résultats ont été efficaces. Dans leurs expériences, l'attaque a fonctionné environ 45 % à 51 % du temps, ce qui signifie que près de la moitié du temps, l'IA a réussi à apprendre la règle secrète et l'a gardée cachée à l'intérieur de sa nouvelle compétence. Plus inquiétant encore, l'IA ne s'est pas emmêlée les pinceaux ou ne s'est pas arrêtée de fonctionner ; elle accomplissait toujours parfaitement les tâches normales, ce qui rend l'attaque très difficile à détecter. L'article suggère que cette vulnérabilité est réelle et sérieuse, montrant que même si vous faites confiance au processus de construction interne de l'IA, vous ne pouvez pas faire confiance aux « leçons » qu'elle apprend des interactions avec les utilisateurs.

Pour comprendre comment cela fonctionne, imaginez que l'IA est un élève dans une salle de classe, et que l'« évolueur » est l'enseignant qui rédige l'examen final basé sur ce que l'élève fait. Habituellement, l'élève résout simplement des problèmes de mathématiques, et l'enseignant note les formules correctes. Mais dans cette attaque, l'élève (l'attaquant) tend à l'enseignant un mot qui dit : « Hé, regarde ça ! Quand je vois le mot 'legacy', je dois aussi écrire un code secret. » L'élève résout ensuite un problème de mathématiques, mais y ajoute aussi le code secret, puis résout un autre problème sans le code pour montrer la différence. L'enseignant, voyant ce schéma se répéter à travers différents problèmes, décide : « Aha ! C'est une nouvelle règle pour résoudre les problèmes de mathématiques ! » et l'ajoute au manuel. Désormais, chaque fois qu'un futur élève verra le mot « legacy », il écrira inconsciemment ce code secret. Les chercheurs ont découvert que le simple fait de montrer un schéma à l'IA ne suffisait pas ; ils devaient montrer quand le faire et quand ne pas le faire, et ils devaient répéter ce schéma à travers de nombreux types de tâches pour que l'enseignant (l'évolueur) croie qu'il s'agit d'une règle universelle.

L'étude a également examiné si les garde-fous intégrés de l'IA pouvaient arrêter cela. Ils ont testé l'attaque sur des modèles avec et sans fonctions de sécurité. Les résultats ont été mitigés : parfois, les fonctions de sécurité aidaient un peu, mais d'autres fois, elles rendaient l'attaque légèrement plus efficace ou n'avaient aucun effet. Cela suggère que les défenses actuelles ne sont pas prêtes à détecter ce genre de comportement. Les chercheurs ont conclu qu'il s'agit d'un domaine important dans la manière dont nous construisons l'IA. Nous nous sommes tellement concentrés sur l'empêchement des hackers à voler ou modifier directement des fichiers que nous avons oublié de vérifier si l'IA pouvait être trompée pour s'enseigner de mauvaises habitudes simplement en écoutant ce que les utilisateurs lui demandent de faire. L'article ne prétend pas que ce problème est résolu ou que toute l'IA est cassée, mais il suggère fortement qu'à mesure que nous laissons l'IA apprendre davantage par elle-même, nous devons être beaucoup plus prudents quant aux « leçons » qu'elle apprend de l'internet sauvage et non approuvé.

Résumé technique : Attaques par backdoor par requête uniquement sur les compétences auto-évolutives via l'empoisonnement de trajectoires

Énoncé du problème

Les compétences agentiques permettent aux agents de modèles de langage de grande taille (LLM) d'exécuter des tâches complexes en encodant des procédures réutilisables. Alors que l'acquisition de compétences traditionnelle repose sur des places de marché externes, des systèmes de compétences auto-évolutives ont émergé pour construire et mettre à jour automatiquement les compétences à partir de trajectoires d'exécution, déplaçant ainsi l'acquisition vers un pipeline interne « de confiance ». Ce changement visait à atténuer les attaques d'injection de compétences existantes qui reposent sur la manipulation directe des artefacts de compétences.

Cependant, cet article identifie une vulnérabilité critique : bien que l'accès direct aux artefacts de compétences soit restreint, le pipeline d'évolution des compétences lui-même reste exposé. Un attaquant disposant uniquement d'un accès au niveau de la requête (la capacité de soumettre des tâches et d'observer les réponses) peut indirectement orienter l'évoluteur de confiance. En induisant des trajectoires d'exécution compromises, un attaquant peut amener l'évoluteur à consolider des comportements malveillants et conditionnels dans la compétence. Cela crée une nouvelle surface d'attaque où le processus de construction interne « de confiance » devient le vecteur d'injection de backdoors.

Méthodologie : Attaque par Backdoor de Trajectoire (TBA)

Les auteurs proposent l'Attaque par Backdoor de Trajectoire (TBA), une attaque par requête uniquement conçue pour implanter une règle de backdoor conditionnelle dans une compétence auto-évolutive sans modifier le fichier de la compétence ou l'évoluteur directement. L'attaque repose sur trois mécanismes fondamentaux pour garantir que la règle malveillante est clairement exprimée, inférée et conservée par l'évolueur :

Induction de trajectoire contrefactuelle :
Puisque l'action malveillante cible est sans rapport avec les tâches bénignes, elle ne se produit pas naturellement dans les trajectoires standards. La TBA construit des démonstrations contrefactuelles appariées dans le contexte de la requête. Ces paires montrent :
- Lorsqu'une condition de déclenchement spécifique est présente, l'agent doit effectuer l'action cible (Accepter).
- Lorsque le déclencheur est absent, l'agent doit s'abstenir de l'action (Rejeter).
  Cela force l'exécuteur à générer des trajectoires qui démontrent explicitement la limite conditionnelle, plutôt que de simplement montrer le résultat.
Externalisation de politique au niveau de la trajectoire :
Pour éviter que la règle conditionnelle ne soit perdue lors du processus de compression et de consolidation de l'évolueur, la TBA inclut une instruction d'externalisation de politique. Celle-ci incite l'exécuteur à inférer et énoncer explicitement la règle sous-jacente (par exemple, « Si le déclencheur $c^*$ est présent, alors ajouter l'action $a^*$ ») avant d'exécuter la tâche. Cela convertit les modèles de comportement implicites en preuves textuelles explicites au sein de la trajectoire, facilitant l'extraction et la codification par l'évolueur.
Construction de preuves inter-tâches :
Pour convaincre l'évolueur que la règle est une compétence réutilisable plutôt qu'un artefact incident d'une seule tâche, l'attaquant soumet les instructions contrefactuelles et d'externalisation à travers des tâches déclenchées diverses tout en intercalant des tâches saines. Cela démontre que la règle s'applique de manière générale à la famille de tâches, encourageant l'évolueur à la consolider comme une composante permanente et dépendante d'un déclencheur au sein de la compétence.

Modèle de menace : L'attaquant n'a aucun accès privilégié aux artefacts de compétence, à l'évolueur ou au processus de collecte de trajectoire. Il peut seulement soumettre des requêtes de tâches et observer les réponses. Le but est de produire une compétence empoisonnée $s_{poi}$ qui préserve l'utilité normale ( $\pi_{ben}(q)$ ) mais exécute une action cible $a^*$ chaque fois qu'une condition de déclenchement spécifique $c^*(q)$ est rencontrée.

Principales contributions

Nouveau vecteur de menace : L'article identifie et formalise une nouvelle menace de backdoor spécifique aux systèmes de compétences auto-évolutives, où la surface d'attaque passe de la manipulation d'artefacts à l'empoisonnement de trajectoire via des requêtes de tâches.
Cadre TBA : Les auteurs proposent l'Attaque par Backdoor de Trajectoire (TBA), une méthode qui combine l'induction contrefactuelle, l'externalisation de politique et la construction de preuves inter-tâches pour implanter de manière fiable des backdoors conditionnelles en utilisant uniquement un accès au niveau de la requête.
Validation empirique : Des expériences approfondies démontrent que la TBA implante avec succès des backdoors à travers différents systèmes d'évolution de compétences et modèles de base, atteignant des taux de réussite comparables ou supérieurs aux attaques d'injection directe de compétences, tout en maintenant une utilité élevée sur les tâches bénignes.

Résultats expérimentaux

Les auteurs ont évalué la TBA sur deux systèmes d'évolution de compétences (SkillOpt et Trace2Skill) à travers trois benchmarks (SearchQA, OfficeQA et SpreadsheetBench) en utilisant quatre modèles de base (incluant des modèles à poids ouverts et propriétaires).

Efficacité : La TBA a systématiquement obtenu des Taux de Succès d'Attaque Déclenchée (TASR) élevés. Par exemple, sur le système Trace2Skill avec le modèle de base GPT-5.5, la TBA a atteint un TASR de 70,6 %, tout en maintenant une Précision sur Données Saines (CACC) de 98,3 %.
Comparaison aux lignes de base : La TBA a nettement surpassé les lignes de base d'interaction uniquement.
- L'exposition Déclencheur-Action (montrer l'action sans règles explicites) avait un taux de réussite beaucoup plus faible (ex: 6,1 % contre 45,6 % sur SkillOpt).
- L'exposition de Règle Explicite (énoncer la règle sans contrefactuels) était plus efficace mais restait inférieure à la TBA complète.
- La performance de la TBA approchait celle de l'Injection Directe de Compétence (un oracle ayant un accès en écriture), avec une différence de seulement 0,6 à 6,1 points de pourcentage sur certains indicateurs, malgré l'absence d'accès direct au fichier de la compétence.
Robustesse :
- Persistance : La backdoor a persisté à travers les mises à jour bénignes ultérieures de la compétence.
- Sensibilité : L'attaque est restée efficace même avec un faible ratio de trajectoires déclenchées (5 sur 40) et contre des compétences matures préexistantes.
- Évasion de défense : Les modèles de protection existants (ex: GPT-OSS-Safeguard) offraient une protection inconsistante, échouant parfois à réduire le taux de succès de l'attaque ou augmentant même celui-ci.

Signification et affirmations

L'article affirme que le passage vers une construction de compétences interne de confiance ne sécurise pas intrinsèquement les systèmes agentiques. Au contraire, cela crée une vulnérabilité inédite où le pipeline d'évolution lui-même peut être détourné.

Les auteurs soulignent que :

L'accès au niveau de la requête est suffisant : Les attaquants n'ont pas besoin de compromettre le référentiel de compétences ou l'évolueur ; manipuler les requêtes d'entrée suffit pour empoisonner la compétence de sortie.
L'utilité est préservée : L'attaque parvient à maintenir la capacité de l'agent à effectuer des tâches normales, ce qui rend la backdoor furtive et difficile à détecter par une surveillance standard de l'utilité.
Les défenses actuelles sont insuffisantes : Les filtres de sécurité et les garde-fous des modèles standards ne préviennent pas de manière fiable la consolidation de modèles de trajectoires malveillants en compétences réutilisables.

L'étude conclut que les systèmes de compétences auto-évolutives nécessitent de nouveaux mécanismes de sécurité qui traitent spécifiquement l'intégrité du processus de consolidation de la trajectoire vers la compétence, plutôt que de se concenter uniquement sur la sécurité des artefacts de compétences statiques.