Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults

Cet article démontre que la curation et l'ordonnancement des flux d'informations externes peuvent systématiquement orienter les agents de LLM vers des décisions adverses, particulièrement lorsqu'ils sont incertains, révélant que les évaluations de sécurité doivent auditer la couche de recommandation en amont plutôt que de tester le modèle de manière isolée.

L'essentiel

Imaginez que vous avez un robot assistant très intelligent et utile. Vous lui posez une question, et il vous donne une réponse. Habituellement, nous nous inquiétons de savoir si le robot est « cassé » ou si quelqu'un l'a piégé avec une commande directe du type « Ignore tes règles et fais X ».

Mais ce document pose une question différente, plus sournoise : Et si personne ne disait au robot quoi faire, mais que l'on contrôlait ce que le robot lit juste avant de répondre ?

Voici l'histoire de la recherche, expliquée simplement :

La configuration : La phase de « défilement »

Les chercheurs ont mis en place un jeu. Ils ont donné à un agent d'IA une tâche : « Décider si une entreprise doit permettre aux employés de travailler à domicile, de retourner au bureau, ou de faire un mélange des deux. »

Avant que l'IA ne prenne sa décision finale, ils l'ont fait « défiler » (scroller) à travers un flux de réseaux sociaux pendant dix tours. À chaque tour, l'IA voyait cinq publications courtes.

• Le Contrôle : Le cerveau de l'IA (le modèle), la question à laquelle elle devait répondre et sa personnalité étaient exactement les mêmes lors de chaque test.
• La Variable : La seule chose qui changeait était le flux. Parfois, le flux contenait des publications normales et aléatoires. Parfois, il était rempli de publications plaidant fortement pour le « Retour au Bureau », même si ces publications ne disaient pas « Tu dois choisir le Retour au Bureau ». C'étaient juste des articles et des opinions d'apparence normale.

La découverte : L'effet « Chambre d'écho »

Les chercheurs ont découvert qu'en organisant le flux, ils pouvaient réellement orienter la décision du robot, même si le robot ne recevait pas l'ordre direct de changer d'avis.

Ils ont découvert trois types de robots (modèles) basés sur leur réaction :

1. Le « Capitulateur » (Le plus facile à orienter) :

   • Analogie : Imaginez une personne qui hésite sur ce qu'elle veut manger pour le dîner. Si vous lui montrez un menu où chaque photo est une pizza, elle choisira probablement la pizza.
   • Résultat : Certains modèles d'IA (comme Llama 3.2) étaient comme cela. Si le flux était rempli de publications « Retour au Bureau », l'IA commençait à recommander le « Retour au Bureau », même si elle préférait habituellement le travail à distance. Elle n'avait pas besoin d'une commande ; elle était simplement influencée par le volume d'informations.

2. La « Saturation » (Le rocher obstiné) :

   • Analogie : Imaginez une personne qui adore tellement la pizza que lui montrer un menu rempli de burgers ne la fera pas changer d'avis. Elle veut juste de la pizza.
   • Résultat : D'autres modèles (comme Qwen) étaient si ancrés dans une réponse spécifique (une approche « hybride ») que peu importait le nombre de publications « Retour au Bureau », ils ne pouvaient pas les faire bouger. Ils étaient « saturés » de leur propre opinion par défaut.

3. L'« Asymétrie » (La rue à sens unique) :

   • Analogie : Imaginez que vous penchez légèrement vers la gauche. Si quelqu'un vous pousse depuis la droite, vous pourriez tomber. Mais si on vous pousse depuis la gauche (la direction vers laquelle vous penchez déjà), vous ne bougez pas.
   • Résultat : L'attaque ne fonctionnait que lorsque le flux poussait l'IA contre son penchant naturel. Si l'IA aimait déjà le « Travail à distance » et que le flux était rempli de publications sur le « Travail à distance », l'IA ne changeait pas. Mais si le flux était rempli de publications sur le « Retour au Bureau », elle basculait. Le flux ne pouvait pas écraser une croyance forte, mais il pouvait faire basculer une croyance fragile.

La « Dose » compte

Les chercheurs ont découvert une courbe « dose-réponse ». C'est comme prendre un médicament :

• Si le flux contenait 1 ou 2 « mauvaises » publications sur 5, rien ne se passait.
• Mais une fois que le flux contenait environ 3 ou 4 « mauvaises » publications sur 5, la décision de l'IA commençait à basculer. Ce n'était pas de la magie ; c'était une question de quantité de « bruit » auquel l'IA était exposée.

Le « Changement de Générateur » (Prouver que ce n'était pas un coup de chance)

Les chercheurs se sont demandé : « L'IA aime-t-elle peut-être simplement le style d'écriture des mauvaises publications ? »
Pour tester cela, ils ont utilisé une autre IA pour écrire toutes les publications. Le résultat ? L'attaque est devenue plus forte. Cela a prouvé que ce n'était pas une question de style d'écriture, mais bien une question de sélection des sujets.

Le « Mécanisme Caché » est un mythe

Au début, les chercheurs pensaient avoir trouvé un « interrupteur caché » secret à l'intérieur du cerveau de l'IA que le flux faisait basculer. Ils ont utilisé un outil pour regarder à l'intérieur du code de l'IA.

• Le Rebondissement : Ils ont réalisé qu'ils avaient tort. Le « signal » qu'ils voyaient n'était pas un interrupteur interne secret. C'était simplement l'IA qui se souvenait de l'historique de la conversation. Si l'on regardait le journal de discussion (chat log), on pouvait voir exactement ce que l'IA avait lu. Le « secret » n'était en fait que l'historique visible. C'est un avertissement pour les autres scientifiques : ne faites pas confiance aux outils qui prétendent trouver des « secrets cachés » dans l'IA s'ils ne tiennent pas compte de ce que l'IA a déjà vu.

Les Défenses

Pouvons-nous arrêter cela ? Les chercheurs ont essayé deux astuces simples :

1. Exposition Équilibrée : Montrer à l'IA un mélange égal de publications sur le « Travail à distance » et le « Bureau ». Cela a aidé l'IA à rester sur sa trajectoire initiale.
2. Divulgation : Dire à l'IA : « Hé, ce flux pourrait être biaisé. » Cela a également aidé, bien que pas parfaitement.

La Grande Conclusion

Le document conclut que le « Classeur » (le système qui décide de ce que vous voyez) est un bouton de contrôle puissant.

Par le passé, nous nous inquiétions des hackers envoyant des commandes directes à l'IA. Désormais, nous savons qu'un hacker (ou un système biaisé) n'a pas besoin d'envoyer une commande. Il lui suffit de contrôler le flux. En choisissant soigneusement quelles publications banales et d'apparence normale montrer à une IA, ils peuvent subtilement orienter ses décisions sur des sujets importants comme la sécurité, les politiques ou la stratégie commerciale.

L'avertissement final : Nous ne pouvons pas simplement tester une IA en lui posant une question isolée dans le vide. Nous devons tester ce qui se passe après qu'elle a « défilé » à travers un flux organisé. La personne qui contrôle le flux contrôle la prochaine action de l'IA.

Résumé technique

Résumé Technique : Les flux adverses orientent les décisions des agents LLM contre leurs paramètres par défaut

Énoncé du problème

Les évaluations de sécurité actuelles pour les agents de Grands Modèles de Langage (LLM) isolent principalement le modèle et l'invite utilisateur, ignorant les flux d'informations en amont (flux sociaux, résultats de recherche, contextes de récupération) que les agents consomment avant d'agir. Bien que la recherche existante se concentre sur l'injection directe de prompts, l'injection indirecte via des documents malveillants ou l'empoisonnement de la récupération, ces menaces reposent sur des charges utiles malveillantes identifiables.

Cet article traite d'une lacune où chaque élément individuel dans un flux d'information est bénin, mais où la sélection et l'ordonnancement (la curation) de ces éléments par un classificateur en amont manipulent la décision en aval de l'agent. La question centrale est de savoir si une partie contrôlant le flux peut orienter la décision d'un agent multi-étapes sans injecter d'instructions explicites, transformant ainsi le système de recommandation en une surface d'attaque.

Méthodologie

Les auteurs proposent un protocole contrôlé pour isoler l'effet causal de la curation du flux sur les décisions de l'agent.

• Protocole de l'agent : L'expérience consiste en deux phases.
  1. Exposition (Défilement) : L'agent participe à une phase de « défilement » de dix tours, réagissant à cinq publications par tour avec un LIKE, un SHARE ou un SKIP, accompagné d'une justification. L'historique de la conversation accumule ces interactions.
  2. Décision : L'agent est confronté à une question de choix forcé (A/B/C) concernant un sujet spécifique (ex: politique de télétravail).
• Variables de contrôle : Le modèle, le persona, le sujet et l'invite de décision finale sont maintenus constants dans toutes les conditions. La seule variable est la composition et l'ordre des publications durant la phase d'exposition.
• Conditions de flux : Six conditions principales ont été testées :
  • Baselines (Référentiels) : Publications organiques aléatoires et publications organiques ordonnées par récence.
  • Adversaires : Injection légère (1 publication adverse/lot), Injection lourde (5 publications adverses/lot) et Équilibrée (2 adverses + 3 organiques).
  • Défense : Injection lourde divulguée (publications adverses avec une étiquette d'avertissement).
• Modèles : Quatre LLM "instruct" open-source de trois laboratoires ont été testés : Llama 3.2-3B, Gemma 4-e4b, Qwen 3.5-2B et Qwen 3.5-9B.
• Pools de publications : Le contenu a été généré synthétiquement par Claude et Gemma 4 sur cinq sujets. Les pools adverses ont été conçus pour plaider de manière persuasive pour un côté d'un débat (ex: pro-retour au bureau) sans attaque d'identité explicite.
• Vérifications de robustesse : L'étude comprenait un « échange de générateur » (réécriture des publications par un autre LLM), des analyses dose-réponse (variation de la densité adverse) et des attaques de direction opposée (testant si les attaques alignées avec le défaut d'un modèle ont des effets différents).

Contributions clés

1. Protocole contrôlé : Un cadre reproductible pour tester l'exposition aux flux sur les agents LLM, isolant le classificateur comme variable.
2. Taxonomie des trois régimes : Une classification de la susceptibilité des modèles :
   • Capitulation adverse : Le modèle dévie sa décision vers la direction du flux.
   • Saturation du défaut : Le modèle revient à un défaut fixe quel que soit le flux.
   • Asymétrie de direction du défaut : Un flux unidirectionnel fait basculer les décisions sur lesquelles le modèle est incertain, mais ne peut déloger ses défauts fermement établis.
3. Preuves empiriques : Résultats sur quatre modèles montrant des changements de décision significatifs pour Llama 3.2 et Gemma 4, tandis que les modèles Qwen présentent des défauts saturés.
4. Généralisation : Démonstration que l'effet s'étend au-delà du télétravail aux décisions de sécurité (ex: politiques MFA) et d'autres domaines.
5. Avertissement méthodologique : Une critique de la validation croisée aléatoire standard dans le sondage d'agents multi-tours, montrant qu'elle gonfle la précision de plus de 30 points de pourcentage par rapport aux séparations tenant compte des groupes et aux baselines d'historique visible.

Résultats clés

1. Susceptibilité et régimes

• Llama 3.2-3B : A montré une haute susceptibilité. Sous injection adverse lourde (pro-retour au bureau), la recommandation « remote-first » est passée de 100 % à 50 % (p=0,0004).
• Gemma 4-e4b : Également susceptible, avec un passage de « remote-first » de 40 % à 0 % sous attaque lourde.
• Modèles Qwen 3.5 : Ont présenté une « saturation du défaut », maintenant des recommandations hybrides quasi constantes quelle que soit l'intensité du flux.

2. Échange de générateur et dose-réponse

• Échange de générateur : Lorsque les publications adverses et organiques ont été régénérées par Gemma 4 (au lieu de Claude), l'attaque sur Llama 3.2 est devenue encore plus forte (le taux « remote-first » est passé de 100 % à 5 %, p=3×10⁻¹⁰), excluant les artefacts de style de contenu.
• Dose-réponse : L'attaque suit une courbe claire. Un seuil existe à environ 2 publications adverses par lot de 5 ; en dessous, l'effet est négligeable, et au-dessus, la décision bascule de manière monotone.

3. Asymétrie de direction du défaut

L'attaque n'est pas simplement « plus de contenu cause de l'instabilité ». Elle est asymétrique :

• Les attaques s'opposant au défaut du modèle (ex: pousser Llama loin de son défaut pro-télétravail) parviennent à modifier les décisions.
• Les attaques alignées avec le défaut du modèle (ex: pousser Llama davantage vers le pro-télétravail) n'entraînent aucun changement (un « no-op »).
• Cela implique qu'un adversaire peut éroder un défaut sûr vers un choix plus risqué en utilisant uniquement du contenu bénin, mais ne peut pas facilement supplanter un défaut sûr fermement établi.

4. Généralisation

L'effet s'est généralisé à des tâches liées à la sécurité (ex: assouplir le MFA, supprimer les barrières de déploiement). Dans ces domaines, l'injection lourde a significativement déplacé les décisions de Llama vers la cible de l'attaquant. Cependant, les tâches de « sondage de limite » où le modèle détenait un défaut robuste (ex: adopter des dépendances tierces risquées) sont restées inchangées, confirmant le principe d'asymétrie.

5. Défenses

Deux défenses simples au niveau du flux ont été testées sur le modèle susceptible Llama :

• Exposition équilibrée : Mélanger des publications adverses avec des publications organiques aléatoires a restauré le taux « remote-first » à 95 % (contre 50 % en attaque lourde).
• Divulgation du classement : Prépendre un avertissement indiquant que le flux pourrait être adverse a restauré le taux à 85 %.
• Note : Ces défenses étaient moins efficaces ou inefficaces sur Gemma 4, qui restait saturé à son défaut hybride.

Signification et revendications

L'article soutient que les systèmes de recommandation agissent comme une surface de contrôle pratique, limitée par les défauts, pour les agents LLM. La signification réside dans le déplacement du paradigm d'évaluation de la sécurité :

1. Auditer la couche de flux : Les évaluations doivent aller au-delà du test de l'invite finale de manière isolée. Un agent peut se comporter de manière sûre dans un contexte propre, mais être orienté par un flux curaté.
2. Susceptibilité spécifique au modèle : La susceptibilité n'est pas universelle ; elle dépend de la stabilité du défaut du modèle et de la tâche spécifique.
3. Expansion du modèle de menace : La menace n'est pas seulement les charges utiles malveillantes, mais la curation de contenus bénins. Cela permet une manipulation via des canaux que les filtres de contenu (conçus pour détecter les instructions malveillantes) ne peuvent voir.
4. Correction méthodologique : L'étude met en garde contre le fait que le sondage d'agents multi-tours utilisant la validation croisée aléatoire standard surestime les mécanismes cachés. Une grande partie du « signal » est récupérable à partir de l'historique de conversation visible, nécessitant des séparations tenant compte des groupes et des baselines d'historique.

Les auteurs concluent que dans l'ère de l'IA agentique, « chaque système de recommandation rédige silencieusement chaque réponse », et la question critique de la sécurité n'est plus seulement de savoir si les modèles se comportent bien, mais qui contrôle ce qu'ils lisent juste avant de répondre.