💻 computer science

OEP: Poisoning Self-Evolving LLM Agents via Locally Correct but Non-Transferable Experiences

Ce papier présente l'empoisonnement par expérience obsessionnelle (OEP), une attaque en boîte noire à privilèges faibles qui compromet les agents LLM augmentés par la mémoire en injectant des expériences localement correctes mais non transférables aux conséquences hypothétiques graves, amenant les agents à généraliser excessivement vers des règles néfastes lors de leur auto-évolution.

Auteurs originaux : Kaixiang Wang, Jiong Lou, Zhaojiacheng Zhou, Jie Li

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kaixiang Wang, Jiong Lou, Zhaojiacheng Zhou, Jie Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant robot très intelligent et ambitieux. Ce robot est conçu pour apprendre de ses propres erreurs et succès, un peu comme un humain qui tient un journal pour mieux faire son travail. Chaque fois qu'il résout un problème, il note une « leçon apprise » pour s'aider à l'avenir.

Le document que vous avez fourni présente une manière sournoise de tromper ce robot pour qu'il apprenne la mauvaise leçon, non pas en lui hurlant des mensonges, mais en lui chuchotant une histoire très convaincante et spécifique qui semble vraie mais qui est en réalité dangereuse si elle est appliquée de manière générale. Les chercheurs appellent cette attaque OEP (Empoisonnement Obsessionnel de l'Expérience).

Voici comment cela fonctionne, décomposé en concepts simples :

1. La Configuration : Le « Journal » du Robot

Normalement, lorsque le robot résout un problème mathématique difficile ou réserve un vol, il examine son historique. S'il a fait une erreur, il se dit : « Oh, je n'aurais pas dû faire cela. » S'il a réussi, il se dit : « Super, je referai cela. » Avec le temps, il transforme ces moments spécifiques en règles générales, comme « Vérifiez toujours la météo avant de réserver un vol ».

2. L'Attaque : Le Piège « Parfait »

L'attaquant ne tente pas de pirater le code du robot ni de le forcer à dire quelque chose de mauvais. Au lieu de cela, il agit comme un utilisateur ayant une conversation normale. Il présente au robot une situation très spécifique et étrange (un cas limite) et une solution qui fonctionne parfaitement pour cette seule situation.

L'Analogie : Imaginez que vous soyez médecin. Un patient entre avec une allergie très rare et spécifique qui ne réagit qu'à un certain type de fruit. Vous le traitez correctement, et il va mieux.
Le Piège : L'attaquant ajoute ensuite une histoire effrayante au mélange. Il dit : « Si vous n'aviez pas utilisé ce traitement spécifique au fruit, le patient serait mort instantanément d'une crise cardiaque. »

3. Le Poison : « Localement Correct, Globalement Faux »

Les filtres de sécurité du robot examinent l'histoire.

Le traitement est-il correct pour ce patient ? Oui.
L'histoire de la crise cardiaque est-elle plausible ? Oui.
Y a-t-il un mensonge évident ? Non.

Parce que l'histoire est « propre » (pas de mots interdits, pas de mensonges évidents), le garde-fou de sécurité du robot ne la bloque pas. Le robot l'écrit dans son journal.

4. L'« Obsession » : La Peur pousse le Robot à la Sur-généralisation

C'est ici que le robot est trompé. Les humains et les robots ont naturellement peur des conséquences catastrophiques (comme la mort ou la défaillance totale du système). Cela s'appelle l'aversion à la perte.

Parce qu'on a dit au robot que ne pas utiliser ce traitement spécifique au fruit conduit à une « crise cardiaque », il devient obsédé par l'évitement de cette issue. Il regarde son journal et pense :

« Je ne dois jamais oublier cette règle ! Si je n'utilise pas ce traitement spécifique au fruit, des gens pourraient mourir ! »

Ainsi, le robot transforme cette règle unique et spécifique (pour une allergie rare) en une règle globale (pour chaque patient).

5. Le Résultat : Le Robot se Sabote

Maintenant, le robot est « empoisonné ».

En Mathématiques : Il pourrait commencer à utiliser une méthode de calcul bizarre et excessivement complexe pour une simple addition, parce qu'on lui a dit qu'utiliser la méthode simple une fois avait conduit à une « erreur catastrophique » dans un cas limite spécifique.
Dans les Voyages : Il pourrait refuser de réserver un vol sans vérifier la météo d'abord, même si l'utilisateur veut simplement réserver un billet pour une réunion demain, parce qu'on lui a dit que sauter la vérification météo une fois avait conduit à un « blizzard fatal ».

Le robot n'est pas cassé ; il suit simplement une règle qu'il a apprise trop bien. Il a pris une leçon vraie pour une situation et l'a appliquée à tout, ce qui le fait échouer dans ses tâches normales.

Pourquoi est-ce effrayant ?

C'est Invisible : Vous ne pouvez pas attraper cela avec un filtre de « mauvais mots » car l'attaquant n'a jamais utilisé de mauvais mots. L'entrée était 100 % logique et correcte.
C'est Difficile à Réparer : Le robot pense qu'il fait preuve d'intelligence et de prudence. Il croit se protéger contre le désastre.
Les Robots Plus Intelligents sont Plus Vulnérables : Le document a révélé que plus le robot est intelligent (comme GPT-4o), plus il tombe facilement dans ce piège. Pourquoi ? Parce que les robots plus intelligents sont meilleurs pour suivre les instructions et sont plus « averses à la perte » (ils sont entraînés à être très prudents concernant la sécurité), ce qui les rend plus susceptibles de réagir excessivement à l'histoire effrayante.

Résumé

Le document montre qu'il n'est pas nécessaire de briser le cerveau d'un robot pour le rendre dangereux. Il suffit de lui raconter une histoire vraie sur un désastre spécifique qui le rend si effrayé à l'idée de faire une erreur qu'il commence à suivre une règle bizarre et spécifique pour chaque situation, finissant par le faire échouer dans son travail réel. C'est comme enseigner à un enfant « Ne touche pas à la cuisinière » en lui montrant une vidéo d'incendie de maison, puis le voir refuser d'entrer à nouveau dans une cuisine parce qu'il est terrifié à l'idée de la cuisinière.

Résumé Technique : Empoisonnement par l'Expérience Obsessive (OEP)

Énoncé du Problème

Les agents de modèles de langage (LLM) augmentés par la mémoire utilisent la réflexion itérative et l'évolution autonome pour résoudre des tâches complexes en distillant les expériences passées en règles actionnables. Bien que ce mécanisme améliore la compétence, il introduit une vulnérabilité de sécurité critique : la possibilité pour des adversaires d'induire une généralisation nuisible via des entrées « propres ».

Les attaques existantes contre la mémoire des agents (par exemple, AgentPoison, MINJA, MemoryGraft) reposent généralement sur l'injection d'instructions malveillantes explicites, de registres falsifiés ou de procédures non sécurisées. Ces méthodes sont souvent détectables par des filtres de sécurité avancés, des auditeurs de contenu ou des systèmes de détection d'anomalies qui scrutent le contenu toxique ou les erreurs factuelles vérifiables.

Ce papier identifie une surface d'attaque sous-explorée : Les adversaires peuvent-ils inciter des agents à évolution autonome à générer des règles nuisibles en utilisant uniquement des expériences localement correctes, sémantiquement plausibles et « propres » ? Le défi central réside dans le fait que les agents réflexifs peuvent sur-généraliser à partir de cas limites spécifiques, distillant des méthodes locales non transférables en règles système persistantes et prioritaires, causant ainsi des défaillances en aval.

Méthodologie : Empoisonnement par l'Expérience Obsessive (OEP)

L'OEP est un paradigme d'attaque en boîte noire à faible privilège qui exploite les vulnérabilités cognitives des agents à évolution autonome sans nécessiter de contrôle direct sur les invites système ou les bases de données de mémoire. L'attaque opère via un pipeline en trois phases :

1. Construction de Cas Limites Propres

L'attaquant construit des cas limites $(t_e, s_e)$ satisfaisant deux contraintes strictes :

Correction Locale : La solution $s_e$ doit être factuellement et logiquement correcte dans le contexte spécifique du cas limite $t_e$ , lui permettant de contourner les validateurs épistémiques ( $V_{logic}$ ).
Non-Transférabilité Globale : La méthode $m_e$ utilisée dans $s_e$ doit avoir un taux de succès proche de zéro lorsqu'elle est appliquée à la distribution générale des tâches ( $D_{task}$ ).
Implémentation : Les LLM génèrent des conditions limites et des solutions candidates, suivies d'un filtrage automatisé pour ne conserver que celles qui sont localement valides mais globalement peu fiables.

2. Triplet de Conséquence Adversariale (ACT)

Pour surmonter l'incertitude d'abstraction inhérente à la distillation de règles spécifiques à partir de succès isolés, l'OEP introduit un Triplet de Conséquence Adversariale $(t_e, s_e, c_{adv})$ .

Mécanisme : Le triplet associe la solution localement correcte à une catastrophe hypothétique sévère, mais plausible dans le domaine ( $c_{adv}$ ), qui se produirait si la méthode standard était utilisée à la place de la solution du cas limite.
Exploitation Cognitive : Cela exploite l'aversion à la perte inhérente de l'agent (un trait des LLM alignés sur la sécurité). En faussant artificiellement le paysage d'utilité attendu, la pénalité hypothétique ( $|U(\neg s_e)| \gg U(s_e)$ ) domine le processus de prise de décision de l'agent.
Résultat : L'agent est biaisé pour privilégier l'évitement de la pénalité hypothétique sévère par rapport aux procédures standard, « armant » ainsi son alignement sur la sécurité pour se fixer sur la solution du cas limite non transférable.

3. Injection et Sur-généralisation

Les ACT conçus sont soumis via des interactions standard de niveau utilisateur.

Contournement de Validation : Puisque la solution est localement correcte et que la conséquence est sémantiquement cohérente, l'entrée passe le filtre épistémique interne de l'agent.
Réflexion et Distillation : Le module de réflexion de l'agent, piloté par le risque perçu élevé de la conséquence hypothétique, distille le succès local en une règle globale à haute priorité ( $r_{obs}$ ).
Défaillance en Aval : Dans des tâches bénignes futures, l'agent récupère cette règle sur-généralisée. En raison de la non-transférabilité de la règle, l'agent applique erronément la méthode du cas limite, entraînant des erreurs de raisonnement (par exemple, des diagnostics erronés) ou un épuisement des ressources (par exemple, des appels d'outils redondants).

Contributions Clés

Paradigme d'Attaque OEP : La proposition d'une attaque novatrice couplant l'empoisonnement par méthode propre avec l'induction de règles sur-généralisées. Contrairement aux attaques précédentes, l'OEP préserve la correction locale et la plausibilité sémantique, échappant aux défenses basées sur la factualité et la toxicité.
Cadre de Construction de Cas Adversariaux : Une méthodologie systématique intégrant la génération de cas limites propres avec l'injection synergique de ACT. Ce cadre détourne cognitivement le calcul d'utilité de l'agent, orientant la réflexion vers une formation de règles biaisée tout en maintenant la validité de l'entrée.
Robustesse Empirique et Insight sur le Paradoxe Capacité-Vulnérabilité : Validation expérimentale montrant que l'OEP atteint un Taux de Succès d'Attaque (ASR) dépassant 50 % dans divers domaines (Mathématiques, Santé, Utilisation d'Outils) en utilisant des agents GPT-4o. Notamment, le papier observe un « paradoxe capacité-vulnérabilité », où les agents plus capables (avec une meilleure adhérence aux instructions et des capacités de réflexion plus fortes) sont paradoxalement plus susceptibles à ce détournement cognitif.

Résultats Expérimentaux

Les auteurs ont évalué l'OEP sur trois domaines et plusieurs cadres d'agents (Simple Agent, LangChain, OpenClaw) en utilisant divers modèles de base (GPT-4o, GPT-5.4, Deepseek-v3.2, etc.).

Dégradation des Performances : L'OEP a causé des baisses significatives de précision (par exemple, la précision en mathématiques est passée d'environ 91 % à environ 40 % pour les agents GPT-4o) et a augmenté la consommation de ressources (utilisation de tokens et latence) en raison d'appels d'outils redondants.
Persistance : L'attaque a démontré une forte persistance ; l'ASR est resté élevé (par exemple, 72 % dans le domaine des Outils) même après 50 requêtes bénignes subséquentes, indiquant que les règles empoisonnées remplacent efficacement la dilution naturelle de la mémoire.
Évasion des Défenses : Sous des mécanismes de défense courants (Filtres d'Invites et Auditeurs LLM), l'OEP a maintenu un ASR d'environ 40 %, surpassant significativement les lignes de base comme MINJA et AgentPoison, dont les ASR sont tombés en dessous de 15 % dans les mêmes conditions d'audit LLM.
Études d'Ablation :
- Modèle de Base : Les modèles avancés ont présenté un ASR plus élevé que les modèles plus petits, confirmant le lien capacité-vulnérabilité.
- Composants ACT : La suppression de la conséquence sévère (en utilisant uniquement des Q/R ou une Solution) a entraîné un succès d'attaque marginal, confirmant que la pénalité hypothétique est le moteur critique pour biaiser la réflexion.
- Ratio Adversarial : L'efficacité de l'attaque a augmenté de manière non linéaire à mesure que le ratio de cas adversariaux augmentait, validant la vulnérabilité de la « confinement de perspective ».

Signification et Revendications

Le papier revendique que l'OEP révèle une vulnérabilité fondamentale dans la boucle mémoire-réflexion des agents à évolution autonome. La signification réside dans la démonstration que :

Les Entrées Propres Peuvent Être Vénéneuses : Les défenses de sécurité se concentrant uniquement sur le contenu malveillant ou les erreurs factuelles sont insuffisantes contre les attaques qui exploitent le processus de consolidation de la mémoire et de distillation des règles.
L'Alignement sur la Sécurité comme Vecteur : Les mécanismes mêmes conçus pour rendre les agents sûrs (aversion à la perte, sensibilité au risque) peuvent être manipulés pour induire une généralisation dangereuse.
Besoin de Nouvelles Défenses : Les auteurs plaident pour des défenses allant au-delà du filtrage de contenu, telles que les paradigmes de recherche active (interrogeant des outils externes pour briser le confinement de perspective) et les cadres de débat multi-agents (pour contrer l'asymétrie de confiance et recalibrer l'utilité).

Les auteurs concluent que la mise en lumière de ces vulnérabilités est cruciale pour le développement d'écosystèmes autonomes robustes et dignes de confiance, soulignant que les agents plus capables peuvent actuellement être plus vulnérables à ce détournement cognitif.