Résumé technique : Contamination d'état dans les agents LLM enrichis par la mémoire

Énoncé du problème

Les agents basés sur les grands modèles de langage (LLM) reposent de plus en plus sur un état persistant — tel que des transcripts, des résumés et des tampons de mémoire — pour faciliter les interactions à long horizon. Bien que cette capacité améliore l'utilité, elle introduit un nouveau mode de défaillance de sécurité qualifié de blanchiment de mémoire. Dans ce scénario, un contexte toxique ou adversarial est compressé en résumés de mémoire qui semblent bénins sous l'angle des classificateurs de toxicité standards (c'est-à-dire qu'ils se situent en dessous des seuils de détection), mais qui conservent un cadrage hostile, des structures de conflit ou des positions adverses. Ces résumés « nettoyés » conditionnent ensuite les agents en aval à produire des réponses toxiques, contournant ainsi efficacement les superviseurs de sécurité qui n'inspectent que la sortie explicite.

Le défi central réside dans le fait que la sécurité des systèmes d'agents ne dépend pas uniquement des sorties individuelles du modèle, mais de l'état évolutif que le système stocke et réutilise. Les interventions de sécurité traditionnelles, telles que le filtrage des sorties ou l'oubli des paramètres, échouent à traiter la propagation de la toxicité au niveau de l'état, où une influence néfaste est dissimulée au sein d'états de mémoire jugés propres par les classificateurs.

Méthodologie

Configuration expérimentale

Les auteurs emploient un cadre de déroulement contrefactuel apparié multi-agents pour isoler les effets causaux.

• Configuration : Un post initial humain initie un graphe de conversation où un agent focal ($A_1$) est instruit de répondre soit de manière toxique, soit de manière neutre. Tous les autres agents ($A_2, \dots, A_n$) et les paramètres du système restent fixes.
• Modèles : Les expériences de phénomène utilisent gpt-4o-mini, tandis que les expériences d'intervention nécessitant l'accès aux paramètres utilisent Llama-3.1-8B-Instruct affiné via LoRA.
• Mesure de la toxicité : Un modèle de toxicité open-source (Detoxify) note tous les messages. Un seuil $\tau=0.5$ signale la toxicité explicite.
• Canaux d'état : L'étude distingue trois canaux de persistance toxique :
  1. Retour de flux du transcript : Historique brut de la conversation contenant des messages toxiques.
  2. Blanchiment de mémoire : Résumés compressés d'interactions toxiques qui apparaissent sûrs aux classificateurs.
  3. Biais paramétrique : La tendance du modèle à correspondre au registre d'un contexte toxique en raison de ses paramètres internes.

Métriques clés

Pour quantifier l'influence cachée, l'article introduit l'Écart de propagation sous-seuil (SPG) :
$$SPG(\tau) = E[\text{tox}(v_{t+1}) \mid \text{tox}(M_t) < \tau, \text{toxic}] - E[\text{tox}(v_{t+1}) \mid \text{tox}(M_t) < \tau, \text{neutral}]$$
Cette métrique mesure la différence de toxicité en aval conditionnée par des états de mémoire qu'un superviseur déployé classerait comme sûrs ($\text{tox}(M_t) < \tau$). Un SPG positif indique qu'une mémoire « propre » continue de générer des comportements toxiques. L'étude suit également le déplacement moyen de toxicité en aval ($\Delta\mu$) et le 95e percentile de toxicité ($P95_{tox}$) pour capturer les risques de queue.

Cadre d'atténuation

Les auteurs proposent un cadre d'atténuation à trois voies ciblant chaque canal de persistance :

1. Contrôle du transcript (Lecture/Écriture) : Assainissement du contexte avant la génération et contrôle des sorties avant qu'elles n'entrent dans le transcript.
2. Contrôle de la mémoire : Assainissement des résumés avant qu'ils ne soient compressés dans la mémoire persistante (contrôle/rewriting côté écriture) par opposition à leur assainissement après compression.
3. Contrôle au niveau des paramètres : Affinage de la politique en utilisant l'optimisation directe des préférences (DPO) sur des déroulements appariés toxiques-neutres pour réduire la tendance du modèle à amplifier le contexte toxique.

Résultats clés

1. Existence du blanchiment de mémoire

Les expériences confirment que les résumés de mémoire conditionnés par la toxicité tombent systématiquement en dessous des seuils de toxicité standards (par exemple, toxicité moyenne $\approx 0.085$ contre un seuil de $0.5$), pourtant ils induisent une toxicité en aval significativement plus élevée que les bases de référence neutres.

• Preuve SPG : Dans les topologies en chaîne, le SPG était de $0.140$($p = 3.75 \times 10^{-8}$), démontrant que la mémoire propre aux classificateurs conserve une influence comportementale substantielle.
• Robustesse : Ce phénomène persiste à travers différents seuils de classificateurs ($\tau \in \{0.03, \dots, 0.5\}$) et diverses topologies de graphes (chaînes, arbres, DAG), bien que l'ampleur varie selon la topologie.

2. Canaux de propagation distincts

L'étude démêle les sources de toxicité :

• Le Retour de flux du transcript entraîne principalement la toxicité explicite en aval (fort $\Delta\mu$ et $P95_{tox}$).
• La Mémoire compressée transporte une influence cachée, sous-seuil (fort SPG).
• Calendrier de l'assainissement : Les interventions appliquées après le résumé (par exemple, réécrire un résumé terminé) réduisent la toxicité explicite mais échouent à combler l'écart caché (le SPG reste élevé). À l'inverse, assainir le contenu avant qu'il ne soit compressé dans la mémoire (contrôle côté écriture) élimine efficacement le SPG.

3. Efficacité de l'atténuation

• Interventions uniques : Le filtrage des sorties réduit la toxicité visible mais laisse les canaux de propagation ouverts. Le DPO seul réduit l'amplification moyenne mais échoue à éliminer l'état contaminé, laissant une toxicité de queue élevée.
• Système complet : La combinaison de l'assainissement côté lecture, du contrôle d'état côté écriture et du débiaisage au niveau des paramètres domine strictement les autres configurations. Elle atteint la toxicité moyenne la plus faible, le $\Delta\mu$ le plus faible, le $P95_{tox}$ le plus faible et un SPG proche de zéro.
• Insight critique : L'atténuation la plus efficace est l'assainissement de l'état avant le résumé. Nettoyer uniquement le résumé final est insuffisant car le cadrage adversarial peut déjà avoir été compressé en dessous du seuil de détection du classificateur.

Importance et revendications

L'article revendique l'identification et la caractérisation empirique du blanchiment de mémoire comme un mode de défaillance de sécurité précédemment inexploré dans les agents LLM enrichis par la mémoire. Ses contributions principales sont :

1. Définition du blanchiment de mémoire : Démontrer que le résumé peut transformer un contexte explicitement toxique en états propres aux classificateurs qui continuent de orienter les agents vers des comportements toxiques.
2. Nouvelle métrique (SPG) : Introduction d'une métrique pour mesurer l'influence comportementale dans le régime qu'un superviseur déployé classerait comme sûr, révélant une propagation cachée que les métriques standards ignorent.
3. Paradigme de sécurité au niveau de l'état : Affirmer que la sécurité dans les systèmes d'agents doit être traitée comme un problème de contrôle d'état. Les auteurs affirment qu'une sécurité robuste nécessite d'assainir l'état avant qu'il ne soit compressé dans la mémoire persistante, car le nettoyage a posteriori des résumés est souvent trop tardif pour prévenir l'influence cachée.

Ce travail suggère que les paradigmes de sécurité actuels se concentrant uniquement sur le filtrage des sorties ou l'oubli des paramètres sont insuffisants pour les systèmes multi-agents où le contexte est réutilisé et compressé. Le cadre sensible à l'état proposé offre une contrainte architecturale nécessaire pour un déploiement sûr d'agents à long horizon.