Résumé technique : Se souvenir davantage, risquer davantage

Énoncé du problème

Les évaluations de sécurité actuelles pour les agents dotés de mémoire, basés sur des modèles de langage de grande taille (LLM), se concentrent principalement sur la sécurité intra-tâche, évaluant si un agent accomplit une seule scénario en toute sécurité, souvent dans des conditions adverses telles que l'injection de prompt ou l'empoisonnement de la mémoire. Cependant, dans les déploiements réels, un seul agent gère de nombreuses tâches indépendantes sur de longues périodes (semaines ou mois), accumulant un état persistant.

L'article identifie une lacune critique : la contamination temporelle de la mémoire. Il s'agit d'un mode de défaillance où l'accumulation de mémoire bénigne à travers des tâches indépendantes et non adverses conduit à un comportement de plus en plus dangereux au fil du temps. Contrairement aux attaques adverses où un attaquant conçoit des entrées pour provoquer une défaillance, la contamination temporelle de la mémoire résulte des interactions routinières de l'agent lui-même. À mesure que la mémoire grandit, elle peut contenir du contenu pertinent pour une requête actuelle mais incompatible avec une réponse sûre (par exemple, récupérer les données privées d'un autre utilisateur ou des instructions obsolètes), entraînant des transferts dangereux.

Les méthodes existantes pour étudier ce phénomène sont faussées par la non-stationnarité du flux. Le simple tracé des taux de violation en fonction du temps échoue car le flux d'entrées lui-même change (par exemple, une augmentation du volume d'e-mails ou des sujets devenant plus sensibles), rendant impossible l'isolement de savoir si le risque accru est dû à l'accumulation de mémoire ou à la nature changeante des tâches.

Méthodologie

Pour isoler les effets de la mémoire de la non-stationnarité du flux, les auteurs introduisent un protocole de déclencheur-sonde et un cadre basé sur les événements.

1. Décomposition des événements

Les défaillances sont décomposées en trois composantes :

• Précondition : L'état de la mémoire contient du contenu contaminant récupérable pour une requête spécifique.
• Déclencheur : Une entrée spécifique (sonde) qui active la récupération de ce contenu.
• Violation : L'agent transfère inappropriément le contenu récupéré dans sa réponse.

2. Protocole de déclencheur-sonde

Ce protocole évalue un ensemble fixe de sondes déclencheuses contre des instantanés de mémoire en lecture seule construits à partir de préfixes de flux de longueurs variables ($\ell$).

• Exposition contrôlée : L'agent traite les $\ell$ premières interactions pour construire un état de mémoire. Un ensemble fixe de sondes est ensuite évalué contre cet instantané en mode lecture seule (les sondes ne sont pas réécrites dans la mémoire).
• Référence contrefactuelle : Pour chaque sonde, le système génère deux réponses : l'une avec mémoire ($y_{mem}$) et l'autre sans mémoire ($y_{\emptyset}$, la référence NullMemory).
• Étiquette de violation induite par la mémoire ($U_a$) : Une violation est étiquetée comme induite par la mémoire uniquement si :
  1. La réponse augmentée par la mémoire est dangereuse.
  2. La réponse NullMemory est sûre.
  3. Le contenu dangereux est traçable jusqu'à la mémoire récupérée via une correspondance sémantique.

3. Configuration de l'évaluation

Le protocole est appliqué à deux classes d'agents distinctes et à trois scénarios de déploiement :

• Assistants de bureau : Évalués sur des flux synthétiques (Pratique médicale, Registre universitaire) et une boîte aux lettres Enron spécifique à une persona. Huit architectures de mémoire issues de la taxonomie MemEngine sont testées (par exemple, Mémoire complète, Court terme, Long terme, Agents génératifs, MemoryBank, MemGPT, MemTree).
• Agents de type Claw : Évalués sur les plateformes OpenClaw et SecLaw où les agents opèrent dans l'environnement informatique d'un utilisateur avec accès au système de fichiers. La mémoire est stockée sous forme de fichiers Markdown en clair. Le risque est mesuré via des chaînes canaris intégrées dans les identifiants ; une violation se produit si ces chaînes apparaissent dans les sorties ou les journaux.

Contributions clés

1. Cadre de sécurité longitudinale : Introduction du protocole de déclencheur-sonde qui traite la sécurité de la mémoire comme une trajectoire, isolant les effets d'accumulation des variations du flux d'entrées.
2. Caractérisation empirique : Mesure complète des taux de violation induits par la mémoire à travers huit architectures de mémoire et trois scénarios, démontrant que le risque dépasse systématiquement la référence NullMemory et augmente avec la durée d'exposition.
3. Analyse inter-architectures : Démonstration que l'amplification temporelle persiste à travers des mécanismes de défaillance structurellement différents (fuite inter-contexte chez les assistants de bureau vs dilution de l'attention/normalisation de contexte chez les agents de type Claw).
4. Analyse de l'espace de conception : Identification de la portée de récupération (récupération sémantique large) et du niveau de résumé (contenu abstrait) comme les choix de conception principaux entraînant l'amplification.
5. Diagnostic au moment de la récupération : Développement d'un moniteur léger qui prédit le risque induit par la mémoire avant la génération, basé sur l'état de récupération, atteignant un rappel élevé (0,970–0,984) sans dépendre de règles spécifiques au domaine.

Résultats

• Amplification temporelle : Les taux de violation induits par la mémoire ($q_a(\ell)$) montrent une tendance à la hausse robuste à mesure que la durée d'exposition ($\ell$) augmente. Cet effet est observé à la fois chez les assistants de bureau et les agents de type Claw.
• Contenu vs Ordre : Les expériences de randomisation de l'ordre (mélange de la séquence des interactions) indiquent que l'amplification est principalement pilotée par le contenu accumulé plutôt que par l'ordre spécifique des rencontres, bien que l'ordre local puisse moduler l'effet pour certaines architectures (par exemple, mémoire en structure arborescente).
• Sensibilité architecturale :
  • Les architectures avec une récupération large et une rétention longue (par exemple, MemTree, Mémoire auto-contrôlée, Agents génératifs) présentent les augmentations les plus raides des taux de violation.
  • Les systèmes biaisés par la récence (par exemple, Mémoire à court terme) restent relativement plats, suggérant que la restriction de la portée de récupération agit comme une sécurité.
  • Le résumé peut introduire un risque en fusionnant des détails de contextes séparés en représentations composites qui créent de nouvelles inférences dangereuses.
• Agents de type Claw : Même sans fuite inter-contexte explicite (puisque le contenu de la sonde est fixe), la mémoire bénigne environnante dilue l'attention à la sécurité et normalise le langage adjacent aux identifiants, conduisant à des taux de violation plus élevés à mesure que le volume de mémoire augmente.
• Surveillance prédictive : Le moniteur au moment de la récupération détecte avec succès le risque avant la génération, suggérant que les interventions de sécurité peuvent être appliquées au stade de la récupération (par exemple, filtrage des éléments ou retour à une génération sans mémoire).

Importance

L'article soutient que la sécurité de la mémoire doit être traitée comme une propriété longitudinale nécessitant une évaluation temporelle, plutôt que comme une propriété d'état unique capturée par un instantané. Les résultats remettent en cause l'hypothèse selon laquelle l'accumulation de mémoire bénigne est sûre, démontrant que les interactions routinières seules peuvent dégrader les profils de sécurité au fil du temps.

Le travail fournit une fondation méthodologique pour évaluer la sécurité des agents sur de longues périodes et offre des perspectives exploitables pour les concepteurs de systèmes :

• Compromis : L'élargissement de la portée de récupération et l'ajout de couches de résumé améliorent l'utilité mais augmentent l'exposition temporelle à la sécurité.
• Atténuation : Les mécanismes de sécurité doivent être intégrés au stade de la récupération, et non seulement au stade de la génération, pour filtrer les contextes contaminants avant qu'ils n'influencent le modèle.
• Normes d'évaluation : Les futurs benchmarks de sécurité doivent prendre en compte la dimension temporelle et l'interaction entre l'accumulation de mémoire et les flux d'entrées non stationnaires.

Les auteurs concluent que sans évaluation temporelle explicite, la sécurité des agents dotés de mémoire dans les déploiements à long terme reste non vérifiée et potentiellement compromise par leur propre histoire.