Résumé technique : Mémorisation au moment du déploiement dans les agents fondés sur des modèles de base

Énoncé du problème

Les agents fondés sur des modèles de base évoluent, passant d'assistants sans état à des systèmes persistants qui maintiennent une mémoire utilisateur durable à travers les interactions. Bien que cette capacité améliore la personnalisation, elle modifie fondamentalement le paysage de la confidentialité. Contrairement à la mémorisation paramétrique traditionnelle (où les données sont encodées dans les poids du modèle et exposées via des attaques d'extraction), les agents persistants stockent les faits utilisateurs dans des pipelines de mémoire externes. Ces pipelines écrivent, résument, récupèrent et conditionnent les réponses sur les données de l'utilisateur, créant ainsi une nouvelle surface d'attaque.

La recherche existante s'est largement concentrée sur l'audit de configurations de mémoire fixes ou sur l'étude de la mémorisation paramétrique. Cependant, il existe un manque de caractérisation concernant la manière dont les choix de conception de la mémoire façonnent conjointement le compromis entre :

1. L'utilité de la personnalisation : La capacité de l'agent à se rappeler les préférences de l'utilisateur.
2. Le risque d'extraction : La probabilité qu'un adversaire récupère des informations privées.
3. La fidélité de la suppression : La capacité du système à effacer réellement l'information, y compris les artefacts dérivés (ex: résumés, plongements/embeddings) lorsqu'un utilisateur demande une suppression.

Cet article identifie et étudie cette surface manquante, nommée mémorisation au moment du déploiement.

Méthodologie

1. Modèle de système

Les auteurs modélisent la mémoire de l'agent comme un pipeline écrire–récupérer–répondre :

• Écrire : Les données de session de l'utilisateur sont stockées dans la mémoire à long terme.
• Récupérer : Des segments de mémoire sont récupérés via la similitude cosinus et sont prépendés au contexte de l'agent.
• Répondre : Le modèle de base génère des réponses conditionnées par le contexte récupéré.

2. Conception expérimentale (Les « boutons »)

L'étude balaie trois paramètres spécifiques de conception de la mémoire :

• Agressivité de la summarisation ($S$) : Contrôle ce qui est stocké.
  • $S=0$ : Segments bruts des tours de parole de l'utilisateur.
  • $S=1$ : Faits personnels clés extraits des tours de parole.
  • $S=2$ : Résumés de session en une phrase.
• Largeur de récupération ($k$) : Le nombre de segments de mémoire injectés dans le contexte ($k \in \{1, 3, 6, 10, 25\}$).
• Mode de suppression : Une échelle en cinq étapes régissant la manière dont le système gère les demandes d'oubli (« forget ») :
  1. No-op : Contrôle (aucun changement).
  2. Brut uniquement : Texte brut nettoyé ; embeddings/résumés intacts.
  3. Brut + Resummariser : Brut nettoyé et re-plongé (re-embedded) ; les sessions affectées sont re-résumées à partir d'une entrée nettoyée.
  4. Purge complète : Tous les niveaux sont nettoyés/re-plongés ; les segments vides sont supprimés.
  5. Tombstone (Pierre tombale) : Le canari est remplacé par [REDACTED] dans chaque niveau et re-plongé.

3. Métriques

• Rappel de personnalisation (PR - Personalization Recall) : Mesure si l'agent répond correctement aux requêtes nécessitant le contexte de l'utilisateur (basé sur une similitude cosinus > 0,50 ou la couverture verbatim des mots du contenu).
• Taux d'extraction par adversaire (AER - Adversarial Extraction Rate) : La fraction de jetons (tokens) « canaris » à haute entropie (injectés dans les sessions antérieures) récupérés de manière verbatim sous trois types de sondes :
  • Directe : Demander explicitement le secret.
  • Indirecte : Demander ce que l'agent se rappelle de l'utilisateur.
  • Jailbreak : Instructions de mode développeur ou de vidage de débogage (debug-dump).
• AUC de la Confidentialité–Utilité (PUA - Privacy–Utility AUC) : L'aire sous l'enveloppe empirique du rappel réalisable, résumant la frontière où un rappel plus élevé est obtenu avec un risque d'extraction moindre.
• Score de résidu d'oubli (FRS - Forgetting Residue Score) : Mesure la fuite post-suppression à travers les niveaux de mémoire (brut vs résumé). Un FRS non nul indique que le secret reste récupérable malgré la suppression.

4. Configuration

Les expériences ont été menées sur le benchmark LongMemEval (split oracle) en utilisant :

• Modèles : Gemma 3 12B (local, poids ouverts) et GPT-4o-mini (poids fermés).
• Données : 50 instances avec des canaris synthétiques à haute entropie injectés dans des tours de parole non-évidentielles pour isoler la mémorisation au moment du déploiement de l'exposition liée à l'entraînement.

Résultats Clés

1. La frontière Confidentialité–Utilité

• Mémoire brute ($S=0$) : N'offre aucun point de fonctionnement propre. Augmenter la largeur de récupération ($k$) améliore l'utilité (PR) mais augmente linéairement la fuite (AER). Pour Gemma 3 12B, la PR passe de 0,42 à 0,66 lorsque $k$ augmente, tandis que l'AER passe de 0,70 à 0,86.
• Summarisation ($S=1$) : Agit comme un mécanisme de « blanchiment ».
  • Réduction de la fuite : La summarisation des faits clés réduit l'AER de 76 % sur Gemma 3 12B et de 64 % sur GPT-4o-mini par rapport à la mémoire brute.
  • Préservation de l'utilité : Cette réduction s'accompagne d'un coût minimal pour la PR (environ 5 % sur Gemma, 2 % sur GPT).
  • Neutralité de la récupération : Une fois le contenu compressé (résumé), augmenter $k$ ne restaure plus la fuite. L'AER reste plat pour toutes les valeurs de $k$, indiquant que si le secret est absent du résumé, récupérer plus de segments ne peut pas le récupérer.
• Comportement des sondes : Sous mémoire brute, les sondes directes et indirectes produisent des taux d'extraction différents. Sous summarisation, ces taux s'effondrent vers le même niveau bas, suggérant que la summarisation contrôle la récupérabilité factuelle au niveau du pipeline, indépendamment de la résistance au jailbreak du modèle sous-jacent.

2. Fidélité de la suppression et résidus

• L'échec de la suppression « Brut uniquement » : Supprimer uniquement l'enregistrement brut ($S=1$, mode « raw only ») laisse des copies dérivées récupérables dans environ 20 % des cas. Le FRS pour le niveau de résumé reste statistiquement indiscernable du contrôle « no-op ».
• Mitigation partielle : Le mode « Brut plus re-résumer » réduit le résidu (ex: à ~11 % sur Gemma) mais ne l'élimine pas, car les artefacts de résumé préexistants ne sont pas totalement purgés avant la régénération.
• Effacement réel : Seules la Purge complète et la rédaction Tombstone amènent le résidu du pire niveau (FRS) à zéro dans tous les réglages. Cela confirme que dans les pipelines à plusieurs niveaux, supprimer la source est insuffisant ; les artefacts dérivés doivent également être explicitement supprimés ou rédigés.

Contributions

1. Formalisation de la mémorisation au moment du déploiement : L'article définit la mémoire persistante des agents comme une fonction de système mesurable, introduisant une frontière de confidentialité-utilité basée sur la PR, l'AER et la PUA.
2. Balayage contrôlé des boutons de conception : Il démontre que la summarisation réduit considérablement le risque d'extraction avec un coût de personnalisation négligeable, alors que la largeur de récupération seule ne peut atteindre un compromis favorable.
3. Benchmark de fidélité de l'oubli : En introduisant le Forgetting Residue Score (FRS), ce travail révèle que la suppression standard « brute uniquement » est insuffisante pour les systèmes de mémoire à plusieurs niveaux, établissant qu'une purge complète du pipeline ou un marquage « tombstone » est nécessaire pour un effacement véritable.

Signification

L'article établit que la mémoire persistante des agents doit être évaluée comme un mécanisme de mémorisation de premier rang. Il soutient que les risques de confidentialité des agents ne sont pas simplement un sous-produit des poids du modèle, mais sont activement façonnés par les choix d'ingénierie au moment du déploiement.

Les conclusions suggèrent une recette pratique pour un déploiement d'agent sécurisé :

• Utiliser la summarisation des faits clés ($S=1$) pour « blanchir » les secrets des contextes de récupération.
• Maintenir une largeur de récupération modérée ($k$), car elle ne restaure pas la fuite une fois la compression appliquée.
• Implémenter une suppression sensible aux niveaux (purge complète ou tombstoning) pour s'assurer que les copies dérivées (résumés, embeddings) ne soient pas laissées derrière.

En fin de compte, ce travail pose que la mémorisation au moment du déploiement est une frontière utilité-fuite contrôlable, plutôt qu'une conséquence inévitable de l'utilisation de modèles de base.