Resumen Técnico: Memorización en el Tiempo de Despliegue en Agentes de Modelos Fundacionales

Declaración del Problema

Los agentes de modelos fundacionales están evolucionando de asistentes sin estado a sistemas de larga duración que mantienen una memoria de usuario persistente a través de las interacciones. Si bien esta capacidad mejora la personalización, altera fundamentalmente el panorama de la privacidad. A diferencia de la memorización paramétrica tradicional (donde los datos se codifican en los pesos del modelo y se exponen mediante ataques de extracción), los agentes persistentes almacenan hechos del usuario en canales de memoria externos. Estos canales escriben, resumen, recuperan y condicionan las respuestas basándose en los datos del usuario, creando una nueva superficie de ataque.

La investigación existente se ha centrado principalmente en auditar configuraciones de memoria fijas o en estudiar la memorización paramétrica. Sin embargo, existe una falta de caracterización sobre cómo las elecciones de diseño de la memoria moldean conjuntamente el compromiso entre:

1. Utilidad de Personalización: La capacidad del agente para recordar las preferencias del usuario.
2. Riesgo de Extracción: La probabilidad de que un adversario recupere información privada.
3. Fidelidad de Eliminación: La capacidad del sistema para borrar verdaderamente la información, incluyendo los artefactos derivados (por ejemplo, resúmenes, embeddings) cuando un usuario solicita la eliminación.

Este artículo identifica y estudia esta superficie faltante, denominada memorización en el tiempo de despliegue.

Metodología

1. Modelo del Sistema

Los autores modelan la memoria del agente como un canal de escribir–recuperar–responder:

• Escribir (Write): Los datos de la sesión del usuario se almacenan en la memoria a largo plazo.
• Recuperar (Retrieve): Los fragmentos de memoria se recuperan mediante similitud de coseno y se anteponen al contexto del agente.
• Responder (Respond): El modelo fundacional genera respuestas condicionadas al contexto recuperado.

2. Diseño Experimental (Los "Mandos")

El estudio realiza un barrido de tres parámetros específicos de diseño de memoria:

• Agresividad de Resumen ($S$): Controla qué se almacena.
  • $S=0$: Turnos de usuario en bruto.
  • $S=1$: Hechos personales clave extraídos de los turnos.
  • $S=2$: Resúmenes de sesión de una sola frase.
• Amplitud de Recuperación ($k$): El número de fragmentos de memoria inyectados en el contexto ($k \in \{1, 3, 6, 10, 25\}$).
• Modo de Eliminación: Una escala de cinco pasos que rige cómo el sistema maneja las solicitudes de "olvidar":
  1. Sin acción (No-op): Control (sin cambios).
  2. Solo bruto (Raw only): Texto en bruto eliminado; embeddings/resúmenes intactos.
  3. Bruto + Resumir de nuevo (Raw + Resummarize): Bruto eliminado y re-embebido; sesiones afectadas re-resumidas desde la entrada limpia.
  4. Purga Total (Full Purge): Todos los niveles eliminados y re-embebidos; los fragmentos vacíos se descartan.
  5. Lápida (Tombstone): El canario es reemplazado por [REDACTED] en cada nivel y re-embebido.

3. Métricas

• Recuerdo de Personalización (PR): Mide si el agente responde correctamente a consultas que requieren el contexto del usuario (basado en similitud de coseno > 0.50 o cobertura de palabras de contenido verbatim).
• Tasa de Extracción Adversaria (AER): La fracción de tokens "canario" de alta entropía (inyectados en sesiones previas) recuperados de forma literal bajo tres tipos de sondeo:
  • Directo: Preguntar explícitamente por el secreto.
  • Indirecto: Preguntar qué recuerda el agente sobre el usuario.
  • Jailbreak: Instrucciones de modo desarrollador o volcado de depuración.
• AUC de Privacidad–Utilidad (PUA): El área bajo la envolvente empírica de la capacidad de recuerdo alcanzable, resumiendo la frontera donde se logra mayor recuerdo con menor riesgo de extracción.
• Puntuación de Residuo de Olvido (FRS): Mide la filtración post-eliminación a través de los niveles de memoria (bruto vs. resumen). Un FRS distinto de cero indica que el secreto sigue siendo recuperable a pesar de la eliminación.

4. Configuración

Los experimentos se realizaron utilizando el benchmark LongMemEval (división oracle) usando:

• Modelos: Gemma 3 12B (local, pesos abiertos) y GPT-4o-mini (pesos cerrados).
• Datos: 50 instancias con canarios sintéticos de alta entropía inyectados en turnos de usuario sin evidencia para aislar la memorización en el tiempo de despliegue de la exposición de entrenamiento.

Resultados Clave

1. La Frontera de Privacidad–Utilidad

• Memoria Bruta ($S=0$): No ofrece un punto de operación limpio. Aumentar la amplitud de recuperación ($k$) mejora la utilidad (PR) pero aumenta linealmente la filtración (AER). Para Gemma 3 12B, el PR sube de 0.42 a 0.66 a medida que $k$ aumenta, mientras que el AER sube de 0.70 a 0.86.
• Resumen ($S=1$): Actúa como un mecanismo de "lavado".
  • Reducción de Filtración: El resumen de hechos clave reduce el AER en un 76% en Gemma 3 12B y un 64% en GPT-4o-mini en comparación con la memoria bruta.
  • Preservación de Utilidad: Esta reducción viene con un costo mínimo para el PR (aprox. 5% en Gemma, 2% en GPT).
  • Neutralidad de Recuperación: Una vez que el contenido se comprime (se resume), aumentar $k$ ya no restaura la filtración. El AER permanece plano en todos los valores de $k$, lo que indica que si el secreto está ausente del resumen, recuperar más fragmentos no puede recuperar el secreto.
• Comportamiento de Sondeo: Bajo memoria bruta, los sondeos directos e indirectos producen diferentes tasas de extracción. Bajo el resumen, estas tasas colapsan al mismo nivel bajo, lo que sugiere que el resumen controla la recuperabilidad de los hechos a nivel de canal, independientemente de la resistencia al jailbreak del modelo subyacente.

2. Fidelidad de Eliminación y Residuo

• El Fracaso de la Eliminación Solo de Brutos: Eliminar solo el registro bruto ($S=1$, modo "raw only") deja copias de resúmenes derivados recuperables en aproximadamente el 20% de los casos. El FRS para el nivel de resumen es estadísticamente indistinguible del control "no-op".
• Mitigación Parcial: "Bruto más resumir de nuevo" reduce el residuo (por ejemplo, a ~11% en Gemma) pero no lo elimina, ya que los artefactos de resumen preexistentes no se purgan completamente antes de la regeneración.
• Borrado Verdadero: Solo la Purga Total y la redacción de Lápida llevan el residuo del peor nivel (FRS) a cero en todas las configuraciones. Esto confirma que en canales escalonados, eliminar la fuente es insuficiente; los artefactos derivados también deben ser eliminados o redactados explícitamente.

Contribuciones

1. Formalización de la Memorización en el Tiempo de Despliegue: El artículo define la memoria persistente del agente como una función del sistema medible, introduciendo una frontera de privacidad–utilidad basada en PR, AER y PUA.
2. Barrido Controlado de Mandos de Diseño: Demuestra que el resumen reduce significamente el riesgo de extracción con un costo de personalización insignificante, mientras que la amplitud de recuperación por sí sola no puede lograr un compromiso favorable.
3. Benchmark de Fidelidad de Olvido: Al introducir la Puntuación de Residuo de Olvido (FRS), el trabajo revela que la eliminación estándar de "solo brutos" es insuficiente para sistemas de memoria escalonados, estableciendo que se requiere una purga de todo el canal o el uso de lápidas para un borrado verdadero.

Significado

El artículo establece que la memoria persistente de los agentes debe evaluarse como un mecanismo de memorización de primera clase. Argumenta que los riesgos de privacidad de los agentes no son simplemente un subproducto de los pesos del modelo, sino que son moldeados activamente por las elecciones de ingeniería en el tiempo de despliegue.

Los hallazgos sugieren una receta práctica para el despliegue seguro de agentes:

• Usar resumen de hechos clave ($S=1$) para "lavar" los secretos de los contextos de recuperación.
• Mantener una amplitud de recuperación moderada ($k$), ya que no restaura la filtración una vez aplicado el compromiso.
• Implementar eliminación consciente de los niveles (purga total o lápida) para asegurar que las copias derivadas (resúmenes, embeddings) no sean dejadas atrás.

En última instancia, el trabajo plantea que la memorización en el tiempo de despliegue es una frontera de utilidad–filtración controlable, en lugar de una consecuencia inevitable del uso de modelos fundacionales.