Resumen Técnico: Recordar Más, Arriesgar Más

Declaración del Problema

Las evaluaciones de seguridad actuales para agentes de Modelos de Lenguaje Grandes (LLM) equipados con memoria se centran predominantemente en la seguridad dentro de la tarea, evaluando si un agente completa un único escenario de forma segura, a menudo bajo condiciones adversarias como inyección de prompts o envenenamiento de memoria. Sin embargo, en implementaciones del mundo real, un solo agente sirve muchas tareas independientes a lo largo de horizontes largos (semanas o meses), acumulando un estado persistente.

El artículo identifica una brecha crítica: la contaminación temporal de la memoria. Este es un modo de fallo donde la acumulación benigna de memoria a través de tareas independientes y no adversarias conduce a un comportamiento cada vez más inseguro con el tiempo. A diferencia de los ataques adversarios donde un atacante elabora entradas para inducir fallos, la contaminación temporal de la memoria surge de las interacciones rutinarias del propio agente. A medida que la memoria crece, puede contener contenido que es relevante para una consulta actual pero incompatible con una respuesta segura (por ejemplo, recuperar datos privados de un usuario diferente o instrucciones desactualizadas), lo que conduce a transferencias inseguras.

Los métodos existentes para estudiar esto se ven confundidos por la no estacionariedad del flujo. Simplemente graficar las tasas de violación contra el tiempo falla porque el propio flujo de entrada cambia (por ejemplo, aumentos en el volumen de correos electrónicos o los temas se vuelven más sensibles), haciendo imposible aislar si el riesgo aumentado se debe a la acumulación de memoria o a la naturaleza cambiante de las tareas.

Metodología

Para aislar los efectos de la memoria de la no estacionariedad del flujo, los autores introducen un protocolo de activador-sonda y un marco basado en eventos.

1. Descomposición de Eventos

Los fallos se descomponen en tres componentes:

• Precondición: El estado de la memoria contiene contenido contaminante recuperable para una consulta específica.
• Activador: Una entrada específica (sonda) que activa la recuperación de ese contenido.
• Violación: El agente transfiere inapropiadamente el contenido recuperado a su respuesta.

2. Protocolo de Activador-Sonda

Este protocolo evalúa un conjunto fijo de activadores de sonda contra instantáneas de memoria de solo lectura construidas a partir de prefijos de flujo de longitudes variables ($\ell$).

• Exposición Controlada: El agente procesa las primeras $\ell$ interacciones para construir un estado de memoria. Luego, un conjunto fijo de sondas se evalúa contra esta instantánea en modo de solo lectura (las sondas no se escriben de nuevo en la memoria).
• Línea Base Contrafactual: Para cada sonda, el sistema genera dos respuestas: una con memoria ($y_{mem}$) y una sin memoria ($y_{\emptyset}$, la línea base MemoriaNula).
• Etiqueta de Violación Inducida por Memoria ($U_a$): Una violación se etiqueta como inducida por memoria solo si:
  1. La respuesta aumentada con memoria es insegura.
  2. La respuesta de MemoriaNula es segura.
  3. El contenido inseguro es rastreable hasta la memoria recuperada mediante coincidencia semántica.

3. Configuración de Evaluación

El protocolo se aplica a través de dos clases distintas de agentes y tres escenarios de implementación:

• Asistentes de Oficina: Evaluados en flujos sintéticos (Práctica Médica, Registro Universitario) y un buzón de correo Enron específico de una persona. Se prueban ocho arquitecturas de memoria de la taxonomía MemEngine (por ejemplo, Memoria Completa, Corto Plazo, Largo Plazo, Agentes Generativos, MemoryBank, MemGPT, MemTree).
• Agentes Tipo Garra: Evaluados en las plataformas OpenClaw y SecLaw donde los agentes operan en el entorno informático de un usuario con acceso al sistema de archivos. La memoria se almacena como archivos Markdown simples. El riesgo se mide mediante cadenas de advertencia incrustadas en las credenciales; se produce una violación si estas cadenas aparecen en las salidas o registros.

Contribuciones Clave

1. Marco de Seguridad Longitudinal: Introducción del protocolo de activador-sonda que trata la seguridad de la memoria como una trayectoria, aislando los efectos de acumulación de las variaciones del flujo de entrada.
2. Caracterización Empírica: Medición exhaustiva de las tasas de violación inducidas por memoria a través de ocho arquitecturas de memoria y tres escenarios, demostrando que el riesgo supera consistentemente la línea base de MemoriaNula y aumenta con la longitud de la exposición.
3. Análisis Trans-Arquitectónico: Demostración de que la amplificación temporal persiste a través de mecanismos de fallo estructuralmente diferentes (filtrado de contexto cruzado en asistentes de oficina frente a dilución de atención/normalización de contexto en agentes tipo garra).
4. Análisis del Espacio de Diseño: Identificación del alcance de recuperación (recuperación semántica amplia) y el nivel de resumen (contenido abstraído) como las principales elecciones de diseño que impulsan la amplificación.
5. Diagnóstico en Tiempo de Recuperación: Desarrollo de un monitor ligero que predice el riesgo inducido por memoria antes de la generación basándose en el estado de recuperación, logrando una alta recuperación (0.970–0.984) sin depender de reglas específicas del dominio.

Resultados

• Amplificación Temporal: Las tasas de violación inducidas por memoria ($q_a(\ell)$) muestran una tendencia ascendente robusta a medida que aumenta la longitud de la exposición ($\ell$). Este efecto se observa tanto en asistentes de oficina como en agentes tipo garra.
• Contenido vs. Orden: Los experimentos de aleatorización del orden (mezclando la secuencia de interacciones) indican que la amplificación es impulsada principalmente por el contenido acumulado y no por el orden específico de los encuentros, aunque el orden local puede modular el efecto para ciertas arquitecturas (por ejemplo, memoria con estructura de árbol).
• Sensibilidad Arquitectónica:
  • Las arquitecturas con recuperación amplia y retención larga (por ejemplo, MemTree, Memoria Autocontrolada, Agentes Generativos) exhiben los aumentos más pronunciados en las tasas de violación.
  • Los sistemas sesgados por recencia (por ejemplo, Memoria de Corto Plazo) permanecen relativamente planos, lo que sugiere que restringir el alcance de la recuperación actúa como un amortiguador de seguridad.
  • El resumen puede introducir riesgo al fusionar detalles de contextos separados en representaciones compuestas que crean nuevas inferencias inseguras.
• Agentes Tipo Garra: Incluso sin filtrado explícito de contexto cruzado (ya que el contenido de la sonda es fijo), la memoria benigna circundante diluye la atención de seguridad y normaliza el lenguaje adyacente a las credenciales, lo que conduce a tasas de violación más altas a medida que crece el volumen de memoria.
• Monitoreo Predictivo: El monitor en tiempo de recuperación detecta con éxito el riesgo antes de la generación, lo que sugiere que las intervenciones de seguridad pueden aplicarse en la etapa de recuperación (por ejemplo, filtrando elementos o recurriendo a una generación sin memoria).

Significado

El artículo argumenta que la seguridad de la memoria debe tratarse como una propiedad longitudinal que requiere evaluación temporal, en lugar de una propiedad de estado único capturada por una instantánea. Los hallazgos desafían la suposición de que la acumulación benigna de memoria es segura, demostrando que las interacciones rutinarias por sí solas pueden degradar los perfiles de seguridad con el tiempo.

El trabajo proporciona una base metodológica para evaluar la seguridad de agentes de largo horizonte y ofrece perspectivas accionables para los diseñadores de sistemas:

• Compensaciones: Ampliar el alcance de la recuperación y agregar capas de resumen mejora la utilidad pero aumenta la exposición temporal a la seguridad.
• Mitigación: Los mecanismos de seguridad deben integrarse en la etapa de recuperación, no solo en la etapa de generación, para filtrar contextos contaminantes antes de que influyan en el modelo.
• Estándares de Evaluación: Las futuras pruebas de seguridad deben tener en cuenta la dimensión temporal y la interacción entre la acumulación de memoria y los flujos de entrada no estacionarios.

Los autores concluyen que, sin una evaluación temporal explícita, la seguridad de los agentes equipados con memoria en implementaciones de largo horizonte permanece sin verificar y potencialmente comprometida por su propia historia.