Resumen Técnico: SMSR – Defensa Certificada contra el Envenenamiento de Memoria en Tiempo de Ejecución en Sistemas de Agentes de LLM Persistentes

1. Declaración del Problema: Envenenamiento de Memoria Multi-Sesión (MSMP)

Los agentes de Generación Aumentada por Recuperación (RAG) en entornos empresariales dependen cada vez más de almacenes de memoria persistentes que acumulan interacciones a través de las sesiones de usuario. Esta persistencia crea una superficie de ataque novedosa: un adversario (actuando como un empleado, cliente o herramienta comprometida) puede inyectar memorias cuidadosamente diseñadas que persisten indefinidamente. Una vez recuperadas, estas entradas envenenadas redirigen el comportamiento del agente en futuras consultas sin modificar los pesos del modelo ni el código de la aplicación.

El artículo identifica la amenaza de Envenenamiento de Memoria Multi-Sesión (MSMP), donde un adversario inyecta memorias que coinciden semánticamente con futuras consultas de usuario, causando que el agente emita respuestas maliciosas o incorrectas. Las defensas existentes son insuficientes:

• Las defensas de corpus estático (p. ej., RobustRAG, ReliabilityRAG) asumen una base de conocimientos fija indexada fuera de línea y fallan cuando el adversario inyecta datos en tiempo de ejecución a través de la ruta normal de escritura del agente.
• Los filtros heurísticos (p. ej., listas negras de palabras clave, comprobaciones de entropía, detección de anomalías semánticas) pueden ser eludidos mediante texto fluido de estilo empresarial que imita actualizaciones de políticas legítimas.
• Las heurísticas basadas en consenso (p. ej., A-MemGuard) carecen de garantías de seguridad formales y pueden ser derrotadas por adversarios persistentes que adaptan sus estrategias de inyección.

Crucialmente, ninguna defensa existente proporciona un certificado de seguridad formal (un límite matemático de éxito del ataque) contra el envenenamiento de memoria adaptativo en tiempo de ejecución.

2. Metodología: Memoria Firmada con Recuperación Suavizada (SMSR)

Los autores proponen SMSR, un mecanismo de defensa de dos componentes diseñado para proporcionar un límite de robustez certificado contra el MSMP.

Componente 1: Etiquetado de Procedencia mediante HMAC (Límite de Escritura)

Para abordar a los adversarios no firmados (aquellos con acceso directo a la base de datos pero sin credenciales de autenticación), SMSR implementa un límite criptográfico en el momento de la escritura.

• Mecanismo: Cada entrada de memoria legítima se etiqueta con una firma HMCA-SHA256 utilizando una clave secreta del servidor ($K$).
• Recuperación: En el momento de la consulta, el sistema verifica la etiqueta HMAC de las entradas recuperadas. Solo las entradas con etiquetas válidas son admitidas al grupo de candidatos.
• Seguridad: Bajo los supuestos estándar de HMAC, un adversario no firmado no puede falsificar una etiqueta válida, reduciendo efectivamente la tasa de éxito del ataque (ASA) para las inyecciones no firmadas a 0%.

Componente 2: Ablación de Memoria Aleatorizada con Agregación Basada en Veredictos (Adversarios Autenticados)

Para abordar a los adversarios autenticados (usuarios legítimos que pueden escribir memorias firmadas), SMSR emplea una defensa aleatorizada similar a la clasificación suavizada.

• Sobre-recuperación (Over-fetching): Para una consulta, el sistema recupera un gran grupo de $m$ candidatos verificados ($m > k$, donde $k$ es el tamaño de contexto estándar).
• Ablación Aleatorizada: El sistema realiza $n_{runs}$ ensayos independientes. En cada ensayo, toma una muestra de $k$ entradas de forma uniforme y aleatoria (sin reemplazo) de los $m$ candidatos.
• Agregación Basada en Veredictos: Un juez LLM evalúa la respuesta generada en cada ensayo, devolviendo un veredicto (p. ej., correcto, malicioso, ninguno). La salida final se determina mediante un voto de mayoría de los veredictos, no de las cadenas de texto en sí mismas.
• Base Teórica: Este enfoque se basa en una distribución hipergeométrica para limitar la probabilidad de que la mayoría de los contextos muestreados contengan entradas adversarias.

Contribuciones Teóricas

• Resultado de Imposibilidad (Teorema 1): Los autores demuestran que ningún filtro determinista sin procedencia que opere únicamente en el tiempo de recuperación puede lograr un certificado de seguridad no trivial contra un adversario adaptativo. Esto hace necesario el mecanismo de procedencia en el tiempo de escritura del Componente 1.
• Límite de Robustez Certificada (Teorema 2): Se deriva un certificado hipergeométrico formal para el Componente 2, que define la probabilidad máxima ($\delta$) de una salida maliciosa dado $t$ entradas adversarias en un grupo de tamaño $m$.
• Efecto de Minoría Consistente (CME): El artículo formaliza un escollo donde el voto de mayoría basado en cadenas falla porque las respuestas adversarias son textualmente consistentes mientras que las respuestas benignas varían (variación de paráfrasis). SMSR lo mitiga mediante la agregación basada en veredictos, que cuenta la corrección semántica en lugar de la igualdad de cadenas.

3. Contribuciones Clave

1. Definiciones Formales: Introducción del modelo de amenaza MSMP y la primera definición de seguridad $(t, \delta)$ para sistemas de memoria de agentes en tiempo de ejecución.
2. Prueba de Imposibilidad: Demostración de que las defensas sin procedencia no pueden ser certificadas contra la inyección adaptativa.
3. Construcción de SMSR: Una defensa práctica que combina la procedencia HMAC con la ablación aleatorizada y un certificado formal.
4. Caracterización de CME: Formalización y cuantificación del Efecto de Minoría Consistente, mostrando que la agregación basada en veredictos es necesaria para neutralizarlo.
5. Validación Empírica: Evaluación extensiva a través de 15 escenarios empresariales y 3,150 ensayos repetidos.

4. Resultados Experimentales

La evaluación se realizó en 15 escenarios de bases de conocimiento empresarial (finanzas, cumplimiento, TI, RR.HH.) utilizando un almacén de memoria de 20 semillas para pruebas a escala de producción y uno de 10+ semillas para evaluaciones a pequeña escala.

• Ataques No Firmados (Componente 1): SMSR redujo la Tasa de Éxito de Ataque (ASA) de 93–100% (en líneas de base sin defensa) a 0% para todas las variantes de inyección no firmada, incluyendo ataques de "evasión" diseñados para eludir filtros heurísticos.
• Ataques Autenticados (Componente 2):
  • Escala de Producción ($m=20, t=1$): SMSR redujo la ASA de 93–100% a 8.0% (IC 95% [5.8%, 10.9%]). Este resultado está de forma segura por debajo del límite teórico del peor caso de $\delta = 10.4\%$ (con $n_{runs}=5$).
  • Escala Pequeña ($m'=11, t=1$): La ASA fue de 37.8% (IC 95% [33.4%, 42.3%]), la cual está por debajo del límite del certificado de $\delta = 41.5\%$.
  • Variantes de Inundación (Flooding): En escenarios de inundación (múltiples inyecciones parafraseadas), la ASA se acercó al límite teórico, confirmando la precisión del certificado.
• Comparación con Heurísticas: Mientras que una línea de base de consenso tipo A-MemGuard logró una ASA empírica comparable (3.8% vs. 8.0% en una prueba específica de 20 semillas), no ofreció ningún certificado formal. La distinción de SMSR es la provisión de una garantía matemática.
• Validación de Extremo a Extremo: En un ataque de solo consulta donde el propio agente escribió el veneno (imitando el vector de ataque MINJA), SMSR redujo la ASA de 65.3% a 5.3%.
• Utilidad: El Componente 1 preservó el 90% de la utilidad en consultas limpias. La defensa combinada (Componentes 1 y 2) mantuvo un 85% de utilidad, lo que representa un costo del 5% por la garantía de seguridad.
• Fiabilidad del Juez: El acuerdo inter-juez entre los modelos Haiku y Sonnet fue alto ($\kappa = 0.955$), confirmando la fiabilidad de la agregación de veredictos.

5. Significado y Reivindicaciones

El artículo afirma presentar la primera defensa formalmente certificada contra el envenenamiento de memoria en tiempo de ejecución en sistemas de agentes de LLM persistentes. Su importancia radica en:

• Ir más allá de las heurísticas: A diferencia de trabajos previos que dependen de observaciones empíricas o supuestos estáticos, SMSR proporciona una garantía matemática ($\delta$) sobre la probabilidad de un ataque exitoso.
• Abordar la naturaleza dinámica de la memoria: Se dirige específicamente a la naturaleza de "anexo continuo" (append-only) de la memoria de los agentes, un entorno donde las defensas de corpus estático fallan.
• Demostrar la necesidad de la procedencia: El resultado de imposibilidad establece que, sin la atestación criptográfica en el tiempo de escritura, ninguna defensa en el tiempo de recuperación puede ser certificada.
• Implementabilidad Práctica: El sistema está diseñado como un envoltorio (wrapper) de inserción para arquitecturas RAG existentes, requiriendo ningún cambio en el LLM subyacente o los modelos de embedding, con una sobrecarga computacional manejable (aproximadamente 10 llamadas a la API por consulta para $n_{runs}=5$).

Los autores concluyen que SMSR mitiga eficazmente la amenaza MSMP para adversarios acotados, proporcionando un paso fundacional hacia un stack de seguridad integral para aplicaciones de LLM (abordando específicamente los subproblemas de envenenamiento OWASP LLM08).