MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents

Resumen Técnico: MEMSAD – Detección de Anomalías Acoplada por Gradiente para el Envenenamiento de Memoria en Agentes Aumentados por Recuperación

1. Declaración del Problema

Los sistemas de memoria externa persistente (por ejemplo, Mem0, MemGPT) permiten que los agentes de Modelos de Lenguaje Grande (LLM) mantengan el contexto entre sesiones almacenando preferencias de usuario y conocimiento factual como incrustaciones vectoriales densas. Sin embargo, las propiedades de seguridad de estos sistemas permanecen formalmente sin caracterizar. A diferencia de la inyección de prompts, que requiere acceso por interacción, el envenenamiento de memoria permite que un adversario inyecte una única entrada maliciosa que persiste indefinidamente, activándose en cada consulta semánticamente relacionada en sesiones futuras.

El artículo formaliza tres modelos de amenaza distintos con supuestos de acceso escalonados:

• AGENTPOISON: Requiere acceso de escritura al almacén de memoria; optimiza los disparadores sobre incrustaciones DPR.
• MINJA: Requiere acceso solo de consulta; explota el almacenamiento automático mediante indicaciones de acortamiento progresivo.
• INJECMEM: Requiere acceso de una sola interacción; logra la inyección mediante anclados agnósticos al recuperador.

Las defensas existentes para la Generación Aumentada por Recuperación (RAG) suelen asumir acceso a nivel de corpus y limpieza fuera de línea, lo cual no se aplica al modelo de ingestión en streaming de la memoria de los agentes. Además, evaluaciones anteriores a menudo sufrieron inconsistencias en el protocolo (por ejemplo, evaluar consultas activadas con consultas simples), lo que llevó a subestimar las tasas de éxito del ataque.

2. Metodología: MEMSAD

Los autores proponen MEMSAD (Detección de Anomalías Semánticas), una defensa basada en calibración fundamentada en un teorema de acoplamiento de gradientes.

Insight Central: El envenenamiento de memoria tiene éxito porque las entradas adversarias están semánticamente cerca de las consultas de la víctima. MEMSAD postula que esta cercanía es una señal detectable. El sistema opera en el momento de la escritura, filtrando las entradas candidatas antes de que se confirmen en el almacén de memoria.

El Teorema de Acoplamiento de Gradientes:
La contribución teórica central establece que, bajo la regularidad del codificador (Suposición 4), el gradiente de la puntuación de anomalía y el gradiente del objetivo de recuperación son idénticamente demostrables para detectores monótonos.

• Suficiencia: Cualquier función monótona de la puntuación de recuperación hereda la dirección del gradiente. Por lo tanto, cualquier perturbación continua que reduzca el riesgo de detección necesariamente degrada la clasificación de recuperación.
• Necesidad: Los detectores no monótonos admiten rutas de evasión continuas donde un adversario puede aumentar la clasificación de recuperación mientras evade la detección.
• Canonicidad: La puntuación de coseno máximo es el estadístico suficiente mínimo único para la prueba de hipótesis adversario vs. benigno.

Algoritmo:
MEMSAD calcula una puntuación de anomalía $s(c; H)$ para una entrada candidata $c$ frente a un historial rodante de consultas de la víctima $H$. La puntuación es una combinación de la similitud del coseno máximo y la similitud del coseno media entre la candidata y el historial.
$$s_{comb}(c; H) := \frac{1}{2} \max_{q \in H} \cos(E(c), E(q)) + \frac{1}{2|H|} \sum_{q \in H} \cos(E(c), E(q))$$
Esta puntuación se compara con un umbral $\hat{\mu} + \kappa\hat{\sigma}$, derivado de un corpus de referencia benigno. Si la puntuación supera el umbral, la entrada se rechaza.

Garantías Teóricas:

• Radio de Detección Certificado: Si la brecha entre la similitud adversaria y benigna supera la incertidumbre de calibración, MEMSAD garantiza la detección.
• Optimalidad Minimax: Utilizando el método de Le Cam, los autores demuestran que cualquier detector de umbral requiere $\Omega(1/\rho^2)$ muestras de calibración, y MEMSAD alcanza este límite hasta factores logarítmicos.
• Límites de Arrepentimiento en Línea: Para la calibración rodante con deriva de distribución, el tamaño de ventana óptimo produce una tasa de arrepentimiento de $O(\sigma^{2/3}\Delta^{1/3})$.

Limitaciones y Extensiones:
El artículo identifica una brecha de invariancia discreta de sinónimos. Si bien el acoplamiento de gradientes se mantiene para perturbaciones continuas en el espacio de incrustaciones, las sustituciones discretas de tokens (sinónimos) pueden eludir este acoplamiento si el codificador mapea sinónimos a incrustaciones casi idénticas ($\epsilon_{syn} \approx 0$). Para abordar esto, los autores proponen MEMSAD+, que complementa la puntuación semántica con características de divergencia de Jensen-Shannon (JSD) de n-gramas de caracteres, las cuales no son invariantes a sinónimos.

3. Resultados Clave

Los autores evalúan su enfoque en una matriz de ataque-defensa de $3 \times 5$ utilizando intervalos de confianza bootstrap, pruebas de hipótesis corregidas por Bonferroni y validación Clopper-Pearson (20 pruebas, $n=1,000$).

• Corrección de Evaluación: Corregir el protocolo de evaluación para usar consultas activadas (como se especifica en el trabajo original AGENTPOISON) aumenta la Tasa de Éxito del Ataque medida (ASR-R) para AGENTPOISON de 0.25 a 1.00.
• Rendimiento de la Defensa:
  • Defensas Compuestas: Un conjunto ponderado de MEMSAD, marca de agua, validación y detección proactiva logra TPR = 1.00 y FPR = 0.00 en las tres clases de ataque.
  • MEMSAD Solo: Logra TPR = 1.00 para AGENTPOISON (con calibración activada), TPR = 0.40 para MINJA y TPR = 0.20 para INJECMEM.
  • MEMSAD+: Mejora la detección para ataques con sustitución de sinónimos, elevando el TPR de INJECMEM de 0.00 a 0.40.
• Adversario Adaptativo: Incluso con un adversario de caja blanca que realiza sustitución de sinónimos voraz, el artículo demuestra que, aunque la evasión es posible (tasa de evasión del 80–100%), esto conlleva el costo de una degradación de la recuperación en el espacio continuo, aunque los saltos discretos pueden eludir esto.
• Validación de Producción: En una validación del mundo real utilizando Mem0, la reformulación interna del LLM eliminó las estructuras optimizadas para disparadores, reduciendo el ASR-R de AGENTPOISON a 0.00, mientras que los almacenes vectoriales crudos permanecieron completamente expuestos.

4. Significado y Afirmaciones

El artículo afirma proporcionar la primera defensa formalmente garantizada para el envenenamiento de memoria en RAG. Su significado radica en:

1. Caracterización Formal: Establecer una formulación de juego de Stackelberg para el envenenamiento de memoria y demostrar que los detectores de puntuación de recuperación monótonos son necesarios y suficientes para resistir la evasión continua.
2. Garantías Certificadas: Proporcionar radios de detección específicos de instancia y pruebas de optimalidad minimax, avanzando más allá de defensas heurísticas.
3. Marco Unificado: Abarcar tres clases de ataque distintas con supuestos de acceso escalonados, revelando que ninguna defensa única domina todos los modelos de acceso, lo que motiva portafolios compuestos.
4. Identificación de la Frontera: Caracterizar explícitamente la "brecha de invariancia de sinónimos" como el límite donde fallan las defensas en espacio continuo, destacando la necesidad de enfoques híbridos semántico-lexicales (MEMSAD+).

Los autores concluyen que, aunque MEMSAD cierra la brecha para perturbaciones continuas, la naturaleza discreta del espacio de tokens sigue siendo un desafío, y el trabajo futuro debe abordar el cierre de esta brecha y la escalabilidad a memoria de producción con vecinos más cercanos aproximados.