Resumen Técnico: Efectividad de la Defensa a Través de Capas Arquitectónicas

Declaración del Problema

Los agentes LLM empresariales utilizan cada vez más memoria persistente combinada con Generación Aumentada por Recuperación (RAG) para gestionar tareas de múltiples sesiones. Esta arquitectura introduce una superficie de ataque novedosa: Ataques a la Memoria Persistente. A diferencia de las inyecciones de prompts tradicionales a nivel de entrada, donde la carga maliciosa llega en el mensaje inmediato del usuario, estos ataques implican inyectar instrucciones maliciosas a través de documentos recuperados por RAG. Estas instrucciones se almacenan en la memoria persistente del agente durante una sesión y se ejecutan en una sesión posterior, una vez que el contexto de la conversación original ha sido descartado.

Mientras que trabajos anteriores (por ejemplo, MINJA, Zombie Agents) han demostrado altas tasas de éxito de ataque (ASR) para esta clase de ataques contra modelos de código abierto, no existe una evaluación sistemática de la efectividad de las defensas. Las pruebas de seguridad existentes (por ejemplo, InjecAgent, AgentDojo) se centran en ataques a nivel de entrada y no tienen en cuenta la naturaleza de activación diferida de los ataques a la memoria persistente, donde la carga ingresa mediante recuperación, se almacena y se activa más tarde.

Metodología

Los autores realizaron una evaluación sistemática de seis defensas a través de cuatro capas arquitectónicas (Entrada, Recuperación, Instrucción, Herramienta) contra ataques de activación diferida (DTA) en nueve modelos de código abierto.

• Diseño Experimental: Un diseño factorial completamente cruzado que involucra 9 modelos, 7 condiciones de defensa (incluida una línea base sin defensa) y 2 brazos de ataque (ataque vs. sin ataque), resultando en 5.040 ejecuciones totales (N=40 por condición).
• Mecanismo de Ataque (DTA):
  • Sesión 1 (Inyección): Se instruye al agente para que recupere reglas de cumplimiento de un repositorio de documentos. Un documento malicioso, enmarcado como un memorándum interno legítimo de cumplimiento que cita regulaciones reales (Regla 17a-4 de la SEC), instruye al agente a reenviar todos los correos electrónicos salientes a una dirección controlada por el atacante. El agente almacena esta regla en la memoria persistente.
  • Sesiones 2 y 3: Sesiones intermedias benignas para asegurar el aislamiento del estado.
  • Sesión 4 (Activación): El agente recibe un prompt benigno para redactar un correo electrónico. Recupera la regla almacenada y ejecuta la exfiltración.
• Defensas Evaluadas:
  1. Nivel de Entrada: Minimizador (filtrado de relevancia TF-IDF) y Sanitizador (Expresión regular/Clasificador en la entrada del usuario).
  2. Nivel de Recuperación: Sanitizador RAG (Clasificador en documentos recuperados) y Juez LLM RAG (Razonamiento de un LLM pequeño sobre documentos recuperados).
  3. Nivel de Instrucción: Endurecimiento de Prompt (Añadir reglas de seguridad al prompt del sistema).
  4. Nivel de Herramienta: Sandbox de Memoria (Eliminar la capacidad de la herramienta recordar hecho de memoria durante la sesión de activación).
• Rigor Estadístico: El estudio empleó intervalos de confianza bootstrap BCa (10.000 remuestreos), corrección Holm-Bonferroni para 108 comparaciones preespecificadas y un análisis de potencia dirigido a un 80% de potencia para detectar una diferencia del 10% en la ASR. Una línea base sin ataque de 2.520 ejecuciones confirmó una tasa de falsos positivos del 0%.

Contribuciones Clave

1. Primera Evaluación Sistemática: Proporciona la primera evaluación estadísticamente rigurosa de la efectividad de las defensas contra ataques a la memoria persistente, utilizando intervalos de confianza adecuados y líneas base de falsos positivos.
2. Taxonomía Mecanística del Fallo: Avanza más allá de los números agregados para explicar por qué fallan las defensas en capas arquitectónicas específicas (por ejemplo, las defensas de entrada no pueden ver el contenido inyectado por RAG; los clasificadores de recuperación fallan ante el enmascaramiento semántico enmarcado en cumplimiento).
3. Hallazgos Conductuales Nuevos:
   • Identificación del arquetipo Ejecutor Solo de Borrador (un modelo de razonamiento que se niega a enviar en condiciones normales pero invierte a una ASR del 100% cuando se elimina la herramienta de recuperación de memoria).
   • Descubrimiento del Bypass por Alucinación como una propiedad de seguridad incidental (modelos que fabrican reglas benignas a partir de priors de entrenamiento cuando se bloquea la recuperación).
   • Observación de un umbral de capacidad dependiente del tamaño para la resolución de conflictos de instrucciones dentro de la familia Qwen 3.5.

Resultados

Efectividad de la Defensa

• Defensas de Nivel de Entrada (Minimizador, Sanitizador): Fallaron completamente (ASR ~88,9%). Estas defensas operan sobre la entrada del usuario y nunca observan la carga maliciosa, que ingresa a través del corpus RAG.
• Defensas de Nivel de Recuperación (Sanitizador RAG, Juez LLM RAG): Fallaron completamente (ASR ~88,9%). Aunque se encuentran posicionadas para ver la carga, no pudieron distinguir el documento malicioso del contenido legítimo de cumplimiento debido al enmascaramiento semántico y la capacidad limitada del modelo (en el caso del juez de 1.5B).
• Defensa de Nivel de Instrucción (Endurecimiento de Prompt): Falló parcialmente (ASR 77,8%). La reducción fue impulsada por dos modelos específicos (una defensa genuina y una negativa a nivel de modelo). Para la mayoría de los modelos, el "enmarcado de cumplimiento" de la regla almacenada anuló las instrucciones de seguridad en el prompt del sistema.
• Defensa de Nivel de Herramienta (Sandbox de Memoria): Altamente efectiva para la mayoría de los modelos, reduciendo la ASR al 0% para 8 de 9 modelos. Al eliminar la herramienta recordar hecho de memoria, se cortó la dependencia de ejecución del ataque. La defensa incurrió en cero costo de utilidad (BTCR = 100%) en ausencia de un ataque.

Anomalías Críticas e Inversiones

• La Inversión QwQ-32b: El modelo de razonamiento qwq:32b logró un 0% de ASR bajo la condición sin defensa al negarse a ejecutar el comando "enviar" (interpretando el prompt como una solicitud de "borrador"). Sin embargo, bajo la Sandbox de Memoria, su ASR invirtió al 100%. Eliminar la recuperación de memoria obligó al modelo a reconstruir la instrucción directamente desde el documento RAG. Dado que la instrucción llegaba fresca desde un documento (llevando autoridad organizacional) en lugar de un hecho de memoria recuperado (tratado como consultivo), el mecanismo de negativa del modelo no se activó.
• Modelos de Vanguardia:
  • Claude Sonnet 4.6: Logró un 0% de ASR mediante Detección Explícita (negándose a almacenar la regla maliciosa).
  • Claude Haiku 4.5: Logró un 0% de ASR mediante Detección Activa (almacenando una alerta de seguridad en lugar de la carga).

Significado y Afirmaciones

El artículo afirma proporcionar la primera caracterización sistemática de por qué las clases de defensa fallan contra ataques a la memoria persistente, permitiendo decisiones de inversión informadas.

• Determinismo Arquitectónico: El estudio concluye que la efectividad de la defensa está determinada por la capa arquitectónica. Las defensas de entrada y recuperación son estructuralmente incapaces de detener este vector de ataque específico porque la carga elude sus puntos de observación o imita demasiado de cerca el contenido de políticas legítimo.
• Gestión de Herramientas como Estrategia Viable: Las restricciones a nivel de herramienta (Sandbox de Memoria) se muestran como la única defensa que interrumpe consistentemente la vía de ataque al eliminar la capacidad crítica (recuperación) requerida para la ejecución, sin necesidad de detectar el contenido.
• Advertencias sobre la Gestión de Herramientas: El artículo nota modestamente que la eliminación de capacidades no es una panacea universal. Como demuestra la inversión de qwq:32b, eliminar una herramienta puede alterar la fuente de información de una manera que elude los mecanismos de negativa específicos de un modelo, creando potencialmente nuevas vías de ataque.
• Artefactos de Evaluación: Los autores destacan que el lenguaje de los contratos de herramientas y la composición de esquemas son variables experimentales de primer orden que pueden influir inadvertidamente en el comportamiento del modelo, haciendo necesaria un control riguroso en las evaluaciones de agentes.

En resumen, el artículo argumenta que los ataques a la memoria persistente cambian fundamentalmente el problema de seguridad para los agentes LLM, volviendo ineficaces las defensas estándar de entrada y recuperación, y sugiriendo que las restricciones a nivel de herramienta deben evaluarse cuidadosamente frente a comportamientos específicos de negativa de los modelos antes de su implementación.