Resumen Técnico: Plantar, Persistir, Disparar: Ataque de Dormido contra Agentes de Modelos de Lenguaje Grande

1. Definición del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) son vulnerables a amenazas de seguridad que surgen de entornos externos, donde los atacantes inyectan contenido adversario en observaciones como datos devueltos por herramientas, páginas web o contextos de MCP. Si bien la investigación existente se centra principalmente en ataques de interacción única—donde el contenido adversario se inyecta y desencadena inmediatamente un comportamiento dañino dentro de la misma solicitud del usuario—este trabajo identifica una limitación crítica: el contenido adversario puede persistir a través de múltiples interacciones.

Los autores formalizan una nueva modelo de amenaza denominado Ataque de Dormido. En este escenario, el contenido adversario se planta en el estado del agente (contexto de sesión, memoria o habilidades reutilizables) durante una interacción inicial. Este contenido permanece latente a través de interacciones subsiguientes y solo se activa más tarde mediante una consulta benigna del usuario. Este mecanismo hace que la amenaza sea más difícil de detectar y mitigar en comparación con la inyección directa, ya que la acción dañina se desacopla del evento inicial de inyección.

2. Metodología

2.1 Formalización y Taxonomía de la Amenaza

Los autores definen el sistema de agente LLM como un proceso de interacción que involucra a un usuario, una política de LLM ($\pi_\theta$), un entorno externo ($E$) y estados del agente ($s_t$). Un Ataque de Dormido ocurre cuando una observación adversaria $o^{adv}_{t,i}$ inyectada en la interacción $t$ no causa inmediatamente un comportamiento inseguro ($U(h^{adv}_t) = 0$), pero se almacena en la actualización del estado ($s^{adv}_{t+1} = f(s_t, h^{adv}_t)$). En una interacción futura $t+k$, una consulta benigna $x_{t+k}$ dispara el estado almacenado para producir un comportamiento inseguro ($U(h^{adv}_{t+k}) = 1$).

El estudio categoriza los ataques a lo largo de dos ejes:

1. Estrategias de Ataque (Modos de Disparo):
   • Siembra de Instrucciones Latentes (LIP): Se plantan instrucciones maliciosas para inducir acciones inseguras más adelante.
   • Elicitación Proactiva de Información (PIE): Una variante mejorada de LIP donde la instrucción plantada hace que el agente solicite información sensible al usuario antes de ejecutar la acción maliciosa.
   • Corrupción Persistente de Información (PIC): La información persistente en el estado del agente se corrompe, haciendo que el agente dependa de datos incorrectos para futuras salidas.
2. Objetivos del Estado del Agente (Ubicaciones de Persistencia):
   • Contexto de Sesión: Contenido adversario retenido en el historial de conversación.
   • Memoria: Contenido escrito en módulos de memoria y recuperado posteriormente.
   • Habilidades Reutilizables: Contenido inyectado en definiciones jerárquicas de habilidades (habilidades de alto nivel y de herramientas) que guían la selección futura de herramientas.

2.2 Construcción del Punto de Referencia

Para evaluar esta amenaza, los autores construyeron un punto de referencia integral con 1,896 instancias de evaluación.

• Dominios de Daño: Seis categorías: daño económico, compromiso de cuenta/sistema, daño en el mundo físico, filtración de datos personales, filtración de datos financieros y filtración de otra información sensible.
• Entorno de Simulación: Construido utilizando el SDK de Agentes de OpenAI y ToolEmu, simulando 330 herramientas y estados de agente (memoria y habilidades).
• Protocolo de Evaluación: Se diseñó un sistema de evaluación basado en reglas para verificar la seguridad a nivel de trayectoria. El éxito se determina mediante la coincidencia ordenada de trazas (secuencia correcta de acciones) y la coincidencia de argumentos-valores (por ejemplo, verificar si los datos se enviaron a una dirección controlada por el atacante). Esto evita la falta de fiabilidad de los jueces basados en LLM para la evaluación de seguridad.

2.3 Configuración Experimental

El punto de referencia se evaluó en siete LLMs potentes (tanto de código abierto como cerrados), incluyendo Gemini-3-Flash, Gemini-3.1-Pro, DeepSeek-R1, Qwen3.5-Plus/Flash, GPT-5.4 y Llama-3.3-70B. Los experimentos compararon la Tasa de Éxito del Ataque (ASR) del Ataque de Dormido frente a una Línea Base Directa de Interacción Única.

3. Resultados Clave

3.1 Brechas Significativas de Seguridad

Los experimentos revelaron una sustancial brecha de seguridad "directa-a-dormido". Los modelos que demostraron baja vulnerabilidad a ataques directos a menudo fallaron significativamente bajo ataques de dormido.

• LIP: La ASR promedio para la línea base directa fue del 11.1%, pero aumentó al 39.9% en el estado de agente más fuerte. Por ejemplo, Gemini-3.1-Pro saltó del 6.2% (directo) al 92.6% (estado de habilidad).
• PIE: La línea base directa promedió 0.6%, mientras que el estado de agente más fuerte alcanzó 41.6%. Modelos como Qwen3.5-Plus pasaron de una ASR directa cercana a cero al 51.2% en estado de habilidad.
• PIC: Esta estrategia mostró la vulnerabilidad general más alta, con una ASR media del 47.8% en comparación con el 29.1% (LIP) y el 26.8% (PIE). Gemini-3.1-Pro alcanzó una ASR del 100% en estado de habilidad.

3.2 Vulnerabilidades Específicas del Estado

• Estados de Habilidad y Sesión: Se identificaron como los objetivos más peligrosos, con ASR promedio del 45.6% y 40.5% respectivamente, en comparación con el 34.8% para la memoria.
• Inconsistencia: El rendimiento de seguridad de un modelo no es uniforme a través de estrategias o estados. Un modelo seguro en un contexto (por ejemplo, inyección directa) puede ser altamente vulnerable en otro (por ejemplo, ataque de dormido basado en habilidades).

3.3 Persistencia y Efectos de Largo Horizonte

• Reproducción en Sesión Nueva: Incluso cuando un ataque falla dentro de la misma sesión, el estado plantado puede persistir en una sesión nueva. Para Qwen3.5-Plus, la ASR acumulada en memoria alcanzó el 94.3% para casos de PIC después de la reproducción en sesión nueva.
• Horizontes Más Largos: Si bien los ataques basados en sesión se degradan a medida que aumenta la longitud del contexto (cayendo del 62.7% al 40.7% de ASR a lo largo de 20 interacciones), los estados de memoria y habilidad permanecen estables, manteniendo una alta vulnerabilidad a lo largo de horizontes más largos.

3.4 Evaluación de Defensas

Los autores probaron defensas ligeras y sin entrenamiento (instrucciones basadas en reglas y filtros basados en guardias) en Qwen3.5-Plus.

• Eficacia Limitada: Las defensas redujeron la ASR en algunos escenarios (por ejemplo, los filtros basados en guardias redujeron la ASR de habilidades PIE del 51.2% al 30.9%), pero no lograron eliminar la amenaza por completo.
• Inestabilidad: En algunos casos, las instrucciones basadas en reglas aumentaron efectivamente la ASR, lo que sugiere que la ingeniería de prompts simple es insuficiente contra amenazas externas de interacción cruzada.

3.5 Escalamiento de Modelos

La vulnerabilidad no está estrictamente correlacionada con el tamaño del modelo. Los modelos de código abierto más grandes (por ejemplo, Qwen3-32B) exhibieron ASR promedio más altas que las variantes más pequeñas (por ejemplo, Qwen3-4B), particularmente para la estrategia PIC, lo que indica que el escalamiento no resuelve inherentemente las vulnerabilidades de los ataques de dormido.

4. Contribuciones y Significado

El trabajo hace tres contribuciones principales:

1. Formalización del Ataque de Dormido: Introduce el primer modelo de amenaza unificado de fuente externa para ataques de agentes LLM de interacción cruzada, destacando cómo el contenido adversario puede plantarse, almacenarse y activarse mediante solicitudes benignas.
2. Punto de Referencia a Gran Escala: Proporciona un punto de referencia de 1,896 instancias que cubre tres estrategias de ataque, tres objetivos de estado de agente y seis dominios de daño del mundo real, permitiendo comparaciones controladas entre ataques directos y de dormido.
3. Evidencia Empírica de Vulnerabilidad: Demuestra que los agentes LLM de última generación siguen siendo altamente vulnerables a los ataques de dormido, incluso cuando parecen robustos frente a ataques de interacción única.

Significado:
Los autores argumentan que las evaluaciones de seguridad actuales son insuficientes porque se centran principalmente en el uso inmediato de herramientas. Los resultados indican que la evaluación de la seguridad de los agentes debe rastrear cómo se escribe, almacena y reutiliza el contenido no confiable a través de las interacciones. La existencia de una gran brecha de seguridad entre los ataques directos y los de dormido sugiere que las defensas actuales están mal equipadas para manejar amenazas persistentes basadas en estados, lo que hace necesaria nueva investigación para monitorear y sanitizar los estados de los agentes (memoria, habilidades y contexto) en lugar de simplemente filtrar las entradas inmediatas.

Limitaciones:
El estudio se basa en un entorno de herramientas simulado (ToolEmu), que puede diferir de los ecosistemas desplegados con autenticación adicional o registros de auditoría. Además, el punto de referencia abstrae capas específicas de control de implementación (por ejemplo, flujos de trabajo de revisión humana), lo que significa que los resultados miden la vulnerabilidad bajo interfaces controladas en lugar de tasas de incidentes directos en sistemas específicos del mundo real.