Resumen Técnico: Puerta Trasera de Agente con Estado

Enunciado del Problema

Los ataques de puerta trasera existentes en agentes basados en Modelos de Lenguaje Grande (LLM) son fundamentalmente sin estado. Los enfoques actuales, como la inyección de desencadenantes mediante valores de retorno de llamadas a herramientas o el aprovechamiento de memoria persistente para el almacenamiento de desencadenantes, ejecutan comportamientos fijos confinados a una sola sesión. Su paradigma de ejecución permanece estático: un comportamiento malicioso está vinculado a una activación específica de desencadenante y no puede adaptarse al entorno ni persistir a través de múltiples interacciones.

Esta limitación impide ataques que requieren que se cumplan condiciones mutuamente incompatibles en diferentes sesiones. Por ejemplo, un ataque que requiere acceso a archivos privados en una sesión y capacidades de exfiltración de red en otra no puede tener éxito bajo aislamiento de permisos a nivel de sesión si la puerta trasera no puede mantener el estado entre sesiones. Si un ataque no puede completar todos los pasos dentro de una sola sesión, falla y debe reiniciarse desde cero en activaciones posteriores, lo que hace inviables ataques complejos y multifásicos.

Metodología

Los autores proponen una Puerta Trasera de Agente con Estado, una nueva clase de ataque que extiende el ciclo de vida del ataque a través de múltiples sesiones explotando los componentes persistentes del agente (por ejemplo, módulos de memoria, notas o sistemas de archivos compartidos).

Formalización como Máquina de Mealy

El ataque se modela formalmente como una máquina de Mealy (un transductor de estado finito), donde la salida (comportamiento del ataque) depende tanto del estado actual como de la entrada (observación del entorno).

• Estados ($S$): Representan fases distintas del ataque (por ejemplo, s_init para inicialización, s_collect para recopilación de datos, s_exfil para exfiltración).
• Entradas ($\Sigma$): Codifican las observaciones del entorno al inicio de una sesión, específicamente la presencia de un desencadenante y la disponibilidad de herramientas específicas (por ejemplo, sistema de archivos, red).
• Salidas ($\Lambda$): Codifican comportamientos de ataque (por ejemplo, initiate, collect, exfil o wait).
• Transiciones: La máquina transita entre estados basándose en el estado actual y el entorno. Si las herramientas requeridas no están disponibles, la máquina emite una señal de wait y se auto-buclea, preservando el estado hasta la siguiente sesión.

Marco de Descomposición

Una contribución clave es el marco de descomposición. Los autores demuestran que una puerta trasera con estado compleja puede descomponerse en un conjunto de sub-puertas traseras independientes, cada una correspondiente a una sola transición en la máquina de Mealy.

• Desencadenantes Compuestos: Cada sub-puerta trasera se activa mediante un desencadenante compuesto que consiste en el estado actual del ataque (recuperado de la memoria persistente) y el estado actual del entorno.
• Construcción Independiente: Esta descomposición permite la generación independiente de datos de entrenamiento para cada transición. El flujo completo del ataque se aprende entrenando sobre la unión de estas trayectorias independientes de una sola sesión mediante Ajuste Fino Supervisado (SFT).
• Vinculación Causal: Aunque la construcción de datos es independiente, las transiciones están causalmente vinculadas durante la ejecución: la actualización del estado (escritura en memoria) producida por una sub-puerta trasera sirve como condición de activación para la siguiente.

Mecanismo de Ataque

1. Inyección: El atacante inyecta una cadena de desencadenante una sola vez en el prompt del usuario.
2. Persistencia: El agente escribe el desencadenante y el estado inicial del ataque en la memoria persistente.
3. Autoactivación: En sesiones posteriores, el desencadenante persiste en la memoria (ya sea a través del módulo de memoria o una herramienta de notas), permitiendo que el agente se autoactive sin mayor intervención del atacante.
4. Ejecución Condicional: El agente verifica el entorno actual (herramientas disponibles). Si las herramientas requeridas para la fase actual están presentes, ejecuta el comportamiento del ataque y actualiza el estado. Si no, espera, preservando el estado para una sesión futura donde las herramientas podrían estar disponibles.

Contribuciones Clave

1. Ataque de Puerta Trasera de Agente con Estado: El artículo identifica la suposición implícita de falta de estado en las puertas traseras de agentes existentes e introduce un modelo de amenaza trans-sesión bajo aislamiento de permisos.
2. Formalización como Máquina de Mealy: El ataque se formaliza como una máquina de Mealy, proporcionando un marco riguroso para modelar ataques multifásicos dependientes del estado.
3. Marco de Descomposición: Se deriva un marco de construcción que reduce el ataque complejo a la construcción de datos independiente por transición, facilitando el entrenamiento de comportamientos con estado.
4. Extensibilidad: El marco se valida con topologías alternativas (bifurcación y fusión) y componentes persistentes alternativos (reemplazando la memoria con una herramienta de notas), demostrando generalización.
5. Validación del Modelo de Amenaza: Los autores verifican el realismo de las suposiciones de su modelo de amenaza (aislamiento de sesión y almacenamiento persistente compartido entre sesiones) frente a cuatro marcos de agentes principales (LangGraph, CrewAI, Microsoft Agent Framework y OpenAI Agents SDK).

Resultados Experimentales

El marco se instanció en un escenario de exfiltración de privacidad a través de cuatro modelos: Llama-3.1-8B, Qwen2.5-7B, Qwen2.5-14B y Ministral-3-14B.

• Tasa de Éxito del Ataque (ASR): La instanciación principal logró una ASR del 80%–95% en todos los modelos en evaluaciones de extremo a extremo (20 episodios por modelo).
• Efectividad por Transición: La evaluación por transición mostró tasas de éxito de ≥90% para cada sub-puerta trasera individual. El producto de las tasas por transición coincidió estrechamente con la ASR observada a nivel de episodio, validando la hipótesis de descomposición.
• Extensibilidad:
  • Bifurcación y Fusión: Una variante con una topología no trivial (bifurcación en herramientas de archivos vs. correo electrónico) logró ASRs del 70%–100%, aunque la complejidad introdujo más modos de fallo (por ejemplo, recuperación retroactiva, ejecución prematura).
  • Basado en Notas: Reemplazar la memoria persistente con una herramienta de notas mantuvo la efectividad, con ASRs que oscilaron entre el 80% y el 90%.
• Falsos Positivos: La Tasa de Falsos Positivos (FPR) para la exfiltración exitosa fue baja (0%–5%). Aunque ocurrieron activaciones falsas intermedias (por ejemplo, identificar incorrectamente cadenas no relacionadas como desencadenantes), raramente escalaron a una exfiltración exitosa debido a discrepancias de estado.
• Impacto en la Capacidad Normal: El ajuste fino tuvo un impacto mínimo en las capacidades generales (las puntuaciones de MMLU disminuyeron en un máximo de 1.7 puntos) y en realidad mejoraron la adherencia al formato ReAct (la Proporción de Seguir Pasos aumentó a ~100%).

Significado y Afirmaciones

El artículo afirma que los componentes persistentes en los sistemas de agentes no sirven meramente como superficies de ataque, sino como elementos integrales de la lógica de ataque. Al aprovechar estos componentes, los atacantes pueden eludir el aislamiento de permisos a nivel de sesión, habilitando ataques que anteriormente eran imposibles bajo suposiciones sin estado.

Los autores enfatizan que su modelo de amenaza es realista, ya que las condiciones requeridas (aislamiento de sesión con almacenamiento persistente compartido) están presentes en los marcos de agentes principales. Argumentan que esto revela una "brecha implícita" en el aislamiento de permisos a nivel de sesión, sugiriendo que el diseño seguro de sistemas de agentes debe tener en cuenta la persistencia de estado entre sesiones y los posibles flujos de ataque con estado. El trabajo tiene como objetivo aumentar la conciencia de la comunidad e impulsar la investigación defensiva, como la auditoría de comportamiento entre sesiones y el control de permisos sobre componentes persistentes.