Resumen Técnico: Firmas de Trayectoria Forense para la Detección de Envenenamiento de Memoria de Agentes

Declaración del Problema

El artículo aborda el desafío de detectar ataques de envenenamiento de memoria persistente en agentes de Modelos de Lenguaje Grande (LLM). A diferencia del EDR (Detección y Respuesta de Endpoints) clásico que analiza trazas de procesos, la seguridad de los agentes de LLM carece de metodologías establecidas para identificar canales de ataque específicos utilizando únicamente registros observables. Las defensas existentes suelen requerir acceso a almacenes de memoria (p. ej., MemLineage), a los internos de caja blanca del modelo (p. ej., análisis de activación) o a capas de recuperación previas a la inyección (p. ej., RAG Sanitizer), imponiendo demandas de infraestructura que muchos operadores no pueden cumplir.

La amenaza específica modelada es un Ataque de Disparo Retardado (DTA): un adversario inyecta una instrucción maliciosa a través de un documento recuperado por RAG, la cual el agente almacena en su memoria persistente. En una sesión posterior, el agente recupera esta regla almacenada y ejecuta una acción maliciosa (p. ej., exfiltración de correo electrónico). La restricción del detector es estricta: observa únicamente la secuencia de llamadas a herramientas y las marcas de tiempo, sin acceso al contenido de la memoria, a los pesos del modelo o a los mensajes del usuario.

Metodología

Modelo de Amenaza y Supuestos

El estudio asume una arquitectura donde la memoria persistente se accede exclusivamente a través de operaciones de recuperación observables (llamadas a herramientas). La información de enrutamiento del atacante se almacena como un valor en la memoria, lo que requiere una llamada específica a la herramienta recall fact para recuperar la dirección de destino antes de que se pueda ejecutar una herramienta send email. Esto contrasta con los ataques de inyección de prompts donde la regla está incrustada directamente en el prompt del usuario.

Conjunto de Datos

La evaluación utiliza 2,520 ejecuciones etiquetadas de un experimento factorial que cubre:

• 9 Modelos: Desde 7B hasta 120B de parámetros (familias Qwen, GLM, GPT-OSS).
• 7 Condiciones de Defensa: Incluyendo Minimizer, Sanitizer, RAG Sanitizer, Prompt Hardening y Memory Sandbox.
• Etiquetas: 1,919 éxitos de ataque (ocurrió la exfiltración) y 601 sesiones sin exfiltración (envenenadas pero defendidas). El clasificador distingue entre ejecuciones de ataque exitosas y no exitosas dentro del brazo DTA.

Ingeniería de Características

Las características se extraen únicamente de la sesión de disparo (S4) para evitar la fuga de etiquetas. El estudio define 19 características de trayectoria basadas en el orden y conteo de llamadas a herramientas:

• Conteos: Frecuencias de llamadas puras (p. ej., recall count, send count).
• Estructurales: Indicadores binarios como recall before send (¿ocurrió una recuperación antes del primer envío?) y send without recall.
• Transiciones: Conteos de bigramas de llamadas a herramientas consecutivas (p. ej., list then recall, draft then send).
• Puntos de Entrada: La identidad de la primera herramienta llamada en la sesión.

Clasificación y Evaluación

Se entrenaron tres clasificadores (Regresión Logística, Random Forest, Árboles de Gradiente Potenciado) utilizando validación cruzada de 5 pliegues estratificada. La métrica principal es la Sensibilidad (Recall) (minimizando falsos negativos/ataques no detectados), con el AUC-ROC como métrica secundaria. La evaluación incluye pruebas de retención de dejar un modelo fuera (leave-one-model-out) y sondas de modelos de frontera (GPT-4.1).

Hallazgos Clave y Resultados

1. Descubrimiento de un Invariante de Comportamiento

El hallazgo central es un invariante de comportamiento mecánicamente forzado: los ataques de envenenamiento de canal de memoria exitosos deben exhibir una llamada a recall fact antes de la llamada a send email. Esto no es una correlación estadística, sino una necesidad estructural; sin recuperar la dirección de enrutamiento almacenada, el agente no puede completar la exfiltración.

• Rendimiento de la Regla Simple: Un detector basado únicamente en la transición recall before send logra un AUC = 0.9563.
• Robustez Mecanicista: Suprimir esta transición rompe el ataque, ya que el agente no puede recuperar la dirección de destino.

2. Firma Sobredeterminada

El ataque deja una firma distribuida a través de múltiples canales de comportamiento independientes, no solo en el evento de recuperación único.

• Rendimiento del Clasificador Completo: Un Random Forest que utiliza las 19 características logra un AUC = 0.9904 (BCa 95% CI [0.987, 0.993]) con una Sensibilidad de 0.9838.
• Estudio de Ablación: Eliminar todas las características relacionadas con la recuperación (9 características) deja el AUC inalterado en 0.9904. Esto confirma que la firma es sobredeterminada; la dependencia de recuperación de información del ataque dispara una cascada de cambios de comportamiento descendentes detectables (p. ej., conteos de draft, conteos de envío, patrones de transición) incluso sin las características explícitas de recuperación.

3. Generalización entre Modelos

El invariante se generaliza a través de familias de modelos y escalas de parámetros (7B–120B):

• Validación de Retención (Hold-Out): En 6 de 9 modelos retenidos, el clasificador logró un AUC = 1.000.
• Excepciones:
  • qwq:32b (AUC=0.000): Un fallo de "bypass implícito" donde el modelo utiliza un fallback de RAG sin llamar a recall fact, evadiendo el canal de memoria por completo.
  • qwen2.5:14b (AUC=0.083): Una inversión de distribución donde las sesiones no atacantes llaman agresivamente a la recuperación para verificar datos benignos, imitando la firma del ataque (aunque la Sensibilidad se mantiene en 1.000).
  • qwen3.5:122b (AUC=0.750): Ambigüedad de etiqueta debido a sesiones "durmientes" donde el modelo almacena pero se niega a ejecutar la regla.
• Modelos de Frontera: El clasificador, entrenado solo con modelos de código abierto, logró una Sensibilidad = 1.000 en sondas de GPT-4.1 sin reentrenamiento.

4. Límites de Despliegue y Evasión

• Detección de Solo Prefijo: Un clasificador estrictamente de solo prefijo (que opera antes del evento send) logra un AUC = 0.934, lo que sugiere que el bloqueo en tiempo real es factible con una degradación moderada.
• Límite de Evasión: Los ataques de inyección de prompts (donde la regla está en el prompt, no en la memoria) producen una trayectoria distinta con recall before send = 0. El detector asigna correctamente a estos un puntaje bajo (media de 0.541), permitiendo a los respondedores de incidentes distinguir entre ataques de canal de memoria y ataques de inyección de prompts usando solo los registros de llamadas a herramientas.
• Falsos Negativos: Todos los 31 falsos negativos se originaron en la condición de defensa Memory Sandbox (donde se elimina recall fact del esquema de herramientas) o en la arquitectura específica de bypass implícito de qwq:32b.

Significancia y Reivindicaciones

El artículo afirma que la principal contribución es el descubrimiento empírico de un invariante de comportamiento estable y sobredeterminado en las trayectorias de ejecución de los agentes, más que la arquitectura del clasificador en sí.

• Utilidad Forense: El detector opera como un "IDS de Espacio de Estados" para ataques de canal de memoria, requiriendo solo registros de llamadas a herramientas (un nivel de despliegue más bajo que la inspección de memoria o los internos del modelo).
• Atribución de Canal: Permite la distinción entre ataques de envenenamiento de memoria y ataques de inyección de prompts basándose únicamente en los registros de operación.
• Robustez Estructural: La detección depende de una característica (recall before send) que está mecánicamente forzada por la dependencia de recuperación de información del ataque. Un adversario no puede suprimir esta característica sin romper el ataque o cambiar el vector de ataque a inyección de prompts.
• Generalizabilidad: La firma se transfiere a través de familias de modelos y escalas de parámetros sin reentrenamiento, lo que indica que refleja el mecanismo del ataque y no comportamientos específicos del modelo.

Los autores posicionan este trabajo como una herramienta de auditoría forense que complementa los mecanismos de prevención, proporcionando detección y atribución de alta confianza para incidentes donde las defensas de prevención (como Memory Sandbox) pueden fallar o donde el ataque ya ha ocurrido.