💬 NLP

Cross-Session Threats in AI Agents: Benchmark, Evaluation, and Algorithms

Este artículo presenta CSTM-Bench, un nuevo conjunto de datos y marco de evaluación que demuestra cómo los sistemas de defensa actuales fallan ante amenazas distribuidas en múltiples sesiones y propone un algoritmo de memoria limitada junto con una métrica híbrida para mejorar la detección y la estabilidad de los agentes de IA.

Autores originales: Ari Azarafrooz

Publicado 2026-04-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ari Azarafrooz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un guardia de seguridad muy inteligente (una Inteligencia Artificial) que protege una oficina. Su trabajo es revisar cada persona que entra y decir: "¡Pasa!" o "¡Alto! Eso es peligroso".

El problema que describe este paper es que los ladrones han aprendido a engañar a este guardia de una manera muy astuta: ya no entran con un arma visible.

1. El Problema: El Ladrón que se Disfraza de Vecino

Imagina que un ladrón quiere robar los planos secretos de la oficina. En lugar de entrar corriendo con una llave maestra, decide hacer algo diferente:

Día 1: Pregunta amablemente por el clima. (El guardia dice: "Pasa, es inofensivo").
Día 2: Pide ayuda para arreglar una impresora. (El guardia dice: "Pasa, parece trabajo normal").
Día 3: Pregunta dónde está la cafetería. (El guardia dice: "Pasa").
...
Día 50: Pide un mapa de la oficina para "dibujar un plano de evacuación".

Si el guardia solo mira un día a la vez, todo parece normal. Cada pregunta por separado es inocente. Pero si juntas las 50 preguntas, ¡de repente tienes un mapa completo de la seguridad!

El paper llama a esto "Amenazas entre sesiones". Los guardias actuales (los sistemas de seguridad de IA) tienen una memoria muy corta: olvidan todo lo que pasó ayer. Solo miran lo que pasa ahora. Por eso, el ladrón puede dividir su ataque en cientos de pedacitos pequeños, pasar por la seguridad cada vez, y al final, tener todo lo que quería.

2. La Solución Propuesta: El "Buzón Inteligente"

Los autores dicen: "No podemos revisar todo el historial de 50 años de conversaciones cada vez que alguien habla, porque la IA se abrumaría y se volvería lenta".

En su lugar, proponen un sistema llamado Lector de Núcleo (Coreset Reader).

Imagina que en lugar de leer todo el historial, tienes un buzón inteligente que solo guarda las 50 cartas más importantes o sospechosas que ha recibido en el último tiempo.

Si alguien pregunta por el clima, el buzón lo ignora.
Si alguien pregunta por el mapa de seguridad, el buzón lo guarda porque es "raro".
Si alguien pide un plano de evacuación, el buzón lo guarda.

Cuando llega el guardia (la IA), en lugar de leer 10.000 páginas de chat, solo lee las 50 cartas más sospechosas que el buzón guardó. Así, el guardia puede ver el patrón completo ("¡Ah! ¡Están pidiendo mapas, planos y llaves! ¡Es un robo!") sin abrumarse con información inútil.

3. El Nuevo "Marcador de Puntuación" (CSTM)

El paper no solo crea este sistema, sino que crea una nueva forma de medir qué tan bien funciona. Imagina que estás evaluando a un detective.

Antes, solo mirábamos: "¿Atrapó al ladrón?" (Recall).
Ahora, el paper dice que también debemos mirar: "¿Cuánto le costó al detective pensar?" (Cost/Stability).

Ellos crearon una fórmula llamada CSTM que es como una nota final de dos partes:

70% de la nota: ¿Atrapó al ladrón antes de que robara? (Eficacia).
30% de la nota: ¿El buzón se mantuvo ordenado y estable? (Eficiencia).

Si el buzón cambia de cartas constantemente (borra una importante y pone una nueva sin razón), el sistema se vuelve lento y costoso. La idea es que un buen sistema debe ser rápido, barato y preciso.

4. El Laboratorio de Pruebas (CSTM-Bench)

Para probar si sus ideas funcionan, los autores crearon un videojuego de hackers.

Generaron 26 tipos de ataques diferentes (como "robo de contraseñas", "espionaje lento", "engaño visual").
Crearon dos versiones del juego:
- Versión 1 (Dilución): El ladrón mezcla sus preguntas malas con miles de preguntas normales para ver si el guardia se pierde en la multitud.
- Versión 2 (Cross-Session): El ladrón es tan bueno que sus preguntas individuales parecen 100% legales. Solo se nota el robo si juntas todas las conversaciones.

El resultado:

Los guardias que miran solo "un día a la vez" fallaron estrepitosamente en la Versión 2.
Los guardias que leen "todo el historial" también fallaron porque se abrumaron con tanta información.
El ganador: El sistema con el Buzón Inteligente (Coreset). Fue el único que logró ver el patrón del ladrón sin volverse loco, incluso cuando el ladrón intentó disfrazarse perfectamente.

En Resumen

Este paper nos dice que la seguridad de la IA no puede ser solo un "filtro de palabras clave" que olvida el pasado. Necesitamos sistemas que tengan una memoria selectiva: capaces de recordar solo lo importante, ignorar el ruido, y conectar los puntos entre conversaciones que parecen normales por separado pero que son peligrosas en conjunto.

Es como pasar de tener un guardia que solo mira tu cara al entrar, a tener un detective privado que, aunque no recuerda tu nombre, sí recuerda que llevas una mochila, un mapa y una linterna, y sabe que esa combinación es sospechosa.

Resumen Técnico: Amenazas Trans-Sesión en Agentes de IA

1. El Problema: Guardrails Sin Estado vs. Amenazas Con Estado

El artículo identifica una vulnerabilidad crítica en la seguridad de los agentes de IA: los sistemas de protección actuales (guardrails) son sin estado (stateless). Evalúan cada mensaje de forma aislada, sin memoria de interacciones anteriores o sesiones pasadas.

Sin embargo, las amenazas modernas son trans-sesión y con estado. Los atacantes distribuyen un ataque malicioso a través de decenas o cientos de sesiones, de modo que ninguna interacción individual contiene el "payload" malicioso. Solo el conjunto agregado de mensajes revela la intención maliciosa.

Ejemplos de ataques: Inyecciones de prompts de "goteo lento" (slow-drip), exfiltración composicional (reconstrucción de datos a través de múltiples sesiones), lavado semántico (transformar datos sensibles en texto benigno a lo largo del tiempo) y ataques de mosaico.
Fallo de las soluciones actuales: Los sistemas SIEM tradicionales correlacionan eventos después de que ocurren, lo cual es demasiado lento para agentes de IA donde la intención maliciosa está presente en el prompt de entrada antes de que se ejecute cualquier acción. Además, concatenar todos los logs en un solo contexto largo (Full-Log Correlator) falla debido a la dilución de la señal (el ataque se pierde en el ruido de las conversaciones benignas) y a la degradación de la atención de los LLMs en contextos muy largos.

2. Metodología y Diseño del Benchmark (CSTM-Bench)

Los autores introducen CSTM-Bench (Cross-Session Threat Memory Benchmark), un conjunto de datos y marco de evaluación diseñado para medir la capacidad de detectar estas amenazas.

Estructura del Dataset:
- 26 Taxonomías de Ataques: Clasificadas en dos ejes ortogonales: etapas de la Kill Chain (Promptware) y operaciones trans-sesión (accumulate, compose, launder, inject_on_reader).
- 7 Anclas de Identidad: Cada escenario se vincula a un sistema de roles específico (ej. soporte al cliente, DevOps, asesor financiero) con políticas estrictas para definir qué constituye una "violación".
- Clases de Tráfico:
  1. Ataque: Contiene un arco de ataque completo.
  2. Benigno-prístino: Trabajo legítimo sin distracciones.
  3. Benigno-difícil (Confounders): Trabajo legítimo que imita la forma de un ataque (ej. aprobaciones en cadena, instrucciones divididas) para probar falsos positivos.
- Dos Particiones (Splits):
  1. Dilution (Dilución): Mide la degradación de la señal cuando el contexto benigno rodea al ataque, pero el ataque sigue siendo visible en una sola sesión.
  2. Cross-Session (Adversarial): Generada mediante un bucle cerrado donde un reescritor (LLM) suaviza el lenguaje superficial de las sesiones de ataque para que pasen la detección por sesión, pero mantiene los artefactos trans-sesión intactos. Aquí, la detección solo es posible mediante correlación trans-sesión.
Métricas Propuestas:
- CSDA (Cross-Session Detection Accuracy): Mide si el ataque se detecta antes de que se ejecute la acción objetivo (action-on-objective).
- FPR (False Positive Rate): Separado en escenarios prístinos y difíciles.
- CSR_prefix (Coreset Stability Rate): Una métrica innovadora que mide la estabilidad del orden del búfer de memoria. Es crucial porque un búfer inestable invalida la caché KV (Key-Value) del LLM, aumentando drásticamente el costo de servicio.
- Puntuación Compuesta (CSTM): $CSTM = 0.7 \cdot F1 + 0.3 \cdot CSR_{prefix}$ . Combina calidad de detección y eficiencia operativa.

3. Contribuciones Clave

Formalización del Problema y Dataset: CSTM-Bench es el primer benchmark que evalúa explícitamente la detección de amenazas trans-sesión con ground-truth basado en políticas y confusores realistas.
Evaluación de Viabilidad de Correladores LLM: Demuestran empíricamente que un correlador basado en LLM que lee todo el historial (Full-Log Correlator) pierde aproximadamente el 50% de su capacidad de recuperación (recall) al pasar de la partición de dilución a la adversarial, incluso cuando el tamaño del contexto está dentro de los límites del modelo. Esto confirma que el problema es de dilución de señal, no de límite de tokens.
Dirección Algorítmica y Métrica de Costo: Proponen la arquitectura de Lector de Memoria Coreset (Coreset Memory Reader). En lugar de leer todo el historial, este lector mantiene un búfer acotado (ej. K=50) que retiene solo los fragmentos de mayor "señal" o sorpresa.
- Introducen CSR_prefix como una métrica de primer nivel, libre de etiquetas y LLM, para medir el costo de servicio en tiempo real.

4. Resultados Principales

Fallo del Correlador de Log Completo: El enfoque de "concatenar todo el log" falla sistemáticamente ante ataques adversarios que reescriben el texto superficial. En la partición cross-session, su recall cae de 23/26 a 13/26.
Éxito del Lector Coreset: El Coreset Memory Reader (mismo modelo LLM, pero con un búfer acotado de 50 entradas gestionado por un clasificador de sorpresa) es el único lector que mantiene un recall robusto (19/26) en la partición adversarial.
- Logra recuperar ataques que el juez por sesión y el correlador de log completo pierden.
- Reduce significativamente los falsos positivos en escenarios "Benigno-difícil" al eliminar el ruido benigno antes de que llegue al LLM.
Estabilidad y Costo: Aunque el Lector Coreset tiene un costo de servicio ligeramente mayor debido a la reordenación del búfer (CSR_prefix ~0.44 vs 1.0 del log completo), su superioridad en detección (F1) compensa el costo en la puntuación compuesta CSTM en escenarios difíciles.
Conclusión de Viabilidad: La detección trans-sesión efectiva no requiere contextos infinitos, sino un cuello de botella arquitectónico inteligente que filtre el ruido antes de la correlación.

5. Significado e Impacto

Cambio de Paradigma: El trabajo demuestra que la seguridad de los agentes de IA no puede depender solo de la inspección de mensajes individuales ni de la simple acumulación de logs. Se requiere una arquitectura de memoria acotada y selectiva que opere en el momento de la intención (intention time).
Eficiencia Operativa: Al introducir la métrica CSR_prefix, los autores vinculan directamente la calidad de la detección con el costo de inferencia (reutilización de caché KV), proporcionando una guía práctica para implementaciones en producción.
Llamado a la Acción: El benchmark está diseñado para ser una base para la comunidad, invitando a desarrollar mejores algoritmos de clasificación (rankers) y a probar múltiples proveedores de modelos, ya que el estudio actual se centró en una familia de modelos (Anthropic Claude) y prompts no optimizados.

En resumen, el artículo establece que la memoria acotada y selectiva es la respuesta arquitectónica necesaria para defender a los agentes de IA contra ataques que se ocultan en la agregación de múltiples sesiones, superando las limitaciones de los enfoques actuales de "log completo" y "sin estado".