Resumen Técnico: Un Marco de Red Team para Evaluar la Robustez de los Sistemas SOAR Habilitados con IA

Declaración del Problema

A medida que las empresas adoptan cada vez más sistemas de Orquestación, Automatización y Respuesta de Seguridad (SOAR) habilitados con IA para la detección y respuesta autónoma de amenazas, la resiliencia de estos sistemas frente a adversarios adaptativos y estratégicos sigue siendo poco explorada. Las pruebas de penetración tradicionales y la red teaming basada en reglas no logran capturar la naturaleza dinámica y de múltiples pasos de las campañas de ataque del mundo real. Si bien los avances recientes en Modelos de Lenguaje Grande (LLM) y Aprendizaje por Refuerzo (RL) ofrecen potencial para la red teaming autónoma, ambos paradigmas exhiben limitaciones fundamentales cuando se aplican de forma independiente:

• LLM: Tienen dificultades con el seguimiento de estados a largo plazo, la consistencia de las acciones y la adaptación mediante retroalimentación del entorno. A menudo no logran sostener campañas de ataque de múltiples etapas contra defensores adaptativos.
• RL: Padece de ineficiencia en el uso de muestras, interpretabilidad limitada y pobre generalización a través de entornos cibernéticos heterogéneos. Los agentes puramente de RL a menudo convergen hacia políticas degeneradas (por ejemplo, repetir acciones de reconocimiento) cuando se enfrentan a recompensas escasas y espacios de estado complejos.

Existe una brecha crítica en la evaluación de la robustez de los sistemas de defensa cibernética habilitados con IA frente a agentes que pueden combinar razonamiento estratégico de alto nivel con ejecución táctica adaptativa.

Metodología

Los autores proponen un marco híbrido jerárquico que integra la planificación estratégica basada en LLM con la ejecución táctica basada en RL para la red teaming autónoma. El sistema se modela como un Proceso de Decisión de Markov Parcialmente Observable (POMDP) y opera dentro del entorno del Desafío CAGE 4 de CybORG, una simulación de red empresarial de alta fidelidad que presenta observabilidad parcial y defensores de IA coordinados.

Arquitectura

El marco desacopla al agente en dos niveles distintos:

1. Planificador Estratégico (LLM): Un LLM congelado opera a una resolución temporal gruesa (por ejemplo, cada 20 pasos). Genera "intenciones" estructuradas basadas en las observaciones actuales y la memoria opcional. Estas intenciones codifican decisiones de alto nivel como el tipo de acción, la táctica MITRE ATT&CK, la selección de objetivos y la postura de riesgo. Los parámetros del LLM permanecen fijos durante el entrenamiento para preservar el conocimiento externo.
2. Controlador Táctico (RL): Un controlador de RL entrenable (utilizando Optimización de Política Proximal, PPO) ejecuta acciones en cada paso de tiempo. Condiciona su política tanto en la observación actual del entorno como en la intención generada por el LLM. Esto permite que el controlador aprenda políticas fundamentadas en el entorno mientras se adhiere a la orientación estratégica de alto nivel.

Mecanismos Clave

• Formulación Jerárquica de Recompensas: Para abordar las recompensas escasas y retrasadas, los autores introducen una función de recompensa multi-componente ($r_t = r_{entorno} + r_{progreso} + r_{restricción} + r_{alineación}$). Esto incluye penalizaciones por acciones inválidas y bonificaciones por avanzar a través de las etapas de la cadena de asesinato (por ejemplo, descubrimiento, explotación, escalada de privilegios, impacto), alineadas con MITRE ATT&CK.
• Reflexión (Memoria): Un mecanismo opcional permite que el planificador LLM genere reflexiones en lenguaje natural al final de cada episodio. Estas reflexiones (resumiendo éxitos, fracasos y comportamientos de los defensores) se almacenan en un búfer FIFO y se retroalimentan a la entrada del planificador para episodios posteriores, permitiendo la adaptación estratégica sin actualizaciones de parámetros.
• Representación del Estado: Las observaciones se transforman en un resumen de texto para el LLM y en un vector de características numéricas para el controlador de RL. La intención estructurada del LLM se codifica en un espacio de incrustación compatible con la red de políticas de RL.

Contribuciones Clave

1. Arquitectura Jerárquica LLM-RL: El artículo presenta una arquitectura novedosa que desacopla la planificación estratégica (LLM) de la ejecución táctica (RL), permitiendo una interacción estructurada entre la generación de intenciones de alto nivel y el control fundamentado en el entorno de bajo nivel.
2. Marco de RL Alineado con la Cadena de Asesinato: Los autores introducen un mecanismo de formulación de recompensas diseñado específicamente para guiar el comportamiento adversario a largo plazo consistente con las etapas de MITRE ATT&CK, estabilizando el aprendizaje en entornos de recompensas escasas.
3. Estudio Empírico Exhaustivo: El trabajo evalúa una amplia gama de LLM (de 0.6B a 70B parámetros), incluyendo modelos de propósito general (Qwen3, Llama), especialistas en razonamiento (DeepSeek-R1, QwQ) y modelos de ciberseguridad especializados en el dominio (Foundation-Sec, DeepHat).
4. Evaluación Rigurosa: El marco se evalúa frente al defensor autónomo publicado más fuerte para el entorno CAGE 4 (política Experto H-MARL), proporcionando una prueba robusta de las capacidades de red team bajo condiciones adversarias realistas.

Resultados

Los experimentos se realizaron durante 200 episodios en el entorno CAGE 4. La métrica principal fue la Tasa de Compromiso del Episodio (ECR).

• Rendimiento del Marco Híbrido: Los agentes propuestos LLM+RL lograron un éxito casi perfecto.
  • Qwen3 + RL: Logró una ECR del 100% (200/200 episodios).
  • Foundation-Sec + RL: Logró una ECR del 94%.
  • Estos agentes avanzaron confiablemente a través de múltiples etapas de ataque, incluida la escalada de privilegios y el impacto.
• Limitaciones de LLM Independientes: Los agentes solo con LLM (zero-shot) exhibieron capacidades limitadas de extremo a extremo.
  • Solo 6 de 14 modelos lograron algún compromiso más allá del punto de apoyo inicial.
  • El modelo independiente más fuerte (QwQ-32B) tuvo éxito en solo el 30% de los episodios.
  • Los modelos especializados en el dominio (por ejemplo, Foundation-Sec-8B) generaron altos volúmenes de acciones pero no lograron traducir esto en un progreso significativo del ataque (6.5% de ECR), lo que indica que el conocimiento del dominio por sí solo es insuficiente sin una ejecución consistente.
• Limitaciones de RL Independiente: El agente solo de RL colapsó hacia una política degenerada, seleccionando una sola acción de reconocimiento en casi todos los pasos de tiempo y logrando una ECR del 0%. No logró descubrir la secuencia estructurada de acciones requerida para ataques de múltiples etapas bajo la estructura de recompensas dada.
• Observaciones de Escalado: El rendimiento en la familia Qwen3 fue no monótono; los modelos más pequeños (0.6B, 1.7B) lograron cierto éxito, mientras que las variantes más grandes (4B+) no lograron intentar la explotación a pesar de una exploración efectiva.

Significado y Afirmaciones

El artículo afirma que la red teaming autónoma contra sistemas SOAR habilitados con IA requiere el acoplamiento estrecho del razonamiento estratégico y la ejecución aprendida. Los autores argumentan que:

1. Los enfoques independientes son insuficientes: Ni los sistemas de solo razonamiento (LLM) ni los de solo aprendizaje (RL) pueden ejecutar comportamientos completos de la cadena de asesinato contra defensores adaptativos.
2. La integración híbrida produce una mejora multiplicativa: Combinar la planificación de LLM con la ejecución de RL resulta en mejoras sustanciales en el éxito de los ataques de múltiples etapas y en la robustez.
3. La planificación estructurada es más crítica que la especialización en el dominio: Los modelos de propósito general superaron consistentemente a los modelos más grandes y especializados en ciberseguridad en el entorno híbrido. Esto sugiere que la fiabilidad de la salida y la controlabilidad estructurada son requisitos clave para los LLM en sistemas de decisión jerárquicos, superando los beneficios de la ajuste fino específico del dominio.

El estudio concluye que este marco híbrido cierra la brecha entre las capacidades de razonamiento estratégico de los LLM y la ejecución táctica adaptativa de los RL, proporcionando un enfoque principiado para probar el estrés de la robustez de los sistemas de defensa cibernética autónoma.