Resumen Técnico: Aprendizaje de la Política del Agente Rojo a partir de Observaciones para Agentes Cibernéticos Autónomos Neurosimbólicos

Planteamiento del Problema

Los sistemas modernos de defensa cibernética autónoma dependen cada vez más de agentes de Aprendizaje por Refuerzo (RL) para aplicar reglas de seguridad y adaptarse a las amenazas en evolución. Sin embargo, estos entornos son inherentemente parcialmente observables. Específicamente, el defensor (agente azul) no puede observar directamente las acciones o políticas del atacante (agente rojo). El defensor solo percibe transiciones de estado parciales y resultados indirectos de los ataques. Esta falta de visibilidad dificulta la capacidad de reconstruir la verdadera dinámica del sistema, predecir los movimientos del atacante o evaluar los niveles de intrusión de manera efectiva.

Si bien el aprendizaje por imitación se ha aplicado para inferir políticas latentes en el control clásico y dominios de video, los métodos existentes no son directamente aplicables a las redes autónomas. Esto se debe a que los estados de red son típicamente discretos (instantáneas de las actividades de hosts/servidores) y las transiciones de estado dependen de las acciones conjuntas tanto del agente rojo como del azul. En consecuencia, existe una necesidad crítica de una técnica que pueda aprender las políticas del agente rojo y predecir las acciones del rojo en tiempo de ejecución utilizando únicamente observaciones azules y acciones azules.

Metodología

Los autores proponen una Técnica de Aprendizaje de Políticas basada en el aprendizaje por imitación, diseñada para inferir las políticas del agente rojo ($\pi'$) y predecir las acciones del rojo ($r_{t-1}$) a partir de observaciones azules consecutivas ($o^b_{t-1}, o^b_t$) y la acción azul previa ($b_{t-1}$). El enfoque se estructura en tres fases y se integra con un marco neurosimbólico.

1. Formulación del Problema

La red se modela como un Proceso de Decisión de Markov Parcialmente Observable (POMDP) de tiempo discreto. El objetivo es aprender la política roja $\pi'$ dado una política azul conocida $\pi$. La entrada consiste en:

• Observaciones azules en $t-1$ y $t$.
• La acción azul ejecutada en $t-1$.
• El objetivo es predecir la acción roja ejecutada en $t-1$.

2. Técnica de Aprendizaje de Tres Fases

La técnica emplea un modelo de dinámica de múltiples etapas utilizando Redes Neuronales Profundas (DNN):

• Fase I: Generación de Datos

  • El sistema interactúa con el entorno para recolectar transiciones $(o^b_{t-1}, b_{t-1} \to o^b_t)$.
  • Se genera un conjunto de datos $D$ para el entrenamiento.
  • Se genera un conjunto de datos etiquetado $D_R$ extrayendo las acciones reales del agente rojo ($r_{t-1}$) del sistema (no observables durante el tiempo de ejecución real) y preprocesándolas en componentes: nombre de la acción, host objetivo y subred.

• Fase II: Aprendizaje de la Política (Inferencia de Acción Latente)

  • Codificación: Las acciones y objetivos azules se codifican mediante one-hot encoding.
  • Aprendizaje de Acción Latente: Se entrenan conjuntamente dos modelos:
    1. Modelo de Dinámica Inversa (IDM1): Estima una acción roja latente ($l_{t-1}$) dadas las observaciones y las acciones azules.
    2. Modelo de Dinámica hacia Adelante (FDM1): Predice la observación actual ($\tilde{o}^b_t$) dado el estado anterior, la acción azul y la acción latente inferida.
    • Estos se entrenan para minimizar el error de observación $|\tilde{o}^b_t - o^b_t|$, forzando a la acción latente a capturar la dinámica roja faltante.
  • Imitación de la Política: Un segundo Modelo de Dinámica Inversa (IDM2) se entrena para imitar las acciones latentes aprendidas por IDM1, aprendiendo efectivamente la política $\pi'$.
  • Mapeo a Acciones Discretas: Un Modelo de Dinámica hacia Adelante (FDM2) mapea las acciones latentes continuas de vuelta a los componentes de la acción roja discreta (nombre de la acción, host, subred). Estos resultados se someten a un umbral para producir codificaciones binarias one-hot para la acción roja predicha final $\hat{r}_{t-1}$.

3. Integración con Agentes Neurosimbólicos

La política aprendida se integra en un Árbol de Comportamiento Evolutivo (EBT), una arquitectura neurosimbólica que combina Árboles de Comportamiento (BTs) con Componentes Habilitados por Aprendizaje (LECs).

• Se añaden nuevos comportamientos al EBT para realizar la predicción en tiempo de ejecución.
• Un nodo de condición asegura que exista suficiente historial de observación antes de la predicción.
• El EBT selecciona la política roja aprendida apropiada basándose en la estrategia azul activa (por ejemplo, distinguiendo entre estrategias de atacante "Meander" y "B line").
• Si no existe una política, el sistema registra las transiciones para el análisis fuera de línea.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Técnica de Aprendizaje de Políticas: Un método novedoso para aprender las políticas del agente rojo y predecir las acciones del rojo en entornos de RL parcialmente observables con estados y acciones discretos, utilizando únicamente observaciones y acciones azules.
2. Integración Neurosimbólica: La integración exitosa de esta técnica en un agente de defensa cibernética autónoma basado en árboles de comportamiento, permitiendo la predicción de movimientos adversarios en tiempo de ejecución.
3. Evaluación Empírica: Una evaluación exhaustiva utilizando el entorno CybORG CAGE Challenge 2, que utiliza tácticas de MITRE ATT&CK. El enfoque demuestra una alta precisión a través de diversas estrategias, incluyendo el cambio dinámico de estrategia.

Resultados Experimentales

Los autores evaluaron la técnica en el entorno CybORG CAGE Challenge 2 utilizando dos estrategias de atacante estáticas (Meander y B line) y una estrategia de cambio dinámico (RedSwitch).

• Precisión de Predicción:

  • B line: Logró la mayor precisión (99.93% para la predicción de la observación azul, 95.28% para la predicción de la acción roja a nivel de host) debido a su naturaleza determinista y orientada a objetivos.
  • Meander: Mostró una precisión menor (94.96% en observación, 77.71% en host) debido a la mayor variabilidad de su comportamiento.
  • RedSwitch: El rendimiento varió según la estrategia activa; la precisión aumentó cuando el agente cambió a la estrategia B line.
  • Subred vs. Host: La precisión de la predicción a nivel de subred superó consistentemente la precisión a nivel de host en todas las estrategias, atribuido a la aleatoriedad inherente en la selección del host objetivo.

• Estimación del Nivel de Intrusión:

  • Las acciones predichas se utilizaron para calcular puntuaciones de intrusión basadas en niveles de compromiso (Ninguno, Nivel de Usuario, Nivel de Privilegio).
  • Los resultados indicaron que el agente EBT azul fue significativamente más efectivo mitigando ataques bajo la estrategia Meander en comparación con B line y RedSwitch, como lo evidencia el menor número de pasos de tiempo alcanzando el Compromiso de Nivel de Privilegio.

Significado y Reivindicaciones

El artículo afirma que su técnica propuesta aborda eficazmente el desafío de la observabilidad parcial en la defensa cibernética autónoma. Al inferir las políticas del rojo en tiempo de ejecución, el sistema permite:

• Detección temprana de movimientos adversarios antes de un compromiso profundo de la red.
• Estimación de los niveles de intrusión del atacante a lo largo del tiempo.
• Refinamiento de las estrategias de mitigación mediante la identificación de debilidades de la red expuestas por las acciones predichas del rojo.

Los autores señalan que, si bien la evaluación actual se basa en un entorno simulado (CybORG CAGE Challenge 2) derivado de MITRE ATT&CK, la técnica es generalizable a cualquier agente de RL con estados y acciones discretas que sea parcialmente observable. El trabajo futuro se identifica como la validación del enfoque en entornos emulados realistas y el aprovechamiento de las acciones predichas del rojo para entrenar agentes azules más robustos. El trabajo se presenta como un paso hacia sistemas de defensa autónomos más adaptativos e interpretables.