Resumen Técnico: Más allá de las recompensas en el Aprendizaje por Refuerzo para la Ciberdefensa

1. Planteamiento del Problema

Los agentes de Defensa Cibernética Autónoma (ACD, por sus siglas en inglés) entrenados mediante Aprendizaje por Refuerzo Profundo (DRL) se despliegan cada vez más en entornos de "gimnasios cibernéticos" para proteger sistemas de red. Estos agentes son típicamente entrenados utilizando funciones de recompensa densas y altamente diseñadas por ingeniería que combinan numerosas penalizaciones e incentivos para estados de red y acciones específicas. Aunque las recompensas densas facilitan una exploración más rápida en entornos complejos, introducen riesgos significativos:

• Sesgo Subóptimo: Pueden restringir a los agentes a soluciones subóptimas que contienen debilidades evitables difíciles de detectar antes de un ataque.
• Equivalencias Arbitrarias: A menudo imponen equivalencias numéricas arbitrarias entre distintos estados de red y acciones, lo cual resulta cada vez más difícil de gestionar a medida que la complejidad de la tarea escala.
• Limitaciones de Evaluación: Los métodos de evaluación actuales dependen de la recompensa episódica media, la cual no logra capturar la "verdad fundamental" (ground truth) de los entornos cibernéticos complejos. Específicamente, los gimnasios cibernéticos estándar suelen pasar por alto los eventos intra-paso (por ejemplo, un nodo comprometido y restaurado inmediatamente dentro de un mismo paso de tiempo), lo que conduce a evaluaciones de rendimiento inexactas que oscurecen las diferencias críticas de riesgo entre políticas.

2. Metodología

Los autores proponen un marco de evaluación integral para comparar funciones de recompensa dispersas y densas a través de dos gimnasios cibernéticos establecidos: Yawning Titan (YT) y Cyber Autonomy Gym for Experimentation (CAGE 2).

2.1. Mecanismo de Puntuación de Verdad Fundamental (Ground Truth)

Para abordar las limitaciones de la evaluación discreta por pasos, el artículo introduce una Puntuación de Verdad Fundamental ($Score_{GT}$).

• Definición: $Score_{GT}(t) = \max(m^{intra}_t, m^{end}_t)$, donde $m^{intra}_t$ y $m^{end}_t$ son el número de nodos comprometidos durante el paso y al final del paso, respectivamente.
• Propósito: Esta métrica captura el compromiso máximo ocurrido dentro de un paso de tiempo, independientemente del orden en que se ejecuten las acciones de rojo (atacante) y azul (defensor). Proporciona una base reproducible e independiente de la recompensa para comparar agentes entrenados con diferentes estructuras de recompensa.

2.2. Métricas de Fiabilidad y Riesgo

El estudio evalúa a los agentes utilizando métricas que van más allá de la recompensa episódica media:

• Fiabilidad del Entrenamiento: Medida a través de la Variabilidad de Dispersión en el Tiempo ($\bar{DT}$) y entre Ejecuciones ($DR'$), cuantificando la estabilidad y la reproducibilidad del entrenamiento.
• Riesgo tras el Entrenamiento: Medido utilizando el Valor en Riesgo Condicional (CVaR) aplicado a ejecuciones de política fija, centrándose específicamente en la peor pérdida esperada (por ejemplo, el peor 5% de los resultados).

2.3. Configuración Experimental

• Entornos:
  • Yawning Titan: Configurado con estructuras de red lineales que van desde 2 a 50 nodos. Los espacios de acción incluyeron "básicos" (escanear, restaurar) y "extendidos" (añadir "colocar señuelo").
  • MiniCAGE: Una versión refinada de CAGE 2 que presenta una red empresarial con 3 subredes (usuario, empresa, operativa) y 13 hosts.
• Algoritmos: Los experimentos utilizaron PPO (Optimización de Política Próxima) y DQN (Red Q-Deep).
• Funciones de Recompensa:
  • Dispersas (Sparse): Positiva Dispersa (SP), Negativa Dispersa (SN), Positiva-Negativa Dispersa (SPN).
  • Densas: Negativa Densa (DN), Negativa Densa Compleja (CDN) (que representa las recompensas estándar de los gimnasios).
• Orden de los Agentes: Los experimentos probaron tres ordenamientos de acciones: Rojo-luego-Azul (estándar), Azul-luego-Rojo, y Aleatorio (simulando la incertidumbre en el tiempo del atacante).

3. Contribuciones Clave

1. Evaluación de Verdad Fundamental: La introducción de $Score_{GT}$, que revela compromisos intra-paso que a menudo se ocultan en las evaluaciones estándar de los gimnasios, permitiendo la comparación directa de estrategias de recompensa.
2. Análisis Integral de Recompensas: Una evaluación sistemática de recompensas dispersas frente a densas a través de diversos tamaños de red, espacios de acción y algoritmos de DRL.
3. Cuantificación de Riesgo y Fiabilidad: Demostrar que la elección de la función de recompensa impacta significativamente la fiabilidad del entrenamiento y los perfiles de riesgo en el peor de los casos, métricas que a menudo se ignoran en favor de las recompensas episódicas medias.
4. Evidencia Empírica de Recompensas Dispersas: Mostrar que las recompensas dispersas alineadas con los objetivos pueden generar políticas superiores con menor riesgo y mayor fiabilidad en comparación con las recompensas densas complejas.

4. Resultados Clave

• Superioridad de las Recompensas Dispersas: Los agentes entrenados con recompensas Positivas Dispersas (SP) y Positivas-Negativas Dispersas (SPN) superaron consistentemente a aquellos entrenados con recompensas densas (DN, CDN) en todos los tamaños de red y ordenamientos de agentes.
  • En Yawning Titan, SPN logró el $Score_{GT}$ promedio más bajo (menos nodos comprometidos).
  • En MiniCAGE, SP y SPN lograron el mejor $Score_{GT}$ y demostraron una mejor alineación con los objetivos de seguridad (por ejemplo, confinar los compromisos a las subredes de usuario en lugar de a los servidores operativos).
• Fiabilidad del Entrenamiento: Las recompensas dispersas resultaron en una variabilidad de dispersión significativamente menor ($\bar{DT}$ y $DR'$), indicando un entrenamiento más estable y reproducible en comparación con las recompensas densas, que mostraron una variabilidad un orden de magnitud superior.
• Mitigación de Riesgos: Las políticas de recompensa dispersa exhibieron menores riesgos en el peor de los casos (menor RF Superior). Notablemente, en el ordenamiento "Azul-luego-Rojo" con espacios de acción extendidos, los agentes SP alcanzaron un $Score_{GT}$ de 0 (defensa perfecta), mientras que los agentes de recompensa densa no lograron alcanzar dicho óptimo.
• Robustez al Orden de los Agentes: Las recompensas dispersas, particularmente SPN, mantuvieron un rendimiento superior incluso bajo un ordenamiento de agentes aleatorio (el escenario más realista y desafiante), mientras que el rendimiento de las recompensas densas se degradó significativamente.
• Eficiencia de Acción: Los agentes de recompensa dispersa aprendieron a utilizar las acciones defensivas costosas (por ejemplo, "restaurar") de manera más escasa y estratégica, sin penalizaciones numéricas explícitas por dichas acciones, mientras que los agentes de recompensa densa a menudo las sobreutilizaban debido a las penalizaciones de ingeniería.

5. Significado y Reivindicaciones

El artículo sostiene que la dependencia actual de funciones de recompensa densas y diseñadas a mano en los gimnasios cibernéticos puede ser subóptima para el despliegue de ACD en el mundo real. Al introducir un mecanismo de puntuación de verdad fundamental y métricas de riesgo rigurosas, los autores demuestran que:

• Las recompensas dispersas y alineadas con los objetivos no solo son suficientes para aprender políticas efectivas, sino que a menudo son más fiables y seguras que las alternativas densas.
• Las prácticas de evaluación en este campo deben evolucionar para incluir la puntuación de verdad fundamental y métricas conscientes del riesgo (CVaR, variabilidad de dispersión) en lugar de depender únicamente de las recompensas episódicas medias.
• Guía Práctica: Los autores recomiendan adoptar recompensas dispersas y alineadas con los objetivos por defecto, evaluar los agentes con un ordenamiento intra-paso aleatorizado y reportar la reproducibilidad del entrenamiento y los riesgos en el peor de los casos.

Este trabajo posiciona estos hallazgos como un prerrequisito para desplegar agentes de ACD que puedan aumentar de manera responsable a los defensores humanos, enfatizando que el diseño de recompensas efectivas es crítico para evitar la introducción de riesgos evitables en los sistemas de defensa cibernética autónoma.