Explainable Autonomous Cyber Defense using Adversarial Multi-Agent Reinforcement Learning

Aquí presento un resumen técnico detallado del artículo "Explainable Autonomous Cyber Defense using Adversarial Multi-Agent Reinforcement Learning" (Defensa Cibernética Autónoma Explicable usando Aprendizaje por Refuerzo Multi-Agente Adversarial), escrito por Yiyao Zhang, Diksha Goel y Hussain Ahmad.

1. El Problema

La transformación digital de infraestructuras críticas ha llevado a la adopción de agentes autónomos para la defensa cibernética. Sin embargo, estos sistemas enfrentan desafíos críticos:

• Amenazas Persistentes Avanzadas (APT): Los atacantes utilizan técnicas de "Living off the Land" (vivir de la tierra) y manipulación de telemetría para crear ambigüedad, engañando a los sistemas de monitoreo.
• Falta de Causalidad: Las defensas existentes se basan principalmente en correlaciones estadísticas. Ante entradas ambiguas o adversarias, estos sistemas tienden a sufrir "deriva de razonamiento", provocando falsos positivos, sobrerreacciones o acciones de mitigación inseguras.
• Deficiencias en la Explicabilidad y Control: Los enfoques actuales de IA explicable (XAI) suelen ser post-hoc (explicaciones después de la decisión) y no imponen restricciones estructurales sobre qué acciones son admisibles. Además, carecen de mecanismos formales para validar decisiones bajo incertidumbre antes de su ejecución.

2. Metodología: El Marco C-MADF

Los autores proponen C-MADF (Causal Multi-Agent Decision Framework), una arquitectura estructurada que integra cuatro componentes principales para garantizar decisiones causales, verificables y explicables:

A. Descubrimiento Causal y Modelado (SCM)

• Se aprende un Modelo Causal Estructural (SCM) a partir de la telemetría histórica.
• Este modelo se compila en un Mapa de Ruta MDP-DAG (Proceso de Decisión de Marko - Grafo Acíclico Dirigido).
• Función: El DAG define estrictamente las transiciones de estado admisibles. Esto actúa como una restricción "dura" que impide que el agente salte directamente a la mitigación sin haber pasado por las etapas de recolección de evidencia requeridas causalmente.

B. Deliberación Multi-Agente Adversarial ("Consejo de Rivales")

• Se implementa un sistema de dos agentes dentro del espacio de acciones restringido:
  • Agente Blue-Team: Optimizado para maximizar la utilidad de mitigación de amenazas (enfocado en neutralizar el ataque).
  • Agente Red-Team: Optimizado con una recompensa conservadora que penaliza intervenciones injustificadas o disruptivas sin suficiente evidencia.
• Mecanismo: Ambos agentes deliberan sobre las acciones admisibles. La discrepancia entre sus políticas se cuantifica mediante un Puntaje de Divergencia de Políticas ($D(st)$). Una alta divergencia indica incertidumbre epistémica y activa la escalación.

C. Interfaz Explicable Humano-en-Bucle (HITL) y ETS

• Se introduce el Puntaje de Explicabilidad-Transparencia (ETS), un indicador escalar que agrupa:
  1. Claridad: Estabilidad de las señales explicativas.
  2. Completitud: Suficiencia de la evidencia disponible.
  3. Confianza: Certidumbre epistémica de la acción recomendada.
• Funcionamiento: El ETS actúa como una señal de control. Si el ETS es bajo o la divergencia de políticas es alta, el sistema detiene la ejecución autónoma y escala la decisión a un supervisor humano con explicaciones estructuradas.

D. Modelo de Amenaza

• Se asume un adversario capaz de realizar manipulación de telemetría tipo "Shadow-Jitter" (perturbaciones controladas, retrasos, inyección de logs) y envenenamiento parcial de datos históricos, pero bajo supuestos de compromiso parcial (no control total de la red).

3. Contribuciones Clave

1. Planificación de Investigación Restringida Causalmente: Transforma un modelo causal aprendido en un MDP-DAG que limita las acciones autónomas a transiciones causalmente admisibles, evitando rutas lógicas inconsistentes.
2. Deliberación Dual Adversarial: Introduce un diseño de "Consejo de Rivales" donde una política conservadora (Red) contrarresta a una política agresiva (Blue), cuantificando la incertidumbre a través de la divergencia de políticas.
3. Mecanismo de Escalación Explicable: Define el ETS como una señal de control integrada en el proceso de aprendizaje, no como una capa superficial, permitiendo una intervención humana calibrada.
4. Evaluación Orientada a la Verificación: Proporciona análisis formal (límites probabilísticos de violación) y empírico en un entorno de datos realista.

4. Resultados Experimentales

El marco se evaluó utilizando el conjunto de datos real CICIoT2023 y se comparó con tres líneas base avanzadas (DUGAT-LSTM, BiLSTM IDS, Hybrid Weighted-XGBoost).

• Rendimiento de Detección:
  • Precisión: 0.997 (superior a los baselines que oscilan entre 0.979 y 0.985).
  • Recall: 0.961 (manteniendo alta sensibilidad a ataques reales).
  • F1-Score: 0.979.
• Reducción de Falsos Positivos (FPR):
  • C-MADF logró un FPR del 1.8%.
  • Comparado con los baselines: DUGAT-LSTM (11.2%), BiLSTM IDS (9.7%) y XGBoost (8.4%).
  • Esto representa una reducción relativa del ~84% en falsos positivos, crucial para evitar interrupciones operativas en infraestructuras críticas.
• Estudio de Ablación:
  • Sin el SCM causal: El FPR se disparó al 59.4%, demostrando la importancia de filtrar correlaciones espurias.
  • Sin el Agente Red: El FPR subió al 21.2%, mostrando que la deliberación adversarial es vital para reducir la deriva de razonamiento.
• Comportamiento del ETS: El puntaje mostró una alineación monótona con la suficiencia de la evidencia y el acuerdo de las políticas, validando su utilidad como señal de escalación.

5. Significado e Implicaciones

• Seguridad en Infraestructura Crítica: C-MADF aborda directamente el problema de las "acciones de mitigación auto-infligidas" (falsos positivos que cortan servicios esenciales). Al restringir las acciones a trayectorias causalmente válidas, reduce el riesgo de operaciones disruptivas.
• Transición de la IA Explicable: Mueve la explicabilidad de ser un reporte pasivo a ser un mecanismo de gobernanza activa que controla la ejecución autónoma en tiempo real.
• Robustez Adversarial: Demuestra que la combinación de restricciones causales y deliberación interna adversarial es más efectiva contra manipulaciones de telemetría que los enfoques puramente correlacionales o de aprendizaje profundo estándar.
• Validación de Diseño: Aunque los resultados son prometedores en un entorno de laboratorio (CICIoT2023), el marco establece un principio de diseño verificable para sistemas semi-autónomos, donde la "claridad de mando" y la escalación calibrada son fundamentales para la certificación de seguridad.

En resumen, el artículo presenta un avance sistémico que integra el aprendizaje causal, el control secuencial restringido y la validación adversarial para crear sistemas de defensa cibernética que no solo detectan amenazas, sino que razonan sobre ellas de manera verificable y segura antes de actuar.