Network and Device Level Cyber Deception for Contested Environments Using RL and LLMs

Título: Engaño Cibernético a Nivel de Red y Dispositivo para Entornos Contestados utilizando RL y LLMs

1. Problema Definido

El artículo aborda la asimetría fundamental en la ciberseguridad, donde los atacantes tienen tiempo ilimitado para realizar reconocimiento y movimiento lateral, mientras que los defensores deben responder en segundos. Este desafío es crítico en entornos de Tecnología Operativa (OT), como las redes eléctricas, donde un retraso en la respuesta puede causar interrupciones físicas.

Los métodos tradicionales de engaño cibernético (como honeypots estáticos o aleatorización de IPs) presentan limitaciones significativas:

• Costo y complejidad: Requieren intervención humana intensiva y recreación costosa de servicios.
• Detectabilidad: Los artefactos estáticos son fácilmente identificables por adversarios expertos mediante análisis de tiempos, inconsistencias de protocolos o huellas dactilares de comportamiento.
• Limitaciones en OT: Los protocolos industriales como DNP3 (Distributed Network Protocol 3) tienen restricciones estrictas de tiempo y estado. Modelar el engaño a nivel de host como un Proceso de Decisión de Markov (MDP) clásico es inviable debido a la alta dimensionalidad y la necesidad de preservar la semántica del protocolo (ej. consistencia estado maestro-estación, mensajes no solicitados).

2. Metodología Propuesta

Los autores proponen un marco de trabajo unificado que fusiona Aprendizaje por Refuerzo (RL) para la gestión de la red y Modelos de Lenguaje Grande (LLM) para la emulación de dispositivos, operando en un entorno contestado simulado (basado en el sistema IEEE 123-bus).

La arquitectura es jerárquica y consta de tres capas:

1. Capa de Control de Red (Agente RL):

   • Utiliza un enfoque de Aprendizaje por Refuerzo Multi-Agente (MARL) donde cada enrutador actúa como un agente independiente.
   • Objetivo: Redirigir dinámicamente el tráfico sospechoso hacia nodos de engaño (honeypots) en lugar de dispositivos reales.
   • Formulación: Se modela como un MDP donde el agente aprende políticas de enrutamiento para maximizar la interacción del atacante con el honeypot mientras minimiza el riesgo de detección y la degradación de la red.
   • Algoritmos: Se evalúan PPO (Proximal Policy Optimization) y A2C (Advantage Actor-Critic).

2. Capa de Emulación de Host (Agente LLM):

   • Implementa un honeypot impulsado por LLM específicamente diseñado para protocolos OT (DNP3).
   • Funcionamiento: El LLM genera respuestas de protocolo coherentes y realistas a las consultas del atacante.
   • Mecanismos de Control: Para evitar alucinaciones o comportamientos no deterministas, se utiliza inyección de contexto y personalidad (mediante archivos YAML y RAG - Generación Aumentada por Recuperación) para alinear las respuestas con el comportamiento real de una Unidad Terminal Remota (RTU).
   • Validación: Se evalúa la calidad de la respuesta mediante métricas de similitud de tokens (perplejidad) para asegurar la fidelidad del protocolo.

3. Capa de Evaluación y Retroalimentación (Acoplamiento Bidireccional):

   • LLM $\to$ RL: La probabilidad de engaño ($P_{dec}$), calculada a partir de la perplejidad de la respuesta del LLM, modula la recompensa cibernética del agente RL. Si el honeypot no es realista, el agente RL es penalizado por enviar tráfico allí.
   • RL $\to$ LLM: Las decisiones de enrutamiento afectan la densidad de interacción y los patrones de ataque observados, actualizando la base de conocimientos del LLM para mejorar futuras respuestas.

3. Contribuciones Clave

1. Marco RL Unificado: Definición formal de un marco de RL de agente único y multi-agente para el engaño a nivel de red con un diseño de recompensa compuesto y acotado (cibernético + físico).
2. Primer Honeypot LLM para DNP3: Desarrollo del primer agente de engaño impulsado por LLM consciente del protocolo para estaciones DNP3, preservando la semántica de tiempo y estado de los sistemas de control industrial (ICS).
3. Arquitectura RL-LLM Coordinada: Integración de la red y el nivel de host en un bucle de retroalimentación cerrado, donde la calidad del engaño del host influye directamente en las decisiones de enrutamiento de la red.
4. Análisis de Sobrecarga y Despliegue: Evaluación de la viabilidad computacional y consideraciones para entornos OT en tiempo real, diferenciando entre fases de entrenamiento y despliegue.

4. Resultados y Análisis

Los experimentos se realizaron en un entorno simulado de red eléctrica (IEEE 123-bus) con tráfico de ataque DNP3.

• Rendimiento del RL (Red):
  • El enfoque Multi-Agente (MARL) demostró ser superior al de agente único en términos de convergencia y estabilidad, reduciendo la longitud promedio de los episodios (pasos necesarios para lograr el engaño) y mejorando la recompensa, especialmente en escenarios con congestión de red.
  • El algoritmo PPO mostró un rendimiento robusto en comparación con A2C en entornos complejos.
• Rendimiento del LLM (Host):
  • Inicialmente, las respuestas del LLM tenían baja precisión. Tras iteraciones de actualización de la "personalidad" y el contexto, la perplejidad ($M_{perp}$) disminuyó drásticamente (de 5.07 a 0.12) y la probabilidad de engaño ($P_{dec}$) aumentó del 6% al 90%.
• Enfoque Híbrido (RL + LLM):
  • La integración del LLM en el ciclo de recompensa del RL redujo significativamente la longitud de los episodios de entrenamiento en comparación con el modelo solo físico-cibernético.
  • El agente aprendió a priorizar el enrutamiento hacia nodos de engaño de mayor calidad (mayor $P_{dec}$), acelerando la estrategia de defensa.
  • Tabla de Comparación: El enfoque "RL + LLM" logró una recompensa promedio de 45.6 en una longitud de episodio de 40.2, superando a las estrategias que no utilizaban LLM para la optimización de recompensas.

5. Significado e Impacto

Este trabajo representa un avance significativo en la defensa de infraestructuras críticas:

• Superación de Limitaciones Estáticas: Demuestra que el uso de IA generativa (LLM) puede superar las limitaciones de los honeypots estáticos, ofreciendo interacciones dinámicas y adaptables que engañan a atacantes sofisticados por más tiempo.
• Protección de OT: Aborda específicamente los desafíos de los protocolos industriales (DNP3), donde la integridad del tiempo y el estado es crucial, algo que las soluciones de TI tradicionales no logran.
• Eficiencia Defensiva: Al aumentar el costo y el tiempo del atacante (reconocimiento y movimiento lateral), se protege la integridad física del sistema (evitando apagones o daños) y se gana tiempo valioso para la respuesta de los defensores.
• Escalabilidad: La propuesta de MARL permite que la solución escale a redes más grandes y complejas sin explotar el espacio de acciones, un problema común en los enfoques centralizados.

En conclusión, el artículo valida que la fusión de RL para la orquestación de la red y LLM para la emulación de dispositivos crea un sistema de defensa cibernética adaptativo, más realista y efectivo para entornos operativos críticos.