Belief-Space Quantum-Inspired Reinforcement Learning for Partially Observable Autonomous Cyber Defense in the Internet of Vehicles

Resumen Técnico: Aprendizaje por Refuerzo de Inspiración Cuántica con Espacio de Creencia para la Seguridad en IoV

Formulación del Problema
El artículo aborda los desafíos de seguridad inherentes al Internet de los Vehículos (IoV), donde la naturaleza dinámica y adversaria del entorno hace que los sistemas de detección de intrusiones (IDS) tradicionales y estáticos resulten ineficaces. Los enfoques existentes dependen de conjuntos de datos fuera de línea y clasificadores fijos, lo que impide considerar la toma de decisiones secuencial, la adaptación del atacante y la observabilidad parcial de los despliegues en el mundo real. Específicamente, los autores identifican una limitación crítica en las defensas actuales de Aprendizaje por Refuerzo (RL): dependen de modelos de creencia bayesianos clásicos para rastrear la intención oculta del atacante. Bajo observabilidad parcial, particularmente cuando los atacantes emplean estrategias de sondeo o evasión, estos modelos clásicos tienden a "colapsar" en estimaciones excesivamente confiadas. Este colapso corrompe la entrada de la política, lo que conduce a acciones defensivas erráticas y de alta varianza precisamente cuando se requiere un razonamiento fiable.

Metodología: Q-BIRD
Para superar estas limitaciones, los autores proponen la Defensa de Creencia Integrada Cuántica (Q-BIRD, por sus siglas en inglés). El marco modela la seguridad de IoV como una interacción secuencial atacante-defensor bajo observabilidad parcial, formulada como un Proceso de Decisión de Markov Parcialmente Observable (POMDP).

1. Representación de Creencia de Inspiración Cuántica: A diferencia de los enfoques clásicos que mantienen un vector de probabilidad sobre las hipótesis de la intención del atacante, Q-BIRD utiliza un estado de creencia basado en amplitudes ($\psi_t \in \mathbb{C}^H$). El defensor mantiene un vector de estado de números complejos, donde cada entrada corresponde a una posible intención del atacante (por ejemplo, benigna, de sondeo, de ataque, de evasión).

   • Evolución: El estado de la creencia evoluciona mediante una matriz de transformación lineal ($U_t$) en el espacio de amplitudes, en lugar de actualizaciones de probabilidad directa.
   • Extracción de Probabilidad: Las probabilidades se derivan solo cuando es necesario utilizando la regla de Born (b_t(\theta_i) = |\psi_t(i)|^^2).
   • Mecanismo: Este enfoque permite que la incertidumbre persista en una "superposición" de hipótesis bajo observaciones ambiguas o engañosas. Esto evita el colapso prematuro de la creencia que ocurre en las actualizaciones bayesianas clásicas, permitiendo una evolución de la creencia no bayesiana que es más robusta al ruido y a la manipulación adversaria.

2. Integración con RL: El estado de creencia cuántica se integra en un defensor de Optimización de Política Próxima (PPO). La política ($\pi_\phi$) toma como entrada tanto el estado observable del sistema ($s_t$) como el estado de la creencia ($b_t$ o $\psi_t$). El defensor selecciona acciones de mitigación conscientes del costo (alerta, limitación de tráfico, aislamiento) para minimizar una función de recompensa definida como la suma negativa del daño acumulado y los costos operativos.

3. Modelo de Amenaza: El entorno presenta un atacante adaptativo con un estado de intención oculto que evoluciona según las acciones del defensor. El atacante cambia dinámicamente entre estrategias de sondeo, ataques activos y evasión para eludir la detección, creando un entorno no estacionario.

Contribuciones Clave
El artículo describe cuatro contribuciones principales:

1. Formulación: La seguridad de IoV se formula como un proceso de decisión secuencial con un atacante adaptativo que opera bajo un estado de intención oculto.
2. Creencia de Inspiración Cuántica: Se propone una novedosa representación de creencia basada en amplitudes que preserva la incertidumbre distribuida a través de las hipótesis de intención bajo observaciones ambiguas, contrastando con la naturaleza propensa al colapso de las creencias bayesianas clásicas.
3. Integración de Política: El estado de creencia cuántica se integra en un defensor basado en PPO, permitiendo acciones de mitigación conscientes del costo condicionadas tanto a los estados observables como a la incertidumbre de la creencia.
4. Validación: El marco se valida mediante simulaciones controladas y análisis de explicabilidad post-hoc (SHAP, LIME, Grad-CAM), confirmando que el estado de creencia cuántica sirve como la señal de decisión principal durante las transiciones de estrategia del atacante.

Resultados Experimentales
El enfoque fue evaluado en un entorno de IoV simulado utilizando 600 episodios de entrenamiento y 80 episodios de prueba, con un modelo de atacante adaptativo. Los resultados se compararon con líneas base que incluyen PPO con creencia bayesiana clásica, Q-Learning y políticas aleatorias.

• Reducción de Daño: El método propuesto logró una reducción del 60.4% en el daño medio acumulado en comparación con el PPO con creencia bayesiana clásica (27.495 vs. 69.348).
• Estabilidad: Crucialmente, el método demostró una reducción del 90.2% en la varianza del daño (3.636 vs. 37.054), lo que representa una mejora de 10.2 veces en la estabilidad. Esto indica que el comportamiento del defensor es significativamente más predecible y fiable.
• Tasa de Éxito del Ataque (ASR): El PPO cuántico alcanzó un ASR de 0.000 en los episodios de prueba, una mejora del 50% sobre la línea base de PPO clásico (0.247).
• Probabilidad de Supervivencia: La probabilidad de supervivencia aumentó un 46.4% (1.000 vs. 0.683).
• Hallazgos de Ablación: El estudio observó que una política aleatoria superó de hecho al PPO con creencia clásica en cuanto a daño medio. Esto sugiere que el modelo de creencia clásica perjudica activamente a la política al proporcionar datos de estado falsos y excesivamente confiados durante la evasión, mientras que la creencia cuántica mantiene la incertidumbre, permitiendo que la política permanezca consistente.

Significado y Reivindicaciones
El artículo afirma que la fuente principal de ganancia de rendimiento es la representación de creencia de inspiración cuántica, no el algoritmo de RL subyacente (PPO), como lo confirman los estudios de ablación donde solo difería el mecanismo de actualización de la creencia. Los autores sostienen que las representaciones de incertidumbre no clásicas proporcionan una seguridad superior para las redes IoV sin requerir hardware cuántico; el aspecto "cuántico" es un marco matemático para representar la incertidumbre en hardware clásico.

La importancia radica en abordar el modo de fallo específico de los modelos de creencia clásicos en entornos adversarios: el "colapso" de la incertidumbre bajo observaciones engañosas. Al preservar la incertidumbre en el espacio de amplitudes, Q-BIRD permite una toma de decisiones robusta durante las transiciones de estrategia, ofreciendo una defensa más estable y efectiva contra adversarios adaptativos en entornos de IoV críticos para la seguridad. El trabajo sugiere que los futuros sistemas de defensa autónomos deben ir más allá de la detección estática y el modelado probabilístico clásico para manejar la ambigüedad y la adaptabilidad de las amenazas cibernéticas modernas.