6G Sensing Security: Distributed Game-Theoretic RL for Urban Beamforming and Attacker Detection

Resumen Técnico: Seguridad de la detección en 6G mediante RL Teórico-de-Juego Distribuido

Planteamiento del Problema
En los sistemas de Integración de Detección y Comunicación (ISAC) para la próxima generación 6G, la funcionalidad dual de la infraestructura inalámbrica crea nuevas vulnerabilidades de seguridad. Específicamente, en entornos urbanos, los atacantes activos pueden manipular las direcciones de formación de haces (beamforming) proporcionando retroalimentación falsa de la calidad del haz o del estado del canal. Esta manipulación tiene como objetivo aumentar la interferencia y engañar a los transmisores (TXs) para que dirijan sus lóbulos principales de haz hacia el atacante en lugar de hacia los usuarios legítimos. El desafío central es detectar tales atacantes activos y mitigar su impacto en la capacidad y la seguridad del sistema dentro de un entorno dinámico e incierto caracterizado por una propagación urbana compleja (condiciones de Línea de Visión y No Línea de Visión).

Metodología
Los autores proponen un marco híbrido que integra el Aprendizaje por Refuerzo (RL), la inferencia Bayesiana y la Teoría de Juegos para abordar estos desafíos de seguridad. La metodología opera a través de los siguientes componentes:

1. Modelo del Sistema:

   • Escenario: Una simulación de trazado de rayos (ray-tracing) basada en 3GPP de un entorno de microcelda urbana (UMi) en Dortmund, Alemania, operando a 28 GHz (banda FR2 mmWave) con 400 MHz de ancho de banda.
   • Hardware: Dos estaciones base (TXs) y cuatro receptores (RXs) equipados con Arreglos Rectangulares Uniformes (URA).
   • Propagación: Los canales se modelan utilizando los estándares 3GPP TR 38.901, incorporando pérdida de trayectoria, desvanecimiento por sombra (log-normal) y desvanecimiento a pequeña escala (3GPP NR Clustered Delay Line). Un método de Disparo y Rebote de Rayos (SBR) modela los efectos de multipatía con hasta una reflexión y tres difracciones.

2. Representación del Estado y Actualización de la Creencia:

   • El sistema mantiene un vector de creencia Bayesiana que representa la probabilidad ($P_j$) de que cada usuario $j$ sea un atacante.
   • Esta creencia se actualiza iterativamente basándose en la desviación entre la capacidad de canal predicha y la observada, utilizando una verosimilitud exponencial derivada de una puntuación de anomalía.
   • Para estabilizar el proceso de Q-learning, las probabilidades continuas se discretizan en niveles de confianza (5 niveles por nodo), formando un espacio de estados definido por el ID del nodo sospechoso y su nivel de confianza.

3. Formulación Teórico-de-Juego:

   • Se implementan dos modelos de juego para predecir el comportamiento y optimizar la utilidad: Nash y Stackelberg.
   • Función de Utilidad: $U = \sum (1 - P_j)C_j - \beta_{risk} P_j C_j$, donde $C_j$ es la capacidad del canal y $P_j$ es la probabilidad del atacante. Esta formulación equilibra el rendimiento del usuario legítimo con los riesgos de seguridad.
   • Modelo de Nash: Los TXs actúan de forma simultánea e independiente, buscando un equilibrio de mejor respuesta.
   • Modelo de Stackelberg: Una estructura jerárquica donde un TX actúa como "Líder" (priorizado por servir a más usuarios) y el otro como "Seguidor". El Líder optimiza su estrategia anticipando la mejor respuesta del Seguidor.

4. Integración de Aprendizaje por Refuerzo:

   • Un agente de Q-learning selecciona ángulos de formación de haces (espacio de acción: 25 ángulos discretos por antena) para maximizar la capacidad total del canal y minimizar la interferencia.
   • Exploración vs. Explotación: Se utiliza una política $\epsilon$-greedy, pero la exploración es guiada por el modelo Stackelberg-Bayesiano en lugar de ser puramente aleatoria.
   • Mecanismos de Memoria: El estudio compara un enfoque basado en memoria (utilizando Experience Replay con tuplas $(s, a, r, s')$) frente a un enfoque sin memoria. El modelo basado en memoria tiene como objetivo reducir las correlaciones temporales y acelerar la convergencia.

Contribuciones Clave

• Marco Híbrido: El artículo introduce una arquitectura novedosa que combina la inferencia Bayesiana para el modelado de la incertidumbre, la Teoría de Juegos para el modelado de la interacción estratégica y el RL para la optimización a largo plazo en la seguridad de ISAC.
• Superioridad de Stackelberg: El trabajo demuestra que una estructura de juego jerárquica de Stackelberg supera a un enfoque de Nash simultáneo en la detección de atacantes. La dinámica Líder-Seguidor reduce la interferencia interna de la red, proporcionando una señal más clara para que el algoritmo Bayesiano distinga entre el comportamiento malicioso y el desvanecimiento natural del canal.
• Experience Replay en Seguridad: Se muestra que la aplicación de Q-learning basado en memoria (Experience Replay) mejora significativamente la precisión de la detección y la estabilidad del sistema en comparación con las actualizaciones sin memoria en entornos adversarios.
• Validación mediante Trazado de Rayos Urbano: La metodología se valida utilizando un mapa urbano digitalizado realista (Dortmund) con trazado de rayos, en lugar de modelos de canal teóricos simplificados.

Resultados de Rendimiento

• Detección de Atacantes:
  • El modelo Stackelberg logró una precisión de detección promedio del 69.41%, superando significativamente al modelo Nash con un 38.38%.
  • En el escenario de Stackelberg, el valor de creencia para el atacante (RX3) convergió rápidamente por encima de 0.9, mientras que el modelo de Nash no logró distinguir al atacante con alta confianza (los valores permanecieron por debajo de 0.5).
• Capacidad del Sistema (Throughput):
  • El enfoque de Q-learning basado en memoria logró una capacidad de canal total promedio de 934 Mbps, en comparación con los 841 Mbps del enfoque sin memoria (una mejora del 11.06%).
  • La precisión de la detección mejoró del 70.13% (sin memoria) al 75.46% (basado en memoria).
• Robustez: Bajo el marco propuesto, el sistema identificó con éxito a los atacantes con probabilidades consistentemente superiores a 0.9, incluso en presencia de severos efectos de sombra y multitrayectoria. El sistema se recuperó rápidamente de las caídas temporales de creencia causadas por la dinámica del canal, demostrando resiliencia.
• Recuperación de Capacidad: A pesar de la presencia de un atacante, la formación de haces optimizada permitió que la capacidad total del sistema alcanzara aproximadamente los 2500 Mbps en iteraciones posteriores, cumpliendo con los requisitos de 5G New Radio.

Significancia y Reivindicaciones
El artículo afirma que el marco propuesto aborda eficazmente los desafíos de seguridad en los sistemas ISAC 6G dinámicos al transformar el sistema de un simple optimizador numérico en un "tomador de decisiones consciente del riesgo, impulsado por la incertidumbre y sensible al comportamiento". La integración de la inferencia Bayesiana en las funciones de utilidad de la teoría de juegos permite una detección de atacantes más precisa en comparación con los enfoques de Nash estándar. Además, el estudio establece que incorporar la memoria (Experience Replay) en el proceso de RL es crítico para estabilizar el aprendizaje y mejorar el rendimiento en entornos urbanos ruidosos y adversos. El trabajo proporciona una base fundamental para extender estos métodos a escenarios de ISAC móviles y en tiempo real, asegurando una asignación de recursos segura y eficiente para las redes futuras.