6G Sensing Security: Distributed Game-Theoretic RL for Urban Beamforming and Attacker Detection

Resumo Técnico: Segurança de Sensoriamento 6G via Aprendizado por Reforço Teórico-Jogo Distribuído

Declaração do Problema
Nos sistemas de Integração de Sensoriamento e Comunicação (ISAC) 6G de próxima geração, a funcionalidade dual da infraestrutura sem fio cria novas vulnerabilidades de segurança. Especificamente, em ambientes urbanos, atacantes ativos podem manipular as direções de formação de feixe (beamforming) ao fornecer feedback falsificado de estado de canal ou qualidade de feixe. Essa manipulação visa aumentar a interferência e induzir os transmissores (TXs) a direcionar seus lóbulos principais de feixe para o atacante, em vez de usuários legítimos. O desafio central é detectar tais atacantes ativos e mitigar seu impacto na capacidade do sistema e na segurança dentro de um ambiente dinâmico e incerto, caracterizado por uma propagação urbana complexa (condições de Linha de Visão e Não-Linha de Visão).

Metodologia
Os autores propõem um framework híbrido integrando Aprendizado por Reforço (RL), inferência Bayesiana e Teoria dos Jogos para abordar esses desafios de segurança. A metodologia opera através dos seguintes componentes:

1. Modelo de Sistema:

   • Cenário: Uma simulação de ray-tracing baseada em 3GPP de um ambiente de micro-célula urbana (UMi) em Dortmund, Alemanha, operando em 28 GHz (banda FR2 mmWave) com 400 MHz de largura de banda.
   • Hardware: Duas estações base (TXs) e quatro receptores (RXs) equipados com Matrizes Retangulares Uniformes (URA).
   • Propagação: Os canais são modelados utilizando padrões 3GPP TR 38.901, incorporando perda de percurso, desvanecimento de sombra (log-normal) e desvanecimento de pequena escala (3GPP NR Clustered Delay Line). Um método de Shooting and Bouncing Rays (SBR) modela efeitos de multicaminho com até uma reflexão e três difrações.

2. Representação de Estado e Atualização de Crença:

   • O sistema mantém um vetor de crença Bayesiana representando a probabilidade ($P_j$) de cada usuário $j$ ser um atacante.
   • Esta crença é atualizada iterativamente com base no desvio entre a capacidade de canal prevista e a observada, utilizando uma verossimilhança exponencial derivada de uma pontuação de anomalia.
   • Para estabilizar o processo de Q-learning, as probabilidades contínuas são discretizadas em níveis de confiança (5 níveis por nó), formando um espaço de estados definido pelo ID do nó suspeito e seu nível de confiança.

3. Formulação Teórico-Jogo:

   • Dois modelos de jogo são implementados para prever o comportamento e otimizar a utilidade: Nash e Stackelberg.
   • Função de Utilidade: $U = \sum (1 - P_j)C_j - \beta_{risk} P_j C_j$, onde $C_j$ é a capacidade do canal e $P_j$ é a probabilidade do atacante. Esta formulação equilibra o desempenho do usuário legítimo com os riscos de segurança.
   • Modelo de Nash: Os TXs atuam simultaneamente e de forma independente, buscando um equilíbrio de melhor resposta.
   • Modelo de Stackelberg: Uma estrutura hierárquica onde um TX atua como "Líder" (priorizado por atender mais usuários) e o outro como "Seguidor". O Líder otimiza sua estratégia antecipando a melhor resposta do Seguidor.

4. Integração de Aprendizado por Reforço:

   • Um agente de Q-learning seleciona ângulos de formação de feixe (espaço de ação: 25 ângulos discretos por antena) para maximizar a capacidade total do canal e minimizar a interferência.
   • Exploração vs. Explotação: Uma política $\epsilon$-greedy é usada, mas a exploração é guiada pelo modelo Stackelberg-Bayesiano em vez de ser puramente aleatória.
   • Mecanismos de Memória: O estudo compara uma abordagem baseada em memória (usando Experience Replay com tuplas $(s, a, r, s')$) contra uma abordagem sem memória. O modelo baseado em memória visa reduzir correlações temporais e acelerar a convergência.

Principais Contribuições

• Framework Híbrido: O artigo introduz uma arquitetura inovadora que combina inferência Bayesiana para modelagem de incerteza, Teoria dos Jogos para modelagem de interação estratégica e RL para otimização de longo prazo em segurança ISAC.
• Superioridade de Stackelberg: O trabalho demonstra que uma estrutura de jogo de Stackelberg hierárquica supera uma abordagem de Nash simultânea na detecção de atacantes. A dinâmica Líder-Seguidor reduz a interferência interna da rede, fornecendo um sinal mais claro para o algoritmo Bayesiano distinguir entre comportamento malicioso e desvanecimento natural do canal.
• Experience Replay em Segurança: A aplicação de Q-learning baseado em memória (Experience Replay) mostra-se fundamental para melhorar a precisão da detecção e a estabilidade do sistema em comparação com atualizações sem memória em ambientes adversários.
• Validação por Ray-Tracing Urbano: A metodologia é validada usando um mapa urbano digitalizado realista (Dortмond) com ray-tracing, em vez de modelos de canal teóricos simplificados.

Resultados de Desempenho

• Detecção de Atacante:
  • O modelo Stackelberg alcançou uma precisão média de detecção de 69,41%, superando significativamente o modelo Nash, que obteve 38,38%.
  • No cenário Stackelberg, o valor de crença para o atacante (RX3) convergiu rapidamente para exceder 0,9, enquanto o modelo Nash falhou em distinguir o atacante com alta confiança (valores permaneceram abaixo de 0,5).
• Throughput do Sistema:
  • A abordagem de Q-learning baseada em memória alcançou uma capacidade total de canal média de 934 Mbps, comparada aos 841 Mbps da abordagem sem memória (uma melhoria de 11,06%).
  • A precisão da detecção melhorou de 70,13% (sem memória) para 75,46% (baseada em memória).
• Robustez: Sob o framework proposto, o sistema identificou atacantes com probabilidades consistentemente acima de 0,9, mesmo na presença de sombreamento severo e efeitos de multicaminho. O sistema recuperou-se rapidamente de quedas temporárias de crença causadas pela dinâmica do canal, demonstrando resiliência.
• Recuperação de Capacidade: Apesar da presença de um atacante, a formação de feixe otimizada permitiu que a capacidade total do sistema atingisse aproximadamente 2500 Mbps em iterações posteriores, atendendo aos requisitos do 5G New Radio.

Significância e Alegações
O artigo afirma que o framework proposto aborda eficazmente os desafios de segurança em sistemas ISAC 6G dinâmicos, transformando o sistema de um simples otimizador numérico em um "tomador de decisão consciente de riscos, orientado pela incerteza e sensível ao comportamento". A integração da inferência Bayesiana nas funções de utilidade da teoria dos jogos permite uma detecção de atacante mais precisa em comparação com as abordagens de Nash padrão. Além disso, o estudo estabelece que incorporar memória (Experience Replay) ao processo de RL é crítico para estabilizar o aprendizado e melhorar o throughput em ambientes urbanos ruidosos e adversários. O trabalho fornece uma base fundamental para estender esses métodos para cenários ISAC móveis e de tempo real, garantindo alocação de recursos segura e eficiente para as redes futuras.