Securing SIM-Assisted Wireless Networks via Quantum Reinforcement Learning

Resumo Técnico: Segurança de Redes Sem Fio Assistidas por SIM via Aprendizado por Reforço Quântico

Declaração do Problema
O artigo aborda o desafio de garantir a segurança de sistemas de enlace descendente Múltiplo-Entrada-Saída Única (MISO) com múltiplos usuários na presença de eavesdroppers passivos, explorando especificamente Metasuperfícies Inteligentes Empilhadas (SIMs). Embora as SIMs ofereçam graus de liberdade sem precedentes para segurança na camada física (PLS) por meio de manipulação de ondas em múltiplos estágios, sua implantação prática é impedida por dois fatores principais:

1. Otimização de Alta Dimensionalidade: O grande número de meta-átomos distribuídos por várias camadas cria um espaço de otimização fortemente acoplado e de alta dimensão para alocação conjunta de potência de transmissão e controle de deslocamento de fase. Métodos de otimização baseados em modelos convencionais são computacionalmente proibitivos e difíceis de escalar.
2. Informação de Estado do Canal (CSI) Imperfeita: Abordagens existentes de Aprendizado por Reforço Profundo (DRL) frequentemente assumem conhecimento perfeito da CSI do eavesdropper, o que é irrealista. Em ambientes dinâmicos com CSI imperfeita do eavesdropper, os métodos clássicos de DRL (por exemplo, PPO, DDPG) sofrem com convergência lenta e degradação de desempenho devido à complexidade de explorar o vasto espaço de ações.

Metodologia
Para superar essas limitações, os autores propõem um framework de Otimização Proximal de Política Híbrida Quântica (Q-PPO). A metodologia integra os seguintes componentes:

• Modelo do Sistema: O sistema consiste em uma Estação Base (BS) equipada com uma SIM (múltiplas camadas de metasuperfície em cascata) que atende $M$ usuários, enquanto enfrenta um eavesdropper passivo. O canal para o eavesdropper é modelado com CSI imperfeita, onde o erro segue uma distribuição gaussiana complexa circularmente simétrica. O objetivo é maximizar a Taxa de Sigilo Média (ASR) de longo prazo, sujeita a restrições de potência de transmissão e Qualidade de Serviço (QoS).
• Otimização Estocástica: O problema é reformulado como um Processo de Decisão de Markov (MDP), onde o agente observa a CSI perfeita dos usuários legítimos e a CSI imperfeita do eavesdropper. O espaço de ações inclui alocação contínua de potência de transmissão e deslocamentos de fase da SIM.
• Arquitetura Híbrida Quântico-Clássica:
  • Rede Ator: Em vez de uma rede neural profunda puramente clássica, o ator emprega um Circuito Quântico Parametrizado (PQC). A arquitetura é híbrida: uma rede neural clássica de pré-codificação (Pre-NN) reduz a dimensionalidade do espaço de estados de alta dimensão; o PQC processa essas características compactas usando superposição e emaranhamento quânticos para aprender a política; e uma rede neural clássica de pós-processamento (Post-NN) mapeia as saídas de medição quântica para ações contínuas.
  • Rede Crítica: Permanece uma rede neural clássica padrão para estimar a função valor-estado.
  • Mecanismo Quântico: O PQC utiliza portas de rotação de Pauli ($R_Y, R_Z$) e portas de emaranhamento controlado-Z (CZ). A evolução do estado quântico permite a representação simultânea de múltiplos pares estado-ação, aprimorando teoricamente a eficiência da exploração.
• Algoritmo de Treinamento: O framework utiliza a função objetivo substituta truncada do algoritmo PPO para garantir atualizações de política estáveis. O agente aprende a maximizar a recompensa cumulativa (ASR) interagindo com o ambiente, com o ator aprimorado por quântica visando convergir mais rápido do que as contrapartes clássicas.

Principais Contribuições

1. Framework de Segurança Realista: O artigo formula um problema de otimização conjunta para comunicações seguras assistidas por SIM sob CSI imperfeita do eavesdropper, indo além das suposições idealizadas de CSI perfeita prevalentes na literatura existente.
2. Algoritmo Híbrido Q-PPO: Os autores propõem o primeiro algoritmo PPO quântico-clássico híbrido para controle de SIM. Ao incorporar um PQC na rede de ator, o framework aproveita propriedades quânticas para melhorar a representação da política e a exploração em espaços de ação contínuos de alta dimensão, sem exigir hardware quântico em escala total (o treinamento ocorre em computadores clássicos).
3. Escalabilidade e Eficiência: O estudo demonstra que a arquitetura híbrida reduz significativamente o número de parâmetros treináveis em comparação com redes profundas totalmente clássicas, mantendo ou melhorando o desempenho.

Resultados
Simulações extensas comparando Q-PPO com bases de referência de última geração (PPO, DDPG, TD3 e seleção aleatória) produzem os seguintes resultados:

• Desempenho: O esquema Q-PPO alcança taxas de sigilo médias aproximadamente 15% mais altas em comparação com a base de referência PPO clássica.
• Convergência: O Q-PPO converge cerca de 30% mais rápido (atingindo desempenho ótimo em ~20.000 passos versus ~30.000 passos para PPO) sob condições de CSI imperfeita.
• Robustez: O método proposto mantém desempenho superior em vários níveis de incerteza de CSI ($\delta$), enquanto os métodos clássicos degradam-se mais significativamente à medida que a incerteza aumenta.
• Escalabilidade: À medida que o número de meta-átomos ($N$) e camadas de SIM ($L$) aumenta, o Q-PPO sustenta sua vantagem de desempenho, enquanto os métodos de DRL clássicos lutam com o espaço de ações em expansão.
• Justiça: O algoritmo Q-PPO alcança um Índice de Justiça de Jain (JFI) mais alto em comparação com outros esquemas, indicando melhor distribuição de recursos entre os usuários, mesmo sob restrições rigorosas de QoS.

Significado e Alegações
O artigo afirma que o framework Q-PPO proposto estabelece um paradigma de otimização poderoso para redes sem fio seguras habilitadas por SIM. Argumenta que, ao integrar princípios de aprendizado de máquina quântico no controle de metasuperfícies programáveis em grande escala, é possível superar os gargalos de escalabilidade do DRL clássico em ambientes de alta dimensão e fortemente acoplados. O trabalho posiciona o aprendizado híbrido quântico-clássico como uma solução viável e eficiente para a segurança da camada física de próxima geração, particularmente em cenários onde a informação do canal é incerta e a adaptação em tempo real é crítica. Os autores enfatizam que sua abordagem não requer acesso imediato a hardware quântico tolerante a falhas, pois o treinamento é realizado em computadores clássicos usando simulações de circuitos quânticos, tornando a solução praticamente relevante para implantações atuais e futuras próximas.