Robust SAC-Enabled UAV-RIS Assisted Secure MISO Systems With Untrusted EH Receivers

Resumo Técnico: Sistemas MISO Seguros Assistidos por UAV-RIS Habilitados por SAC Robusto com Receptores EH Não Confiáveis

Declaração do Problema
Este artigo aborda o desafio da transmissão segura em enlace descendente em sistemas MISO (Multiple-Input Single-Output) multiusuário habilitados por Superfície Inteligente Reconfigurável (RIS) assistida por Veículo Aéreo Não Tripulado (UAV). O cenário específico envolve um RIS montado em um UAV pairando, auxiliando uma Estação Base (BS) com múltiplas antenas no atendimento a Receptores Legítimos de Informação e Colheita de Energia (IHRs), enquanto coexiste com Receptores Não Confiáveis de Colheita de Energia (UEHRs). Esses UEHRs atuam como possíveis espiões e colhem energia simultaneamente (SWIPT).

O sistema opera sob restrições práticas significativas:

1. Informação de Estado do Canal (CSI) Imperfeita: A BS possui apenas estimativas imperfeitas dos canais dos UEHRs, modeladas por um conjunto de incerteza limitado por norma, necessitando de uma formulação de segurança no pior caso.
2. Deslocamentos de Fase Discretos do RIS: O hardware RIS prático é limitado a deslocamentos de fase de resolução finita, em vez de valores contínuos ideais.
3. Otimização Acoplada: O problema requer a otimização conjunta de três variáveis altamente acopladas: a localização horizontal do UAV, a alocação de potência de transmissão na BS (usando precodificação Zero-Forcing) e os deslocamentos de fase discretos do RIS.
4. Objetivo: O objetivo é maximizar a Eficiência Energética de Segurança no Pior Caso (WCSEE), definida como a razão entre a taxa de segredo mínima entre os usuários legítimos e o consumo total de potência, sujeita aos requisitos de colheita de energia para os UEHRs.

O problema de otimização resultante é altamente não convexo devido ao objetivo fracionário, ao acoplamento entre relações de canal geométricas e variáveis de controle, à natureza discreta das fases do RIS e às restrições de robustez impostas pela incerteza do CSI.

Metodologia
Para lidar com a intratabilidade do problema de maximização do WCSEE, os autores propõem duas abordagens complementares:

1. Benchmark Baseado em Modelo (BCD-SCA):

   • Um framework de Descida de Coordenadas em Blocos (BCD) é desenvolvido, alternando entre a otimização da alocação de potência, dos deslocamentos de fase do RIS e da localização do UAV.
   • A Aproximação Convexa Sucessiva (SCA) é empregada para lidar com não convexidades. Para a alocação de potência, a transformação de Charnes–Cooper converte o programa fracionário em uma forma convexa. Para as fases do RIS e a localização do UAV, expansões de Taylor de primeira ordem e desigualdades da média aritmético-geométrica (AGM) são usadas para construir restrições substitutas convexas.
   • Esta abordagem assume condições idealizadas (CSI perfeito e fases contínuas) para servir como um benchmark estruturado.

2. Solução Baseada em Aprendizado (Soft Actor-Critic - SAC):

   • Para abordar o problema geral do WCSEE com fases discretas e incerteza do CSI sem resolver iterativamente para cada realização de canal, um framework personalizado de Aprendizado por Reforço Profundo (DRL) baseado em Soft Actor-Critic (SAC) é proposto.
   • Formulação MDP: O problema é modelado como um Processo de Decisão de Markov onde o estado inclui estimativas de canal e posição do UAV, a ação controla conjuntamente potência, fases e localização, e a recompensa é o WCSEE (zero se as restrições de colheita de energia forem violadas).
   • Arquitetura: O agente SAC utiliza uma rede ator (política Gaussiana) e redes crínicas gêmeas para mitigar o viés de superestimação. A regularização de entropia é usada para incentivar a exploração e garantir convergência estável.
   • Tratamento de Restrições: As fases discretas do RIS são gerenciadas mapeando as saídas contínuas do SAC para o conjunto discreto, e restrições rígidas (como colheita de energia) são impostas através do mecanismo de modelagem de recompensa.

Principais Contribuições

• Formulação do Sistema: O artigo formula um novo sistema seguro assistido por UAV-RIS para SWIPT que considera conjuntamente a localização do UAV, a configuração do RIS e a alocação de potência sob CSI imperfeito e receptores não confiáveis, visando maximizar o WCSEE.
• Framework de Otimização: Desenvolve um algoritmo baseado em BCD-SCA que resolve eficientemente uma formulação tratável de eficiência energética de segredo (SEE), fornecendo um benchmark de convergência rápida.
• Inovação em DRL: Propõe uma abordagem personalizada baseada em SAC para o problema geral do WCSEE. Este método captura efetivamente o acoplamento de alta dimensão entre variáveis e evita a otimização iterativa repetida exigida por métodos convencionais, transferindo a carga computacional para o treinamento offline.
• Validação de Desempenho: O estudo fornece uma comparação abrangente contra otimização convencional (SCA) e outros benchmarks de DRL (DDPG, TD3).

Resultados
Os resultados da simulação demonstram a superioridade da abordagem SAC proposta:

• Ganho de Desempenho: O método SAC alcança até 28% de melhoria na SEE em comparação com o benchmark baseado em SCA e aproximadamente 16% de melhoria sobre o Gradiente de Política Determinística Profunda (DDPG). Também supera o TD3 (Twin Delayed DDPG).
• Robustez: A abordagem SAC mantém desempenho estável e robustez em diversas configurações do sistema, incluindo diferentes números de elementos RIS e níveis de potência de transmissão. Demonstra forte resiliência à incerteza do CSI (raios de incerteza variáveis $\nu$).
• Convergência: O SAC exibe convergência mais rápida e recompensas médias mais altas em comparação com DDPG e TD3, mesmo com tamanhos pequenos de mini-lotes.
• Escalabilidade: Ao contrário do SCA, que se torna computacionalmente intensivo com variáveis acopladas de alta dimensão, o método SAC oferece implantação online de baixa complexidade após o treinamento offline.

Significância
O artigo afirma que sua principal significância reside em preencher a lacuna entre a otimização teórica e a implantação prática em sistemas seguros UAV-RIS. Enquanto trabalhos existentes frequentemente tratam SWIPT, segurança ou implantação de UAV isoladamente ou assumem modelos idealizados, este framework unifica esses elementos sob restrições realistas (CSI imperfeito, fases discretas). Ao demonstrar que uma abordagem de DRL sem modelo (SAC) pode superar uma otimização baseada em modelo rigorosa (SCA) em ambientes complexos, acoplados e incertos, o artigo sugere uma mudança de paradigma em direção ao controle baseado em aprendizado para redes sem fio seguras de próxima geração. Os resultados indicam que o SAC é particularmente bem adequado para lidar com a não convexidade e a alta dimensionalidade inerentes à alocação conjunta de recursos UAV-RIS, oferecendo uma solução escalável para futuras redes além do 5G.