RL based Beamforming Optimization for 3D Pinching Antenna assisted ISAC Systems

Resumo Técnico: Otimização de Beamforming baseada em RL para Sistemas ISAC assistidos por Antenas de Pinçamento 3D

Definição do Problema
Sistemas de Integração de Sensoriamento e Comunicação (ISAC) visam unificar o uso de espectro e hardware para melhorar a eficiência espectral e a consciência situacional. Embora as antenas de pinçamento (PAs) — antenas de onda guia dielétrica de baixo custo e reconfiguráveis — ofereçam um potencial significativo para ISAC devido à sua mobilidade e capacidade de formar feixes de Linha de Visão (LoS) sob demanda, as pesquisas existentes têm limitado amplamente o implante de PAs a configurações 1D (guia de onda única) ou 2D (guias de onda paralelos em um plano). Esses layouts de dimensões inferiores limitam a cobertura angular e a diversidade de elevação, restringindo a capacidade do sistema de atender usuários e alvos aéreos ou elevados de forma eficaz.

Além disso, otimizar um sistema ISAC assistido por PA 3D apresenta um desafio complexo. O problema envolve a otimização conjunta de variáveis contínuas: posicionamento de antena 3D, alocação de tempo de Acesso Múltiplo por Divisão de Tempo (TDMA) e distribuição de potência de transmissão. Isso cria um problema de otimização de alta dimensão, não convexo e não linear (devido às expressões de SNR fracionárias e termos de fase exponenciais), que é difícil de resolver usando otimização convencional feita à mão ou métodos padrão de Aprendizado por Reforço (RL).

Metodologia
Para enfrentar esses desafios, os autores propõem um novo framework combinando um esquema de implantação 3D com um algoritmo de Aprendizado por Reforço baseado em Redes Neurais de Grafos Heterogêneos (HGRL).

1. Modelo de Sistema: Os autores modelam um sistema ISAC de downlink onde uma Estação Base (BS) utiliza três guias de onda ortogonais (alinhadas com os eixos x, y e z) equipadas com antenas de pinçamento. O sistema atende $K$ usuários e detecta $L$ alvos localizados no plano $x-y$. O objetivo de otimização é maximizar a taxa de comunicação total sujeita a restrições nas taxas de sensoriamento de comunicação (SNR), orçamento de energia total e espaçamento mínimo entre antenas.
2. Formulação do MDP: O problema de otimização é formulado como um Processo de Decisão de Markov (MDP).
   • Espaço de Estados: Representa a topologia do sistema como um grafo heterogêneo variante no tempo contendo nós para antenas, usuários e alvos, juntamente com arestas representando relações de comunicação, sensoriamento e interferência.
   • Espaço de Ações: Um vetor contínuo compreendendo deslocamentos de antena, pesos de TDMA e alocação de potência.
   • Função de Recompensa: Projetada para maximizar a taxa de comunicação total enquanto penaliza violações dos limiares de SNR de sensoriamento e restrições físicas (ex: espaçamento de antena).
3. Algoritmo HGRL: A solução central é um framework HGRL utilizando o algoritmo Actor-Critic de Vantagem (A2C).
   • Representação de Grafo Heterogêneo: Diferente das abordagens de grafos homogêneos, o método proposto codifica explicitamente tipos de nós distintos (antena, usuário, alvo) e tipos de relação (comunica, sela, interferência) usando um codificador de GNN Heterogênea (HGNN). Isso permite a modelagem precisa das interações específicas de ISAC.
   • Redes de Política e Valor: As incorporações (embeddings) do grafo codificado são enviadas para uma rede ator (para seleção de ação) e uma rede crítico (para estimativa de valor) para aprender conjuntamente a política ótima para beamforming e alocação de recursos.

Principais Contribuições

• Esquema de Implantação 3D: O artigo propõe e analisa uma configuração de antena de pinçamento 3D usando três guias de onda ortogonais. Isso estende os estudos de ISAC existentes além dos layouts 1D/2D, oferecendo direcionamento de feixe em todo o espaço e graus de liberdade espaciais adicionais para desacoplar os feixes de comunicação e sensoriamento.
• Framework HGRL: Os autores desenvolvem o primeiro framework de RL baseado em GNN heterogênea especificamente para ISAC assistido por antena de pinçamento 3D. Esta abordagem permite a otimização escalável sobre estados estruturados em grafos e espaços de ação contínuos mistos, abordando as limitações do RL convencional ao lidar com relações topológicas complexas.
• Formulação de Otimização Conjunta: O estudo formula um problema de otimização conjunta abrangente para posicionamento de antena, alocação de tempo e controle de potência, capturando o controle fino de recursos sob restrições realistas.

Resultados de Simulação
Experimentos numéricos foram conduzidos em um ambiente simulado com 6 usuários e 1 alvo, comparando estratégias de implantação 1D, 2D e 3D sob diferentes restrições de potência ($p=0.1$W e $p=0.02$W).

• Desempenho do Algoritmo: O algoritmo HGRL proposto demonstrou desempenho superior em comparação com as linhas de base (A2C padrão, GRL homogêneo e configuração aleatória). Embora o HGRL tenha exibido uma convergência ligeiramente mais lenta devido ao seu raciocínio hierárquico complexo, ele alcançou a maior recompensa final e estabilidade, validando a eficácia da modelagem relacional heterogênea.
• Comparação de Implantação: A implantação 3D superou consistentemente as contrapartes 1D e 2D em termos de taxa de comunicação total.
  • Sob alta potência ($0.1$W), a implantação 3D alcançou uma taxa média de 7.13 bps/Hz, comparada a 6.37 bps/Hz (2D) e 6.21 bps/Hz (1D).
  • Sob restrições de potência rigorosas ($0.02$W), a vantagem da implantação 3D tornou-se mais pronunciada. O esquema 3D alcançou 4.70 bps/Hz, enquanto 1D e 2D alcançaram 3.80 e 4.50 bps/Hz, respectivamente.
• Eficiência de Recursos: Os resultados indicam que a implantação 3D permite que o sistema opere mais próximo do limiar de restrição de SNR de sensoriamento (ex: 5.41 dB vs. os 5 dB exigidos), reduzindo o consumo desnecessário de energia para sensoriamento e realocando mais potência para comunicação. Em contraste, as implantações 1D e 2D resultaram em SNRs de sensoriamento significativamente mais altos, indicando um uso ineficiente de potência que limitou a vazão de comunicação.

Significância
O artigo afirma que a configuração de antena de pinçamento 3D proposta, otimizada via HGRL, oferece um equilíbrio superior entre o desempenho de sensoriamento e comunicação, particularmente em cenários limitados por potência. Ao aproveitar a diversidade espacial dos guias de onda triaxiais, o sistema alcança direcionamento de feixe flexível e separação eficiente de feixes. O estudo conclui que a estrutura 3D maximiza as taxas de comunicação enquanto mantém as capacidades de sensoriamento próximas ao limiar exigido, destacando seu potencial para aplicações ISAC de próxima geração e com recursos restritos.