Resumo Técnico: Solução de Três Estágios baseada em Aprendizado Profundo para Otimização de Beamforming em ISAC

1. Definição do Problema

O artigo aborda o desafio de otimizar o beamforming em um sistema de Integração de Sensoriamento e Comunicação (ISAC) de Duplex Total (FD). Neste cenário, uma Estação Base (BS) equipada com Matrizes Lineares Uniformes (ULAs) comunica-se simultaneamente com múltiplos usuários de antena única e realiza sensoriamento de radar em múltiplos alvos usando os mesmos recursos de tempo-frequência.

O objetivo central é maximizar a taxa de comunicação total de todos os usuários, aderindo a duas restrições críticas:

1. Restrição de Potência de Transmissão: O orçamento total de potência não deve exceder um limite máximo ($P_{max}$).
2. Restrição de Taxa de Sensoriamento: Cada alvo deve atingir uma taxa de sensoriamento mínima ($\Gamma_{sen}^{req}$), que serve como um substituto (proxy) para a probabilidade de detecção do alvo.

Os autores identificam limitações nas abordagens existentes de Aprendizado Profundo (DL) para beamforming. O mapeamento direto da Informação de Estado do Canal (CSI) para vetores de beamforming sofre com:

• Alta Dimensionalidade: O espaço de variáveis de otimização cresce rapidamente com o número de antenas e usuários, aumentando a complexidade computacional e a dificuldade de treinamento.
• Falta de Interpretabilidade: Otimizar diretamente os vetores torna difícil entender ou controlar o comportamento subjacente do beamforming (ex: direcionalidade e padrões de interferência).
• Complexidade: Os métodos tradicionais de otimização convexa tornam-se computacionalmente proibitivos em cenários de alta dimensão e não convexos.

2. Metodologia: A Estrutura de Três Estágios

Para superar essas limitações, os autores propõem uma solução de três estágios que decompõe o problema de otimização de beamforming em três submódulos distintos. Esta estrutura transforma o problema de uma otimização direta de vetores para um processo mais estruturado envolvendo extração de características, otimização de padrão de feixe (beampattern) e reconstrução de vetores.

Módulo 1: Extração de Características de CSI baseada em Aprendizado Não Supervisionado

• Objetivo: Comprimir dados de CSI de alta dimensão e variável em características latentes de tamanho fixo, preservando informações essenciais.
• Técnica: Um Autoencoder (AE) é empregado.
  • Entrada: O conjunto de dados de CSI inclui canais de downlink ($h_k$), canais de uplink ($g_{l,t}$), canais de radar ($g_{l,r}$) e canais de interferência residual de autointerferência ($H_{SI}$). Essas matrizes complexas são vetorizadas e separadas em partes reais e imaginárias para formar um vetor de entrada de valor real.
  • Processo: O codificador (encoder) mapeia o CSI de alta dimensão para um vetor de característica latente de baixa dimensão ($f$). O decodificador (decoder) tenta reconstruir o CSI original a partir de $f$.
  • Treinamento: A rede é treinada de forma não supervisionada, minimizando o Erro Quadrático Médio (MSE) entre o CSI original e o reconstruído.
  • Uso: Durante a fase de teste/otimização, apenas o codificador é utilizado para extrair características de novas entradas de CSI.

Módulo 2: Otimização de Beampattern baseada em Aprendizado por Reforço (RL)

• Objetivo: Buscar o beampattern ideal (distribuição de potência sobre ângulos) com base nas características extraídas, em vez de buscar diretamente os vetores de beamforming.
• Técnica: Um algoritmo Advantage Actor-Critic (A2C) é utilizado.
  • Estado ($s_t$): Composto pelas características de CSI extraídas ($f_t$) e pela taxa de comunicação total do intervalo de tempo anterior ($R_{com}^{t-1}$).
  • Ação ($a_t$): Em vez de produzir vetores de beamforming complexos, o agente produz amostras de beampattern. O espaço de ação consiste em $A$ valores de ganho discretos amostrados no domínio angular (-90° a 90°) para três beampatterns específicos:
    1. Beampattern de comunicação ($p_w$)
    2. Beampattern de sensoriamento ($p_v$)
    3. Beampattern de recepção ($p_u$)
  • Recompensa ($r$): Uma função por partes que recompensa a soma das taxas de comunicação se ambas as restrições de comunicação e sensoriamento forem atendidas. Atribui 0 se o sensoriamento for atendido mas a comunicação não, e -1 se qualquer restrição for violada.
  • Vantagem: Otimizar no domínio do beampattern reduz o tamanho do espaço de ação (fixado em $A$), independentemente do número de antenas ou usuários, melhorando a estabilidade do treinamento e a generalização.

Módulo 3: Reconstrução de Beamforming baseada em Aprendizado Supervisionado

• Objetivo: Reconstruir os vetores reais de transmissão e recepção de beamforming a partir dos beampatterns otimizados gerados pelo agente de RL.
• Técnica: Uma Rede Neural Profunda (DNN) supervisionada aproxima a função inversa $G^{-1}$.
  • Processo: Como a inversa analítica do mapeamento beampattern-para-vetor é intratável (devido à superfície de resposta complexa), uma DNN é treinada para aprender este mapeamento.
  • Conjunto de Dados: Gerado criando aleatoriamente vetores de beamforming, normalizando-os para atender às restrições de potência, calculando seus respectivos beampatterns e pareando-os como (Entrada: Beampattern, Saída: Vetor de Beamforming).
  • Uso: Na fase de teste, a rede de reconstrução pré-treinada recebe o beampattern de saída do agente de RL e gera instantaneamente os vetores de beamforming correspondentes para implementação.

3. Principais Contribuições

O artigo afirma as seguintes contribuições:

1. Formulação do Problema: Um problema de otimização conjunta é formulado para um sistema ISAC de duplex total para maximizar a taxa de comunicação total sob restrições de taxa de sensoriamento e potência. O problema é transformado da otimização de vetores de beamforming para a otimização de beampattern via vetores de resposta de matriz (array response vectors).
2. Estrutura de Três Estágios: O design de uma nova estrutura que decompõe o problema em:
   • Extração de características de CSI não supervisionada (usando AE).
   • Otimização de beampattern baseada em RL (usando A2C).
   • Reconstrução de beamforming supervisionada (usando DNN).
3. Desempenho e Interpretabilidade: A solução proposta melhora a generalização através da extração de características, melhora a estabilidade do treinamento ao otimizar no domínio do beampattern e oferece melhor interpretabilidade em comparação com a otimização direta de vetores.

4. Resultados Numéricos

Simulações foram conduzidas em um cenário com $N_t = N_r = 4$ antenas, $K=2$ usuários e $L=1$ alvo. Os resultados destacam:

• Tamanho da Característica: Um tamanho de característica latente de 16 ofereceu o melhor equilíbrio entre compressão e desempenho. Tamanhos menores (ex: 4) causaram perda de informação, enquanto tamanhos maiores (ex: 64) levaram ao overfitting ou convergência mais lenta.
• Resolução do Beampattern: Um tamanho de amostra de 720 pontos proporcionou o maior desempenho, embora 360 tenha oferecido um bom equilíbrio entre velocidade de convergência e recompensa.
• Estudo de Ablação:
  • Caso 0 (Linha de Base): RL direto de CSI para vetores de beamforming. Convergiu em torno de 170 episódios com uma recompensa de ~800.
  • Caso 1 (Apenas Extração de Características): Convergiu mais rápido (~130 episódios) com desempenho comparável, provando a eficiência da compressão de características.
  • Caso 2 (Apenas Otimização de Beampattern): Aprendeu mais lentamente, mas acabou superando a linha de base (recompensa >850), validando que os beampatterns são mais intuitivos para agentes de RL otimizarem.
  • Caso 3 (Três Estágios Completo): Alcançou o melhor desempenho (recompensa >900), combinando a eficiência da extração de características com os benefícios estruturais da otimização de beampattern.

5. Significância e Alegações

O artigo conclui que a solução de três estágios proposta supera os algoritmos de RL de linha de base que otimizam diretamente os vetores de beamforming. A significância reside na mudança da otimização de vetores de alta dimensão e não interpretáveis para a otimização de beampatterns estruturados e intuitivos. Ao desacoplar a otimização do beampattern da geração dos vetores de beamforming, a estrutura alcança:

• Redução de Complexidade: Menor dimensionalidade no espaço de ação do RL.
• Melhor Estabilidade: Dinâmicas de treinamento mais estáveis.
• Interpretabilidade: A representação intermediária do beampattern permite uma melhor compreensão do comportamento de filtragem espacial do sistema.

Os autores afirmam que esta abordagem é particularmente vantajosa à medida que o número de antenas e usuários aumenta, onde a otimização convexa tradicional torna-se muito complexa e o mapeamento direto de DL torna-se difícil de treinar e interpretar.