Beam Scheduling for Cross-Layer ISAC: A Deep Reinforcement Learning Approach

Resumo Técnico: Escalonamento de Feixes para ISAC Cross-Layer via Aprendizado por Reforço Profundo (DRL)

1. O Problema

O artigo aborda o desafio de gerenciar recursos em sistemas de Integração de Sensoriamento e Comunicação (ISAC) em ambientes multiusuário dinâmicos (como redes 6G de mmWave). O problema central é o escalonamento de feixes (beam scheduling) que deve equilibrar dois objetivos conflitantes e interdependentes:

• Comunicação: Minimizar a latência de dados, considerando a dinâmica de buffers (filas) e restrições de deadlines (prazos) de pacotes.
• Sensoriamento: Minimizar o erro de estimativa de parâmetros (alcance, velocidade e ângulo de chegada - AoD).

A complexidade reside no fato de que as decisões de alocação de feixes afetam tanto a taxa de transmissão (comunicação) quanto a precisão do eco recebido (sensoriamento). Além disso, métodos tradicionais de otimização falham porque é matematicamente intratável modelar analiticamente a interação entre a dinâmica de filas (camada de rede), as variações de canal (camada física) e os objetivos de sensoriamento em tempo real.

2. Metodologia Proposta

Os autores propõem uma abordagem baseada em Aprendizado por Reforço Profundo (DRL), especificamente utilizando o algoritmo Proximal Policy Optimization (PPO). A inovação reside na natureza cross-layer (transversal às camadas) e no uso de observações de sensoriamento para reduzir o overhead de feedback.

• Modelo de Decisão de Markov (MDP): O problema é formulado como um MDP onde:
  • Estado ($s_t$): Inclui a potência do eco refletido em todos os bins angulares do código de livros de feixes (DFT), a alocação de feixes do passo anterior e o status dos buffers dos usuários (tamanho da fila e tempo de espera do pacote no topo da fila).
  • Ação ($a_t$): Para reduzir a complexidade do espaço de ações, os autores não selecionam feixes brutos, mas sim ações de controle (ex: manter feixe, buscar área com índices menores/maiores, ou mover para feixe adjacente). Isso reduz o espaço de ações de uma dimensão massiva para $6U$ (onde $U$ é o número de usuários).
  • Recompensa ($r_t$): Uma função composta que penaliza a latência, o estouro de buffer (buffer overflow) e a expiração de pacotes, além de recompensar a precisão do sensoriamento (baseada no erro de estimativa de alcance e velocidade).
• Estratégia de Multi-feixe: Diferente de abordagens de feixe único, o modelo permite a alocação de até três feixes por usuário para aumentar o campo de visão (FoV) e mitigar o erro de desalinhamento (beam drifting) causado pela mobilidade.

3. Principais Contribuições

1. Formulação Cross-Layer: Integração inédita da dinâmica de tráfego de dados (camada de transporte/rede) com o gerenciamento de feixes (camada física) em sistemas ISAC.
2. Redução de Overhead de Feedback: O agente DRL utiliza as observações do módulo de sensoriamento (ecos refletidos) para inferir o estado do canal, eliminando a necessidade de feedback constante de Informação de Estado de Canal (CSI) por parte dos usuários.
3. Abordagem de Multi-feixe Inteligente: Demonstração de que o uso de múltiplos feixes simultâneos é uma estratégia eficaz para lidar com a incerteza angular e a mobilidade, equilibrando a potência transmitida com a cobertura.

4. Resultados Principais

Os experimentos foram realizados em cenários com e sem obstáculos (clutter) e com usuários em movimento:

• Desempenho de Comunicação: O método proposto (PPO-mb) superou métodos baseados em heurística de AoD e protocolos padrão (X-TDMA). Embora o uso de múltiplos feixes aumente ligeiramente a latência média (devido à dispersão de potência), ele garante um throughput (vazão) significativamente maior e evita a perda de pacotes por expiração de prazo.
• Desempenho de Sensoriamento: O modelo DRL aproximou-se do desempenho do benchmark "Genie" (que possui conhecimento perfeito do ângulo de chegada). O agente aprendeu a distinguir sinais de usuários de ecos de obstáculos (clutter) de forma implícita.
• Robustez: O sistema mostrou-se resiliente ao aumento da velocidade dos usuários e à probabilidade de chegada de pacotes, mantendo a latência estável em comparação com métodos tradicionais que degradam rapidamente.

5. Significância

Este trabalho é fundamental para o desenvolvimento de redes 6G, pois prova que o sensoriamento não é apenas uma função adicional, mas uma ferramenta que pode auxiliar a própria comunicação ao fornecer consciência ambiental. A abordagem de aprendizado por reforço oferece uma solução viável para a gestão de recursos em ambientes altamente dinâmicos e complexos, onde modelos matemáticos rígidos não conseguem acompanhar a realidade física do canal e do tráfego de dados.