Bypassing the CSI Bottleneck: MARL-Driven Spatial Control for Reflector Arrays

1. O Problema

O crescimento exponencial do tráfego de dados sem fio tem empurrado os sistemas de comunicação tradicionais aos seus limites. As Superfícies Inteligentes Reconfiguráveis (RIS) surgem como uma solução promissora para criar ambientes de rádio programáveis. No entanto, a implementação prática das RIS enfrenta um gargalo fundamental: a estimativa do Estado do Canal (CSI).

• Complexidade Computacional: A estimativa de CSI exige a caracterização eletromagnética precisa de centenas de elementos refletivos, gerando uma sobrecarga computacional que escala exponencialmente.
• Ineficiência Espectral: Métodos tradicionais de estimativa de canal em cascata exigem milhares de símbolos piloto, resultando em perdas proibitivas de eficiência espectral.
• Dependência de Hardware: Soluções baseadas em interferência construtiva frequentemente exigem hardware sofisticado (deslocadores de fase de alta resolução e sincronização rigorosa).

O objetivo deste trabalho é contornar a necessidade de estimativa de CSI, operando em um nível de abstração mais alto e eliminando a dependência de modelos de canal complexos.

2. Metodologia

Os autores propõem uma nova abordagem baseada em Inteligência Artificial Nativa (AI-Native) e Aprendizado por Reforço Multiagente (MARL) para controlar arrays de refletores metálicos ajustáveis mecanicamente.

A. Arquitetura do Sistema e Controle por Ponto Focal

• Hardware: Em vez de circuitos de RF complexos, o sistema utiliza um array de azulejos metálicos hexagonais que são ajustados mecanicamente (elevação e azimute) por servos comerciais.
• Abstração Espacial: Para lidar com a alta dimensionalidade do controle (um ângulo por azulejo), o sistema introduz um mecanismo de controle de ponto focal virtual.
  • O array é dividido em $L$ segmentos.
  • Cada agente controla um "ponto focal" virtual ($f_{l,t}$) no espaço 3D.
  • Os ângulos de elevação e azimute de cada azulejo são calculados deterministicamente com base na geometria de reflexão entre o ponto focal, o azulejo e o usuário.
  • Isso reduz o espaço de otimização de $2N_rN_c$ parâmetros angulares para apenas $3L$ coordenadas de pontos focais.

B. Formulação como MDP Multiagente (MA-MDP)

O problema é formulado como um Processo de Decisão de Markov Multiagente cooperativo:

• Estado Global ($S$): Posições de todos os usuários, coordenadas do refletor e pontos focais atuais.
• Observação Local ($O_l$): Cada agente $l$ observa apenas a posição do seu usuário atribuído, a localização do seu segmento de refletor e seu ponto focal atual.
• Ação ($A_l$): Um vetor de deslocamento 3D aplicado ao ponto focal virtual.
• Função de Recompensa ($R$): Uma recompensa híbrida que combina o RSSI (Indicador de Força do Sinal Recebido) global médio com o RSSI específico do usuário atribuído ao agente. Isso incentiva a cooperação para cobertura geral e o foco individual.

C. Framework de Aprendizado: CTDE e MAPPO

• Paradigma CTDE (Treinamento Centralizado, Execução Descentralizada):
  • Treinamento: Utiliza uma rede "crítica" centralizada que tem acesso ao estado global para calcular estimativas de valor e funções de vantagem estáveis.
  • Execução: Durante a operação em tempo real, cada agente executa sua política de forma totalmente descentralizada, baseando-se apenas em suas observações locais, sem necessidade de comunicação entre agentes.
• Algoritmo: Utiliza MAPPO (Multi-Agent Proximal Policy Optimization), que estende a estabilidade do PPO para ambientes multiagente, usando uma função objetivo cortada para evitar atualizações de política destrutivas que poderiam desestabilizar a coordenação emergente.

3. Principais Contribuições

1. Controle Espacial Livre de CSI: A formulação do problema como um MA-MDP permite controlar a propagação wireless através de "inteligência espacial" (coordenadas de usuários) em vez de estimativa de canal eletromagnético.
2. Melhoria de Sinal: Demonstração de ganhos significativos de RSSI através de simulações de traçado de raios de alta fidelidade.
3. Robustez Prática: Validação da viabilidade de implantação, mostrando resiliência a incertezas de localização e mobilidade dinâmica do usuário.

4. Resultados

As simulações foram realizadas em um ambiente de corredor em forma de "L" (60 GHz, NLOS) usando o motor de traçado de raios NVIDIA Sionna.

• Convergência e Desempenho:
  • A abordagem Multiagente (beam-focusing-ma) convergiu rapidamente, atingindo uma recompensa cumulativa média de 42.
  • Superou significativamente as bases de comparação: Single-Agent (24) e Multiagente Restrito por Colunas (27).
• Ganho de Sinal (RSSI):
  • Em comparação com um refletor plano estático, a abordagem proposta ofereceu um ganho de 26,86 dB.
  • Em comparação com o cenário sem refletor (NLOS puro), o ganho foi de 42,96 dB (de -110,50 dBm para -67,54 dBm).
• Adaptação Temporal:
  • O sistema multiagente manteve estabilidade e recuperou o alinhamento do feixe em apenas um passo de simulação após movimentos do usuário.
  • O método de Single-Agent mostrou alta variância e dificuldade de adaptação (-79,70 dBm).
• Robustez à Incerteza de Posicionamento:
  • O sistema foi testado com ruído gaussiano na localização do usuário (desvio padrão de 0,1m a 1,0m).
  • Mesmo com um erro de localização severo de 1,0 metro, o sistema manteve um RSSI médio estável de -72,36 dBm, demonstrando uma degradação graciosa em vez de falha catastrófica.

5. Significado e Impacto

Este trabalho valida que a abstração espacial baseada em MARL é um caminho viável e escalável para redes sem fio impulsionadas por IA.

• Superação de Barreiras Físicas: Ao eliminar a necessidade de estimativa de CSI, o método remove a principal barreira de implantação das RIS, tornando-as viáveis para cenários dinâmicos e de alta mobilidade.
• Eficiência de Hardware: O uso de refletores mecânicos controlados por servos comerciais, combinado com a abstração de ponto focal, simplifica drasticamente a complexidade do hardware e do controle.
• Escalabilidade: A arquitetura CTDE permite que o sistema escale para grandes arrays sem a sobrecarga de comunicação entre elementos, mantendo a coordenação aprendida durante o treinamento.

Em resumo, o artigo propõe uma mudança de paradigma: em vez de tentar modelar o canal complexo, o sistema "aprende" a geometria espacial necessária para focar o sinal, oferecendo uma solução prática para ambientes de rádio inteligentes do futuro.