Learning to Focus: CSI-Free Hierarchical MARL for Reconfigurable Reflectors

Título: Aprendendo a Focar: HMARL Livre de CSI para Refletores Reconfiguráveis

1. Problema e Motivação

O aumento exponencial da demanda por tráfego wireless em redes de ondas milimétricas (mmWave) de próxima geração exige soluções inovadoras para gerenciar o ambiente de propagação. As Superfícies Inteligentes Reconfiguráveis (RIS) surgem como uma tecnologia transformadora, mas enfrentam dois gargalos críticos para implantação em larga escala:

• Sobrecarga de Estimativa de CSI: As arquiteturas eletrônicas convencionais dependem de informações de estado do canal (CSI) precisas para cada elemento refletor. Em sistemas com centenas de elementos, a estimativa de canal baseada em pilotos torna-se computacionalmente proibitiva e causa perda de eficiência espectral.
• Explosão Dimensional: A otimização centralizada de milhares de elementos de fase simultaneamente para múltiplos usuários gera um espaço de ação combinatório massivo, dificultando a convergência de algoritmos de aprendizado.

Além disso, soluções existentes que tentam contornar a dependência de CSI geralmente exigem conjuntos de dados massivos para treinamento offline ou hardware de sensoriamento dedicado, aumentando custos e complexidade.

2. Metodologia Proposta

Os autores propõem uma abordagem radicalmente diferente que substitui a estimativa de canal eletromagnético por inteligência espacial baseada em localização de usuários. O sistema utiliza Refletores Metálicos Mecanicamente Reconfiguráveis (em vez de metassuperfícies eletrônicas complexas), que operam como refletores de Fresnel lineares.

A solução central é um framework de Aprendizado por Reforço Multiagente Hierárquico (HMARL) livre de CSI, estruturado em dois níveis temporais:

• Arquitetura de Controle Hierárquico:

  • Nível Superior (Alocador): Um controlador centralizado opera em uma escala de tempo estendida ($T$). Sua função é realizar alocações discretas de "usuário para refletor". Ele observa o estado global do sistema (localização de todos os usuários e refletores) para decidir qual refletor atende a qual usuário.
  • Nível Inferior (Agentes de Foco): Controladores descentralizados operam em cada passo de tempo. Cada agente de refletor otimiza continuamente o ponto focal ($f_l$) do seu segmento atribuído. A orientação mecânica de cada azulejo do refletor é calculada deterministicamente com base na geometria entre o ponto focal, o refletor e o usuário, eliminando a necessidade de CSI em tempo real.

• Algoritmo de Aprendizado (MAPPO com CTDE):

  • Utiliza Multi-Agent Proximal Policy Optimization (MAPPO) sob o paradigma de Treinamento Centralizado com Execução Descentralizada (CTDE).
  • Durante o treinamento, um critic global avalia o estado do sistema para resolver a não-estacionariedade. Na execução, os agentes agem apenas com observações locais (posição do usuário atribuído e do refletor).
  • Viés Indutivo Geométrico: Para acelerar a convergência no espaço de ação combinatório massivo, introduz-se uma Matriz de Compatibilidade ($C$). Esta matriz codifica conhecimento prévio sobre a favorabilidade geométrica da propagação de sinal (baseada em distância e ângulo de reflexão) para guiar o controlador de nível superior, evitando configurações subótimas iniciais.

3. Contribuições Principais

1. Otimização Livre de CSI: Desenvolvimento de um framework HMARL funcional que elimina completamente a sobrecarga de estimativa de CSI, utilizando apenas dados de localização espacial para gerenciar a propagação de sinais em ambientes sem linha de visada (NLOS).
2. Redução de Dimensionalidade: A transição da otimização de orientação de cada azulejo individual para o controle de pontos focais de segmento reduz drasticamente a dimensionalidade do espaço de controle, tornando a convergência do MARL viável.
3. Robustez Hardware e Algorítmica: Validação abrangente que demonstra a resiliência do sistema a erros de localização submetro (típicos de tecnologias como UWB, Wi-Fi e BLE), provando a viabilidade de implantação prática.
4. Arquitetura de Baixo Custo: Proposta de refletores metálicos mecânicos como uma alternativa de baixo custo, banda larga e versátil em frequência, comparada a fases-shifters eletrônicos complexos.

4. Resultados Experimentais

O framework foi avaliado em um ambiente de simulação de alta fidelidade (60 GHz, ray-tracing determinístico com NVIDIA Sionna) em uma sala de conferência com múltiplos usuários e refletores.

• Desempenho de RSSI: O framework hierárquico completo ("Allocator") alcançou melhorias massivas no Indicador de Força de Sinal Recebido (RSSI), com ganhos de até 7,79 dB em comparação com baselines centralizadas (PPO convencional sem alocação hierárquica).
• Convergência: A introdução da matriz de compatibilidade acelerou significativamente o aprendizado inicial. O método completo convergiu para uma recompensa média de 70, enquanto as variantes sem a matriz ou sem o alocador hierárquico estagnaram em recompensas inferiores (50).
• Resiliência a Erros de Localização:
  • O sistema manteve desempenho robusto com erros de localização de até 0,3 metros (típico de infraestrutura comercial de Wi-Fi/BLE), sofrendo apenas uma degradação mínima.
  • Acima de 0,5 metros, o desempenho degrada-se significativamente, mas o sistema ainda demonstra viabilidade para tecnologias de rastreamento interno de nível decimétrico.

5. Significado e Impacto

Este trabalho estabelece um novo paradigma para ambientes wireless inteligentes, demonstrando que a inteligência espacial pode substituir a complexa estimativa de canal eletromagnético. Ao combinar hardware mecânico simplificado com uma arquitetura de aprendizado hierárquico, os autores oferecem um "blueprint" escalável e economicamente viável para redes mmWave de próxima geração. A solução resolve o dilema entre a complexidade computacional da otimização centralizada e a necessidade de controle de alta precisão, permitindo a implantação prática de refletores inteligentes em larga escala sem a penalidade de overhead de pilotos.