Multi-Agent DRL for QoS and Energy Optimization in RIS-Enabled Open-RAN Industrial 6G TN/NTN Networks

Resumo Técnico: DRL Multi-Agente para Otimização de QoS e Energia em Redes TN/NTN de 6G Industriais com RIS habilitado por Open-RAN

Definição do Problema
As redes industriais 6G enfrentam desafios críticos para atender aos requisitos de comunicações de ultra-confiabilidade e baixa latência (URLLC) e eficiência energética em ambientes dinâmicos e propensos a bloqueios. As infraestruturas celulares terrestres tradicionais frequentemente falham em fornecer cobertura estável em ambientes industriais densos, caracterizados por grandes fábricas, centros logísticos e condições de propagação severas. Embora a integração de redes não terrestres (NTN) via Veículos Aéreos Não Tripulados (UAVs) e Plataformas de Alta Altitude (HAPs) ofereça uma solução, a otimização conjunta da alocação de recursos, deslocamentos de fase de Superfícies Inteligentes Reconfiguráveis (RIS), compartilhamento de espectro e offloading de computação em tais ambientes heterogêneos de Terrestre/Não Terrestre (TN/NTN) cria um problema de alta dimensionalidade e fortemente acoplado. Técnicas de otimização centralizadas convencionais são computacionalmente intratáveis para esses cenários dinâmicos, e as abordagens de aprendizado existentes muitas vezes carecem da integração do controle de propagação habilitado por RIS, coordenação TN/NTN e inteligência Open-RAN.

Metodologia
Os autores propõem uma arquitetura Open-RAN habilitada por RIS para redes industriais 6G integradas TN/NTN. A arquitetura do sistema compreende:

• Camada Terrestre: Unidades de Rádio de Solo (GRUs) e dispositivos de Internet das Coisas Industrial (IIoT) distribuídos.
• Camada Não Terrestre: Um HAP equipado com um servidor de Computação de Borda Multi-Acesso (MEC) e múltiplos UAVs montados com RISs.
• Plano de Controle: Arquitetura Open-RAN utilizando Controladores de RAN Inteligentes (RICs) de Tempo Real Próximo (Near-RT) e Não-Tempo Real (Non-RT) para controle desagregado.

A abordagem técnica central envolve a modelagem da otimização conjunta de taxas de dados, latência e consumo de energia como um Processo de Decisão de Markov Parcialmente Observável Descentralizado (Dec-POMDP).

• Modelo do Sistema: O framework considera links diretos (GRU-IIoT, HAP-IIoT) e links indiretos assistidos por RIS (UAV-RIS-IIoT). Os modelos de canal consideram condições de Linha de Visada (LoS) e Não-Linha de Visada (NLoS), utilizando desvanecimento de Rician para links aéreos e modelos de perda de percurso para links terrestres.
• Objetivo de Otimização: O objetivo é maximizar uma função de utilidade que equilibra a taxa de comunicação (utilidade de taxa logarítmica) contra penalidades por latência e consumo de energia, sujeito a restrições de largura de banda, potência de transmissão, capacidade de computação, deslocamentos de fase de RIS e requisitos de QoS.
• Algoritmo de Solução: Para resolver o Dec-POMDP, os autores empregam um framework de Otimização de Política de Proximidade Multi-Agente (MAPPO).
  • Agentes: GRUs, HAP e controladores de RIS montados em UAVs atuam como agentes independentes.
  • Observações: Os agentes operam com base em observações locais (condições de canal, demandas de tráfego, energia residual) em vez de informações de estado global.
  • Treinamento: Um crítico centralizado utiliza informações de estado global para estimar a função de valor conjunta, mitigando a não-estacionariedade, enquanto os agentes atualizam suas políticas (atores) usando um objetivo substituto recortado (clipped surrogate objective).
  • Ações: Os agentes determinam conjuntamente a associação de usuários, alocação de largura de banda, potência de transmissão, alocação de recursos de computação e configurações de deslocamento de fase de RIS.

Principais Contribuições

1. Arquitetura: Desenvolvimento de uma arquitetura Open-RAN habilitada por RIS para redes industriais 6G integradas TN/NTN, aproveitando RISs montados em UAVs para aumentar a cobertura e a confiabilidade em ambientes desafiadores.
2. Formulação: Uma formulação de problema de otimização abrangente que captura recursos de computação, configuração de RIS, compartilhamento de espectro e provisionamento de QoS sob restrições práticas de latência e energia.
3. Algoritmo: Proposta de um framework de Aprendizado por Reforço Profundo Multi-Agente (MADRL) (especificamente MAPPO) que permite o controle escalável, adaptativo e descentralizado de políticas aprendidas sem a necessidade de conhecimento total do estado global.
4. Validação: Simulações extensas comparando a abordagem proposta com baselines de estado da arte, incluindo Multi-Agent Actor-Critic (MAAC), MAPPO sem RIS e um baseline ganancioso (greedy).

Resultados
Os resultados das simulações, conduzidas em uma área industrial de 1000m × 1000m com 100 dispositivos IIoT, demonstram a eficácia do framework proposto:

• Taxa de Dados: O MAPPO proposto com RIS atinge uma taxa de dados de estado estacionário de aproximadamente 220 Mbps, representando uma melhoria de 75% sobre o MAPPO sem RIS e uma melhoria de 25% sobre o esquema MAAC.
• Latência: O framework alcança até uma redução de 25% na latência em comparação ao MAPPO sem RIS e uma redução de 20% em relação ao MAAC.
• Consumo de Energia: A abordagem produz até 16% de economia de energia em comparação com a abordagem MAAC e uma melhoria de quase 20% sobre o MAPPO sem RIS.
• Convergência: O método proposto demonstra convergência rápida e desempenho superior em várias cargas de rede comparado aos baselines gananciosos e sem RIS.

Significância e Alegações
O artigo afirma que a integração da inteligência Open-RAN assistida por RIS oferece uma solução viável para redes industriais 6G escaláveis e energeticamente eficientes. Ao permitir o controle descentralizado através de MADRL, o framework supera a intratabilidade computacional da otimização centralizada em ambientes industriais dinâmicos. Os autores asseguram que sua abordagem equilibra efetivamente os compromissos entre throughput, latência e consumo de energia, atendendo aos rigorosos requisitos de aplicações IIoT de missão crítica. O trabalho destaca o potencial dos UAV-mounted RISs para mitigar bloqueios e lacunas de cobertura, mantendo a eficiência espectral. O trabalho futuro é identificado como a extensão do framework para incluir mobilidade dinâmica de UAV, transmissão de downlink e mecanismos de aprendizado federado para aumentar ainda mais a escalabilidade e a adaptabilidade em tempo real.