DRL-based Power Allocation in LiDAL-Assisted RLNC-NOMA OWC Systems

Resumo Técnico: Alocação de Potência Baseada em DRL em Sistemas OWC LiDAL-Assistidos com RLNC-NOMA

Declaração do Problema
A Comunicação Sem Fio Óptica (OWC) que utiliza Acesso Múltiplo Não Ortogonal (NOMA) oferece uma solução promissora para conectividade interna de alta velocidade, permitindo que múltiplos usuários compartilhem o espectro óptico através do domínio de potência. No entanto, o desempenho de sistemas OWC baseados em NOMA é significativamente degradado por Informações de Estado do Canal (CSI) imperfeitas e erros de decodificação residuais, particularmente em cenários internos com usuários densos envolvendo mobilidade do usuário. Estratégias tradicionais de alocação de potência (PA) frequentemente dependem de suposições de canal estáticas ou distribuições probabilísticas padrão (por exemplo, Rayleigh, Gaussiana), que falham em capturar a realidade dinâmica de ambientes internos caracterizados por sombreamento, erros de quantização e movimento do usuário. Além disso, otimizar a PA contínua dinamicamente para maximizar a taxa de transferência do sistema é computacionalmente proibitivo, uma vez que o problema é frequentemente NP-difícil. Métodos heurísticos existentes (por exemplo, Algoritmos Genéticos) podem convergir para ótimos locais, enquanto algoritmos padrão de Aprendizado por Reforço (RL) lutam com grandes espaços de estado-ação contínuos devido à "maldição da dimensionalidade" e à convergência lenta.

Metodologia
Para abordar esses desafios, os autores propõem um sistema OWC LiDAL-assistido com RLNC-NOMA integrado a um quadro de Aprendizado por Reforço Profundo (DRL). A metodologia compreende três componentes principais:

1. Modelo do Sistema (LiDAL e RLNC):

   • Integração LiDAL: Um sistema de Detecção e Localização de Luz (LiDAL) é empregado para explorar informações espaço-temporais. Ao capturar passivamente a presença e a localização do usuário, o LiDAL fornece dados auxiliares para refinar a estimativa de CSI. O sistema modela a CSI imperfeita como uma função do Limite Inferior de Cramer–Rao (CRLB) dos erros de localização e da distância de Linha de Visada (LOS), reconhecendo que a não linearidade da fonte óptica e as restrições de segurança ocular remodelam a precisão de localização de forma diferente dos sistemas de RF.
   • Integração RLNC: A Codificação de Rede Linear Aleatória (RLNC) é integrada ao quadro NOMA. O ponto de acesso óptico codifica pacotes de dados como combinações lineares aleatórias sobre sinais NOMA sobrepostos. Isso permite que os receptores reconstruam a informação original de forma confiável assim que um número suficiente de combinações independentes for recebido, mitigando assim a propagação de erros causada pela Cancelamento de Interferência Sucessiva (SIC) imperfeita.

2. Formulação de Otimização:
   Os autores formulam um problema de otimização complexo visando maximizar a taxa de soma média do sistema, garantindo a equidade entre os usuários e atendendo às restrições de taxa de dados mínima ($\gamma_{min}$). O problema envolve determinar coeficientes de alocação de potência ótimos ($\alpha$) para usuários agrupados sob Pontos de Acesso (APs) ópticos específicos, sujeito a restrições sobre potência total, ordenação de potência (para SIC) e requisitos de taxa mínima.

3. Solução DRL (Algoritmo NAF):
   Para resolver o problema de otimização não convexo e dinâmico de forma eficiente, os autores propõem um quadro de Aprendizado por Reforço Profundo baseado no algoritmo Função de Vantagem Normalizada (NAF).

   • Arquitetura do Agente: O agente NAF utiliza uma arquitetura de rede neural profunda com três cabeças: uma função de valor de estado $V(s)$, uma função de ação média $\mu(s)$ (política) e uma função de vantagem quadrática $A(s, a)$. Essa estrutura permite a otimização direta de ações em espaços contínuos.
   • Processo de Aprendizado: O agente interage com o ambiente (modelado como um Processo de Decisão de Markov), onde o estado inclui ganhos de canal estimados, coeficientes de ruído de localização e fatores de potência atuais. A recompensa é definida como a taxa de soma média, penalizada se as restrições forem violadas. O algoritmo NAF utiliza uma rede de destino e uma rede de avaliação com atualizações suaves para estabilizar o aprendizado e acelerar a convergência em comparação com métodos tradicionais ator-crítico como o Gradiente de Política Determinística Profunda (DDPG).

Principais Contribuições

• Modelagem do Sistema: O artigo modela um novo sistema OWC LiDAL-assistido com RLNC-NOMA que aproveita conjuntamente informações baseadas em localização para estimativa aprimorada de CSI e RLNC para transmissão robusta de dados na presença de erros de decodificação residuais.
• Inovação Algorítmica: Um modelo DRL baseado em NAF é introduzido para resolver o problema de alocação de potência contínua em ambientes dinâmicos e de alta dimensionalidade. Essa abordagem supera as limitações de algoritmos RL tradicionais (como Q-learning) e métodos ator-crítico (como DDPG) em relação à velocidade de convergência e estabilidade em espaços de ação contínuos.
• Análise de Desempenho: O estudo fornece uma avaliação abrangente da precisão da estimativa de localização do usuário e seu impacto no desempenho da rede. Ele compara o algoritmo NAF proposto com DDPG, Alocação de Potência por Razão de Ganho (GRPA) e busca exaustiva.

Resultados
Os resultados da simulação, conduzidos em um espaço de estudo interno com 8 APs ópticos e até 32 usuários, demonstram o seguinte:

• Convergência e Eficiência: O algoritmo NAF converge significativamente mais rápido que o DDPG (tempo de convergência aproximadamente 56% mais rápido) e requer menos tempo de treinamento por iteração (0,27s vs. 0,44s para DDPG). Embora tenha demandas de memória ligeiramente maiores devido à sua estrutura de vantagem quadrática, oferece uma vantagem clara de implementação sobre a busca exaustiva, que é computacionalmente inviável para cenários densos.
• Desempenho da Taxa de Soma: A alocação de potência baseada em NAF alcança uma taxa de soma média de 1,882 Gbps. Isso representa uma melhoria de 4,6% sobre o esquema GRPA convencional e uma melhoria de 1,64% sobre o agente DDPG.
• Optimalidade: O desempenho do algoritmo NAF corresponde estreitamente ao do método de busca exaustiva, que é considerado o ótimo global dentro da grade discreta, validando a quase-optimalidade da política aprendida.
• Equidade e Robustez: O método proposto garante alta equidade entre os usuários (índice de equidade de Jain), comparável à busca exaustiva, e demonstra robustez contra erros de estimativa de localização. O algoritmo aloca efetivamente potência mais alta para usuários com maiores erros de estimativa de localização para manter a confiabilidade do sistema.

Significância
O artigo afirma que o quadro proposto oferece uma solução prática e eficiente para otimizar a alocação de potência em sistemas OWC internos realistas com usuários densos. Ao integrar LiDAL e RLNC, o sistema aborda os duplos desafios de CSI imperfeita e erros de decodificação residuais. A adoção da abordagem DRL baseada em NAF fornece uma alternativa de baixa complexidade e alto desempenho à busca exaustiva computacionalmente proibitiva e a métodos DRL de convergência mais lenta. Os resultados sugerem que essa abordagem é robusta às incertezas inerentes a ambientes internos dinâmicos, tornando-a uma candidata viável para redes ópticas sem fio de alta velocidade de próxima geração.