DRL-Based Phase Optimization for O-RIS in Dual-Hop Hard-Switching FSO/RIS-aided RF and UWOC Systems

Título: Otimização de Fase Baseada em DRL para O-RIS em Sistemas Híbridos de Duplo Salto FSO/RF e UWOC com Chaveamento Rígido

1. Problema e Contexto

O artigo aborda o desafio de estabelecer comunicações confiáveis e de alta capacidade em redes de próxima geração (6G) que integram ambientes terrestres, aéreos e subaquáticos, especificamente focando no Internet das Coisas Subaquáticas (IoUT).

• Desafios Específicos:
  • Comunicação Subaquática (UWOC): Sofre com atenuação severa, espalhamento e turbulência óptica induzida por variações de temperatura e salinidade.
  • Comunicação Terrestre/Aérea (FSO/RF): Os links ópticos (FSO) são vulneráveis a turbulência atmosférica e erros de apontamento, enquanto os links de RF são limitados em largura de banda.
  • Otimização de Superfícies Inteligentes (RIS): O controle de fase de Superfícies Inteligentes Ópticas (O-RIS) em ambientes subaquáticos dinâmicos é um problema não convexo e de alta dimensionalidade. Métodos de otimização clássicos e heurísticos muitas vezes falham em se adaptar em tempo real às mudanças rápidas do canal.
• Objetivo: Desenvolver um framework unificado de duplo salto que combine um primeiro salto híbrido (FSO/RF com chaveamento rígido) e um segundo salto assistido por O-RIS (UWOC), utilizando Inteligência Artificial para otimizar a fase dos elementos do O-RIS.

2. Metodologia

Os autores propõem uma arquitetura de sistema e uma estratégia de controle baseada em Aprendizado por Reforço Profundo (DRL).

• Modelo do Sistema (Duplo Salto):

  • Primeiro Salto (Ar/Terra): Um link híbrido FSO/RF operando sob um protocolo de chaveamento rígido (hard-switching). O link FSO é o canal primário; se o SNR do FSO cair abaixo de um limiar, o sistema comuta automaticamente para o link RF assistido por RIS (Radio Frequency Intelligent Surface).
  • Segundo Salto (Subaquático): Um link UWOC assistido por uma Superfície Inteligente Óptica (O-RIS). O sinal é retransmitido de um repetidor Decode-and-Forward (DF) para o destino subaquático.
  • Modelagem de Canal:
    • FSO: Modelado com distribuição Gamma-Gamma para turbulência atmosférica.
    • RF: Modelado com desvanecimento Rayleigh e perdas de caminho 3GPP.
    • UWOC: Utiliza o Espectro de Potência Óptica de Turbulência Oceânica (OTOPS) para modelar a turbulência com base em parâmetros físicos reais (temperatura, salinidade, profundidade) via Gibbs SeaWater (GSW) Toolbox. Inclui efeitos de perda de caminho (Lei de Beer-Lambert), erros de apontamento e desvanecimento.

• Otimização via DRL:

  • O problema de otimização de fase do O-RIS é formulado como um Processo de Decisão de Markov (MDP).
  • Estado ($S$): Inclui coeficientes de canal instantâneos e estimativas desatualizadas (para lidar com atrasos de CSI).
  • Ação ($A$): Os vetores de deslocamento de fase contínuos dos elementos do O-RIS, quantizados para refletir limitações de hardware.
  • Recompensa ($R$): Projetada para maximizar a taxa de transmissão (considerando blocos finitos) e minimizar a probabilidade de interrupção (outage), penalizando mudanças bruscas de fase.
  • Algoritmos: São comparados dois algoritmos Actor-Critic:
    1. DDPG (Deep Deterministic Policy Gradient): Algoritmo padrão para espaços de ação contínuos.
    2. TD3 (Twin Delayed DDPG): Uma versão aprimorada que utiliza double Q-learning (duas redes de crítico), suavização de política e atualizações atrasadas para evitar superestimação de valores e melhorar a estabilidade.

3. Contribuições Principais

1. Framework Híbrido Integrado: Propõe uma arquitetura end-to-end que une a robustez do chaveamento FSO/RF com a capacidade de cobertura estendida do O-RIS em ambientes subaquáticos.
2. Modelagem Realista de Turbulência: A aplicação do modelo OTOPS para o canal UWOC, incorporando variáveis oceanográficas (temperatura e salinidade) para uma previsão precisa das flutuações do canal, superando modelos simplificados anteriores.
3. Otimização Baseada em DRL: Demonstra a viabilidade de usar DRL (especificamente TD3) para controlar fases de O-RIS em tempo real em condições dinâmicas subaquáticas, resolvendo a complexidade não convexa que métodos tradicionais não conseguem gerenciar eficientemente.
4. Análise Comparativa: Fornece uma análise rigorosa comparando DDPG, TD3 e esquemas sem aprendizado, validando a superioridade do TD3 em termos de estabilidade e desempenho.

4. Resultados da Simulação

As simulações de Monte Carlo validaram as análises teóricas e mostraram:

• Desempenho do O-RIS: O aumento do número de elementos no O-RIS e a redução da temperatura/salinidade da água diminuem significativamente a probabilidade de interrupção (Outage Probability - OP).
• Chaveamento Híbrido: O sistema FSO/RF com chaveamento rígido oferece ganhos substanciais em OP e capacidade de canal em comparação com links isolados, especialmente em cenários de baixa SNR.
• Desempenho do DRL (TD3 vs. DDPG):
  • O algoritmo TD3 superou consistentemente o DDPG e os métodos sem aprendizado.
  • Redução de OP: O TD3 apresentou uma queda mais acentuada na curva de probabilidade de interrupção, indicando maior confiabilidade.
  • Capacidade do Canal: O TD3 alcançou a maior capacidade de canal em diferentes regimes de SNR.
  • Recompensa: O TD3 obteve uma recompensa média significativamente maior, demonstrando maior eficiência na tomada de decisão para adaptação de fase.
• Impacto Ambiental: As simulações confirmaram que a estratificação da água (variações de T e S) impacta diretamente o desempenho, e o modelo OTOPS captura essas nuances com precisão.

5. Significado e Relevância

Este trabalho é significativo para o desenvolvimento de redes 6G cross-domain (transversais a domínios).

• Viabilidade Técnica: Prova que a combinação de comunicações ópticas subaquáticas com superfícies inteligentes controladas por IA é uma solução viável para superar as limitações físicas do meio subaquático.
• Aplicações Práticas: O framework é diretamente aplicável a cenários de IoUT, como veículos autônomos subaquáticos (AUVs), monitoramento ambiental em larga escala e inspeção industrial.
• Avanço em Otimização: Ao demonstrar que o TD3 é superior ao DDPG em cenários de comunicação óptica subaquática, o artigo estabelece um novo padrão para o controle de RIS em ambientes não lineares e dinâmicos, sugerindo que o aprendizado por reforço é essencial para a próxima geração de redes híbridas.

Em resumo, o artigo oferece uma solução robusta e inteligente para conectar o mundo subaquático às redes de comunicação globais, utilizando otimização baseada em IA para mitigar os severos desafios impostos pela turbulência oceânica.