Reinforcement Learning-Enabled Agent for Transmitter Optimization in Digital-Analog Radio-over-Fiber Fronthaul

Resumo Técnico: Agente Baseado em Aprendizado por Reforço para Otimização de Transmissor em Fronthaul de Rádio sobre Fibra Digital-Analógico

Definição do Problema
O rádio sobre fibra digital-analógico (DA-RoF) surgiu como uma solução de fronthaul viável para 6G e arquiteturas avançadas de Cloud-RAN, oferecendo um equilíbrio entre a eficiência espectral da transmissão analógica e a robustez da transmissão digital. No entanto, o desempenho dos sistemas DA-RoF depende criticamente da otimização conjunta de vários parâmetros de transmissor fortemente acoplados: o fator de arredondamento (RF), o fator de escala (SF), o fator de modelagem geométrica (GS) e os coeficientes de tap de pré-equalização. Esses parâmetros influenciam coletivamente o ruído de quantização, a razão pico à potência média (PAPR), a distorção não linear e a interferência intersimbólica (ISI) induzida pela largura de banda.

Os métodos de otimização convencionais, como configuração fixa, ajuste empírico ou busca em grade exaustiva, são computacionalmente proibitivos e frequentemente resultam em resultados subótimos sob impedimentos práticos de hardware e condições de link variáveis. Além disso, as abordagens existentes de aprendizado profundo de ponta a ponta são inadequadas para DA-RoF porque o sistema depende de operações de arredondamento não diferenciáveis, e a implantação de redes neurais complexas nas unidades de rádio remotas (RRUs) é economicamente inviável. Há uma necessidade de um método de otimização livre de modelo e eficiente em termos de hardware, que possa aprender autonomamente os parâmetros ideais sem exigir um modelo de canal diferenciável ou complexidade adicional no lado do receptor.

Metodologia
Os autores propõem uma arquitetura de agente de fronthaul DA-RoF habilitada por Aprendizado por Reforço (RL) projetada para operar inteiramente no lado do transmissor (Unidade Centralizada/Unidade Distribuída). A metodologia central envolve:

1. Formulação do MDP: O problema de otimização de parâmetros do transmissor é formulado como um Processo de Decisão de Markov (MDP).

   • Estado: Definido pelos valores atuais de RFs, SFs, o fator GS e os coeficientes de pré-equalização.
   • Ação: Variações discretas (aumentos ou diminuições) aplicadas a esses parâmetros.
   • Recompensa: Derivada da Razão Sinal-Ruído (SNR) do sinal sem fio recuperado, calculada via feedback de Magnitude de Erro Vetorial (EVM) do receptor. A função de recompensa incentiva a superação de limiares de SNR específicos de modulação e a melhoria monotônica.
   • Ambiente: O link físico de DA-RoF IMDD (Modulação de Intensidade e Detecção Direta), incluindo impedimentos como não linearidade de amplificador e limitações de largura de banda.

2. Seleção de Algoritmo: Os autores empregam uma Rede Q-Dueling (Dueling Deep Q-Network - DQN). Esta arquitetura separa a estimativa do valor do estado e da vantagem da ação, o que é particularmente eficaz para o espaço de parâmetros discretos e acoplados do DA-RoF, onde muitas ações locais podem gerar recompensas imediatas semelhantes, mas diferem em seu impacto a longo prazo. O agente é livre de modelo, baseando-se exclusivamente no feedback de SNR de ponta a ponta, em vez de um modelo de canal analítico.

3. Arquitetura do Sistema: O agente reside na CU/DU. Ele interage com o link de fronthaul ajustando os parâmetros do transmissor e recebendo feedback de SNR das Unidades Remotas (RUs). Crucialmente, as RUs não requerem modificações de hardware ou módulos DSP adicionais; elas simplesmente fornecem o feedback, garantindo baixa complexidade na borda da rede.

Principais Contribuições

• Formulação de MDP para DA-RoF: O artigo formula a otimização conjunta de RF, SF, fator GS e coeficientes de pré-equalização como um MDP, abordando a natureza não separável desses parâmetros.
• Agente de RL Amigável ao Hardware: O framework proposto implanta o agente de aprendizado exclusivamente no transmissor, mantendo a baixa complexidade do receptor e a compatibilidade com implantações DA-RoF IMDD existentes.
• Otimização Livre de Modelo: O sistema alcança a otimização sem a necessidade de um modelo de canal diferenciável ou busca em grade exaustiva, utilizando uma dueling-DQN para aprender políticas ideais através de tentativa e erro.

Resultos Experimentais
O framework proposto foi validado em um banco de testes experimental de DA-RoF IMDD usando um link de fibra monomodo padrão (SSMF) de 1 km. As principais descobertas incluem:

• Melhoria de SNR: O agente treinado alcançou um aumento médio de SNR de aproximadamente 2,7 dB em comparação com uma linha de base de busca em grade.
• Desempenho entre Ordens: O sistema suportou com sucesso formatos de modulação de alta ordem, atingindo SNRs finais de:
  • 35,8 dB para DA-RoF de 1ª ordem (1024-QAM)
  • 42,9 dB para DA-Rof de 2ª ordem (4096-QAM)
  • 53,8 dB para DA-RoF de 3ª ordem (16384-QAM)
  • 63,2 dB para DA-RoF de 4ª ordem (65536-QAM)
• Convergência: O agente demonstrou convergência rápida, atingindo estados ótimos dentro de 32 passos de interação, significativamente mais rápido do que os métodos de busca exaustiva que exigiriam dezenas de milhares de medições.
• Adaptação de Parâmetros: O agente aprendeu autonomamente a ajustar RF e SF para equilibrar o ruído de quantização e o PAPR, utilizou GS para mitigar a não linearidade de amplitude e otimizou os taps de pré-equalização para compensar a ISI induzida pela largura de banda.
• Robustez: Os parâmetros otimizados mantiveram alto desempenho através de variações nas amplitudes de condução elétrica e potências ópticas recebidas, demonstrando forte generalização.

Significância e Alegações
O artigo alega que o framework habilitado por RL proposto fornece uma solução online, escalável e eficiente em termos de hardware para a otimização de parâmetros em sistemas de fronthaul DA-RoF. Ao eliminar a necessidade de DSP complexo no lado do receptor ou busca exaustiva, o método aborda as restrições práticas de redes de acesso sensíveis ao custo. Os resultados validam que o controle inteligente e livre de modelo pode gerenciar efetivamente o acoplamento complexo de parâmetros de transmissor, pavimentando o caminho para a implantação de formatos de modulação de alta ordem e redes de acesso sem fio inteligentes de próxima geração. Os autores posicionam este trabalho como um passo em direção a sistemas de fronthaul adaptáveis ao hardware, capazes de suportar capacidades além de Terabits e implantações ultra-densas.