Reinforcement Learning-Enabled Agent for Transmitter Optimization in Digital-Analog Radio-over-Fiber Fronthaul

Resumen Técnico: Agente habilitado por Aprendizaje por Refuerzo para la Optimización del Transmisor en Fronthaul de Radio sobre Fibra Digital-Analógica

Declaración del Problema
El radio sobre fibra digital-analógica (DA-RoF) ha surgido como una solución de fronthaul viable para 6G y arquitecturas avanzadas de Cloud-RAN, ofreciendo un equilibrio entre la eficiencia espectral de la transmisión analógica y la robustez de la transmisión digital. Sin embargo, el rendimiento de los sistemas DA-RoF depende críticamente de la optimización conjunta de varios parámetros del transmisor estrechamente acoplados: el factor de redondeo (RF), el factor de escala (SF), el factor de modelado geométrico (GS) y los coeficientes de los taps de pre-ecualización. Estos parámetros influyen colectivamente en el ruido de cuantificación, la relación pico a promedio de potencia (PAPR), la distorsión no lineal y la interferencia intersimbólica (ISI) inducida por el ancho de banda.

Los métodos de optimización convencionales, como la configuración fija, el ajuste empírico o la búsqueda exhaustiva en cuadrícula, son computacionalmente prohibitivos y a menudo producen resultados subóptimos bajo impedimentos de hardware prácticos y condiciones de enlace variables. Además, los enfoques existentes de aprendizaje profundo de extremo a extremo no son adecuados para DA-RoF porque el sistema depende de operaciones de redondeo no diferenciables, y el despliegue de redes neuronales complejas en las unidades de radio remotas (RRU) es costoso en términos de hardware. Existe la necesidad de un método de optimización libre de modelo y eficiente en hardware que pueda aprender autónomamente los parámetros óptimos sin requerir un modelo de canal diferenciable o complejidad adicional en el receptor.

Metodología
Los autores proponen una arquitectura de agente de fronthaul DA-RoF habilitada por Aprendizaje por Refuerzo (RL) diseñada para operar enteramente en el lado del transmisor (Unidad Central/Unidad Distribuida). La metodología central involucra:

1. Formulación del MDP: El problema de optimización de parámetros del transmisor se formula como un Proceso de Decisión de Markov (MDP).

   • Estado: Definido por los valores actuales de los RF, SF, el factor GS y los coefores de pre-ecualización.
   • Acción: Variaciones discretas (incrementos o decrementos) aplicadas a estos parámetros.
   • Recompensa: Derivada de la Relación Señal a Ruido (SNR) de la señal inalámbrica recuperada, calculada mediante la retroalimentación del Error Vector Magnitude (EVM) desde el receptor. La función de recompensa fomenta la superación de los umbrales de SNR específicos de la modulación y la mejora monotónica.
   • Entorno: El enlace físico de DA-RoF IMDD (Modulación de Intensidad y Detección Directa), que incluye impedimentos como la no linealidad del amplificador y las limitaciones de ancho de banda.

2. Selección del Algoritmo: Los autores emplean una Red Q Profunda Dueling (Dueling DQN). Esta arquitectura separa la estimación del valor del estado y la ventaja de la acción, lo cual es particularmente efectivo para el espacio de parámetros discretos y acoplados de DA-RoF, donde muchas acciones locales pueden producir recompensas inmediatas similares pero difieren en su impacto a largo plazo. El agente es libre de modelo, basándose únicamente en la retroalimentación de SNR de extremo a extremo en lugar de un modelo de canal analítico.

3. Arquitectura del Sistema: El agente reside en la CU/DU. Interactúa con el enlace de fronthaul ajustando los parámetros del transmisor y recibiendo la retroalimentación de SNR de las Unidades Remotas (RU). Crucialmente, las RU no requieren modificaciones de hardware ni módulos DSP adicionales; simplemente proporcionan retroalimentación, lo que garantiza una baja complejidad en el borde de la red.

Contribuciones Clave

• Formulación de MDP para DA-RoF: El artículo formula la optimización conjunta de RF, SF, el factor GS y los coeficientes de pre-ecualización como un MDP, abordando la naturaleza no separable de estos parámetros.
• Agente de RL Amigable con el Hardware: El marco propuesto despliega el agente de aprendizaje exclusivamente en el transmisor, manteniendo una baja complejidad en el receptor y la compatibilidad con los despliegues de fronthaul IMDD existentes.
• Optimización Libre de Modelo: El sistema logra la optimización sin requerir un modelo de canal diferenciable o una búsqueda exhaustiva en cuadrícula, utilizando una dueling-DQN para aprender políticas óptimas mediante ensayo y error.

Resultados Experimentales
El marco propuesto fue validado en un banco de pruebas experimental de DA-RoF IMDD utilizando un enlace de fibra monomodo estándar (SSMF) de 1 km. Los hallazgos clave incluyen:

• Mejora de la SNR: El agente entrenado logró una mejora de la SNR promedio de aproximadamente 2.7 dB en comparación con una línea base de búsqueda en cuadrícula.
• Rendimiento a través de Órdenes: El sistema soportó exitosamente formatos de modulación de alto orden, logrando SNRs finales de:
  • 35.8 dB para DA-RoF de 1er orden (1024-QAM)
  • 42.9 dB para DA-RoF de 2do orden (4096-QAM)
  • 53.8 dB para DA-RoF de 3er orden (16384-QAM)
  • 63.2 dB para DA-RoF de 4to orden (65536-QAM)
• Convergencia: El agente demostró una convergencia rápida, alcanzando estados óptimos dentro de 32 pasos de interacción, significativamente más rápido que los métodos de búsqueda exhaustiva que requerirían decenas de miles de mediciones.
• Adaptación de Parámetros: El agente aprendió de forma autónoma a ajustar el RF y el SF para equilibrar el ruido de cuantificación y el PAPR, utilizó el GS para mitigar la no linealidad de amplitud, y optimizó los taps de pre-ecualización para compensar la ISI inducida por el ancho de banda.
• Robustez: Los parámetros optimizados mantuvieron un alto rendimiento a través de variaciones en las amplitudes de conducción eléctrica y potencias ópticas recibidas, demostrando una fuerte generalización.

Significancia y Reivindicaciones
El artículo afirma que el marco habilitado por RL propuesto proporciona una solución en línea, escalable y eficiente en hardware para la optimización de parámetros en sistemas de fronthaul DA-RoF. Al eliminar la necesidad de un DSP complejo en el receptor o de una búsqueda exhaustiva, el método aborda las restricciones prácticas de las redes de acceso sensibles al costo. Los resultados validan que el control inteligente y libre de modelo puede gestionar eficazmente el complejo acoplamiento de los parámetros del transmisor, allanando el camino para el despliegue de formatos de modulación de alto orden e infraestructuras de acceso de radio de próxima generación inteligentes. Los autores posicionan este trabajo como un paso hacia sistemas de fronthaul adaptables al hardware capaces de soportar capacidades de más de un Terabit y despliegues ultra densos.