DRL-based Power Allocation in LiDAL-Assisted RLNC-NOMA OWC Systems

Resumen Técnico: Asignación de Potencia Basada en DRL en Sistemas OWC NOMA-RLNC Asistidos por LiDAL

Planteamiento del Problema
La Comunicación Óptica Inalámbrica (OWC) que utiliza Acceso Múltiple No Ortogonal (NOMA) ofrece una solución prometedora para la conectividad de alta velocidad en interiores, permitiendo que múltiples usuarios compartan el espectro óptico mediante el dominio de la potencia. Sin embargo, el rendimiento de los sistemas OWC basados en NOMA se degrada significativamente debido a la Información de Estado del Canal (CSI) imperfecta y a los errores de decodificación residuales, particularmente en escenarios de interiores con usuarios densos que implican movilidad. Las estrategias tradicionales de asignación de potencia (PA) a menudo dependen de suposiciones de canal estáticas o distribuciones probabilísticas estándar (por ejemplo, Rayleigh, Gaussiana), las cuales no logran capturar la realidad dinámica de los entornos interiores caracterizados por sombras, errores de cuantización y movimiento de usuarios. Además, optimizar la PA continua dinámicamente para maximizar el rendimiento del sistema es computacionalmente prohibitivo, ya que el problema suele ser NP-difícil. Los métodos heurísticos existentes (por ejemplo, Algoritmos Genéticos) pueden converger a óptimos locales, mientras que los algoritmos estándar de Aprendizaje por Refuerzo (RL) luchan con espacios de estado-acción grandes y continuos debido a la "maldición de la dimensionalidad" y una convergencia lenta.

Metodología
Para abordar estos desafíos, los autores proponen un sistema OWC NOMA-RLNC asistido por LiDAL integrado con un marco de Aprendizaje por Refuerzo Profundo (DRL). La metodología comprende tres componentes principales:

1. Modelo del Sistema (LiDAL y RLNC):

   • Integración de LiDAL: Se emplea un sistema de Detección y Localización por Luz (LiDAL) para explotar la información espacio-temporal. Mediante la captura pasiva de la presencia y ubicación de los usuarios, LiDAL proporciona datos auxiliares para refinar la estimación de CSI. El sistema modela la CSI imperfecta como una función del Límite Inferior de Cramer–Rao (CRLB) de los errores de ubicación y la distancia de Línea de Vista (LOS), reconociendo que la no linealidad de la fuente óptica y las restricciones de seguridad ocular reconfiguran la precisión de localización de manera diferente a los sistemas de RF.
   • Integración de RLNC: Se integra la Codificación de Red Lineal Aleatoria (RLNC) en el marco NOMA. El punto de acceso óptico codifica los paquetes de datos como combinaciones lineales aleatorias sobre señales NOMA superpuestas. Esto permite que los receptores reconstruyan la información original de manera confiable una vez que se recibe un número suficiente de combinaciones independientes, mitigando así la propagación de errores causada por la Cancelación de Interferencia Sucesiva (SIC) imperfecta.

2. Formulación de Optimización:
   Los autores formulan un problema de optimización complejo destinado a maximizar la tasa de suma promedio del sistema, garantizando la equidad entre usuarios y cumpliendo con las restricciones de tasa de datos mínima ($\gamma_{min}$). El problema implica determinar los coeficientes de asignación de potencia óptimos ($\alpha$) para usuarios agrupados bajo puntos de acceso (AP) ópticos específicos, sujeto a restricciones sobre la potencia total, el ordenamiento de potencia (para SIC) y los requisitos de tasa mínima.

3. Solución DRL (Algoritmo NAF):
   Para resolver el problema de optimización no convexo y dinámico de manera eficiente, los autores proponen un marco de Aprendizaje por Refuerzo Profundo basado en el algoritmo de Función de Ventaja Normalizada (NAF).

   • Arquitectura del Agente: El agente NAF utiliza una arquitectura de red neuronal profunda con tres cabezas: una función de valor de estado $V(s)$, una función de acción media $\mu(s)$ (política) y una función de ventaja cuadrática $A(s, a)$. Esta estructura permite la optimización directa de acciones en espacios continuos.
   • Proceso de Aprendizaje: El agente interactúa con el entorno (modelado como un Proceso de Decisión de Markov) donde el estado incluye ganancias de canal estimadas, coeficientes de ruido de ubicación y factores de potencia actuales. La recompensa se define como la tasa de suma promedio, penalizada si se violan las restricciones. El algoritmo NAF utiliza una red objetivo y una red de evaluación con actualizaciones suaves para estabilizar el aprendizaje y acelerar la convergencia en comparación con los métodos actor-crítico tradicionales como el Gradiente de Política Determinista Profundo (DDPG).

Contribuciones Clave

• Modelado del Sistema: El artículo modela un novedoso sistema OWC NOMA-RLNC asistido por LiDAL que aprovecha conjuntamente la información basada en la ubicación para una estimación de CSI mejorada y RLNC para una transmisión de datos robusta en presencia de errores de decodificación residuales.
• Innovación Algorítmica: Se introduce un modelo DRL basado en NAF para resolver el problema de asignación de potencia continua en entornos dinámicos y de alta dimensión. Este enfoque supera las limitaciones de los algoritmos RL tradicionales (como Q-learning) y los métodos actor-crítico (como DDPG) en cuanto a velocidad de convergencia y estabilidad en espacios de acción continuos.
• Análisis de Rendimiento: El estudio proporciona una evaluación exhaustiva de la precisión de la estimación de la ubicación del usuario y su impacto en el rendimiento de la red. Compara el algoritmo NAF propuesto con DDPG, Asignación de Potencia por Relación de Ganancia (GRPA) y búsqueda exhaustiva.

Resultados
Los resultados de la simulación, realizados en un espacio de estudio interior con 8 AP ópticos y hasta 32 usuarios, demuestran lo siguiente:

• Convergencia y Eficiencia: El algoritmo NAF converge significativamente más rápido que DDPG (aproximadamente un 56% más rápido en tiempo de convergencia) y requiere menos tiempo de entrenamiento por iteración (0.27 s frente a 0.44 s para DDPG). Aunque tiene demandas de memoria ligeramente superiores debido a su estructura de ventaja cuadrática, ofrece una clara ventaja de implementación sobre la búsqueda exhaustiva, que es computacionalmente inviable para escenarios densos.
• Rendimiento de Tasa de Suma: La asignación de potencia basada en NAF logra una tasa de suma promedio de 1.882 Gbps. Esto representa una mejora del 4.6% sobre el esquema GRPA convencional y una mejora del 1.64% sobre el agente DDPG.
• Optimalidad: El rendimiento del algoritmo NAF coincide estrechamente con el del método de búsqueda exhaustiva, que se considera el óptimo global dentro de la cuadrícula discreta, validando la casi-optimalidad de la política aprendida.
• Equidad y Robustez: El método propuesto garantiza una alta equidad entre usuarios (índice de equidad de Jain), comparable a la búsqueda exhaustiva, y demuestra robustez frente a errores de estimación de ubicación. El algoritmo asigna efectivamente mayor potencia a los usuarios con mayores errores de estimación de ubicación para mantener la fiabilidad del sistema.

Significado
El artículo afirma que el marco propuesto ofrece una solución práctica y eficiente para optimizar la asignación de potencia en sistemas OWC interiores realistas con usuarios densos. Mediante la integración de LiDAL y RLNC, el sistema aborda los desafíos duales de la CSI imperfecta y los errores de decodificación residuales. La adopción del enfoque DRL basado en NAF proporciona una alternativa de baja complejidad y alto rendimiento frente a la búsqueda exhaustiva computacionalmente prohibitiva y los métodos DRL de convergencia más lenta. Los resultados sugieren que este enfoque es robusto frente a las incertidumbres inherentes a los entornos interiores dinámicos, lo que lo convierte en un candidato viable para redes inalámbricas ópticas de alta velocidad de próxima generación.