Multi-Agent Deep Reinforcement Learning-Based Fairness-Aware Power Allocation in NOMA Systems under Imperfect SIC for 5G Communication Networks

En los ríos invisibles de datos que fluyen a través de nuestro mundo moderno, las redes inalámbricas enfrentan una lucha constante: cómo servir a más personas con la misma cantidad limitada de espectro. Durante décadas, la solución estándar fue dividir las frecuencias de radio disponibles en carriles separados, asignando a cada usuario su propio camino exclusivo. Este método, conocido como acceso múltiple ortogonal, funciona de manera confiable pero es ineficiente, como una autopista donde los autos se ven obligados a tomar turnos en una carretera de un solo carril incluso cuando los otros carriles están vacíos. Un enfoque más nuevo, llamado Acceso Múltiple No Ortogonal, o NOMA, cambia las reglas por completo. En lugar de separar a los usuarios por tiempo o frecuencia, permite que múltiples usuarios compartan exactamente la misma frecuencia al mismo tiempo. Para que esto funcione, el transmisor envía una única señal combinada donde se asignan diferentes niveles de potencia a distintos usuarios. El usuario con la conexión más fuerte recibe una señal más débil, mientras que el usuario con la conexión más débil recibe una más fuerte. En el extremo receptor, un proceso llamado cancelación sucesiva de interferencias actúa como un filtro, eliminando las señales más fuertes para revelar las más débiles que se encuentran debajo. Esta técnica promete empaquetar mucha más información en el mismo espacio, una necesidad para las redes de quinta generación, o 5G, que actualmente conectan miles de millones de dispositivos.

Sin embargo, la promesa de NOMA depende de un delicado acto de equilibrio: decidir exactamente cuánta potencia dar a cada usuario. Si la potencia se distribuye de manera deficiente, los usuarios con conexiones débiles podrían no recibir sus datos, mientras que la red en su conjunto desperdicia capacidad. Este problema se vuelve aún más difícil en el mundo real, donde el equipo no es perfecto. El proceso de eliminar las señales es propenso a pequeños errores, dejando un tenue residuo de interferencia que puede degradar la conexión. Además, el entorno inalámbrico es caótico; las señales rebotan en los edificios y se desvanecen de forma impredecible. Los métodos tradicionales para gestionar esta potencia suelen depender de reglas fijas o cálculos centralizados complejos que luchan por mantenerse al día con estos cambios rápidos. Tienden a favorecer a los usuarios con las mejores conexiones, dejando atrás a aquellos con señales pobres, o se vuelven demasiado lentos para adaptarse cuando las condiciones cambian.

Para abordar estos desafíos, un equipo de investigadores de la Universidad Internacional de Kampala y otras instituciones en Nigeria propuso una nueva forma de gestionar esta distribución de potencia utilizando una forma de inteligencia artificial. En lugar de depender de un único cerebro central para tomar decisiones para toda la red, diseñaron un sistema donde cada usuario actúa como un agente inteligente e independiente. Este enfoque, conocido como Aprendizaje por Refuerzo Profundo Multi-Agente, permite que cada usuario aprenda de su propia experiencia local. Imagine un grupo de conductores que, en lugar de esperar a que una torre de control de tráfico les diga cuándo moverse, aprenden a navegar por una intersección concurrida observando los autos a su alrededor y ajustando su velocidad basándose en lo que funciona mejor para el grupo. En este sistema, cada usuario observa su propia calidad de señal y la interferencia que enfrenta, y luego toma su propia decisión sobre cuánta potencia solicitar. Estos agentes no actúan de forma egoísta; están entrenados con un objetivo compartido que recompensa a todo el grupo por ser justo y eficiente.

Los investigadores probaron este sistema descentralizado en un entorno simulado que imitaba las condiciones impredecibles de una red 5G real. Compararon su nuevo método contra varias técnicas establecidas, incluyendo reglas fijas simples, distribución de potencia igualitaria y algoritmos más avanzados como algoritmos genéticos y sistemas de aprendizaje centralizados. Las simulaciones se ejecutaron miles de veces para asegurar que los resultados fueran confiables. Los hallazgos revelaron que, si bien el sistema centralizado podía lograr la mayor velocidad de datos total bajo condiciones perfectas, el nuevo enfoque multi-agente ofrecía un equilibrio superior de rendimiento y confiabilidad. Específicamente, el nuevo método redujo significativamente las veces que los usuarios fallaban al conectarse, una métrica conocida como probabilidad de interrupción (outage probability), manteniéndola por debajo del diez por ciento incluso cuando la fuerza de la señal era relativamente baja. También mantuvo un alto nivel de equidad, asegurando que los usuarios con conexiones pobres no se quedaran atrás, logrando una puntuación de equidad de 0.96 en niveles altos de intensidad de señal.

Quizás lo más importante, el estudio demostró que este nuevo enfoque es robusto frente a las imperfecciones encontradas en el hardware del mundo real. Cuando los investigadores introdujeron errores en el proceso de cancelación de la señal y en la medición de las condiciones del canal, el rendimiento del sistema centralizado cayó más drásticamente que el del descentralizado. Debido a que el sistema multi-agente se basa en observaciones locales en lugar de una visión global perfecta, fue menos afectado por estas imprecisiones. En términos de precisión de datos, el nuevo método redujo la tasa de errores a menos de uno en mil en intensidades de señal altas, superando a los otros métodos probados. Los investigadores concluyeron que, si bien la inteligencia centralizada tiene su lugar, una red donde los usuarios aprenden a cooperar y adaptarse localmente ofrece una solución más escalable y resiliente para el futuro de las comunicaciones inalámbricas. Este trabajo sugiere que la próxima generación de redes puede no necesitar un controlador único y omnisciente, sino una colección de agentes inteligentes y cooperativos que puedan navegar juntos el caos del mundo inalámbrico.