⚡ electrical engineering

Genetic Algorithms and Reinforcement Learning Approaches for Joint Placement, Power Control, and Activation of Flying Base Stations

Este artículo evalúa los Algoritmos Genéticos y el Aprendizaje por Refuerzo basado en la Optimización de Política Próxima para la colocación 3D conjunta, el control de potencia y la activación de Estaciones Base Voladoras, revelando que mientras los Algoritmos Genéticos logran una mayor conectividad de usuarios en escenarios limitados por interferencia, el enfoque de RL ofrece una eficiencia de potencia e reducción de interferencia superiores.

Autores originales: Fady A. Abouelghit, Karim G. Seddik

Publicado 2026-09-07

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Fady A. Abouelghit, Karim G. Seddik

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una ciudad donde las ondas de radio están saturadas y las torres de telefonía móvil terrestres que mantienen conectados nuestros teléfonos están luchando por seguir el ritmo. A veces, un aumento repentino de personas en un festival, un desastre natural que deja fuera la infraestructura o simplemente un valle remoto con mala cobertura crea un vacío en la red. Para llenar estos huecos, los ingenieros están mirando hacia el cielo. Proponen utilizar drones, o vehículos aéreos no tripulados, equipados con equipos de torres de telefonía para actuar como "estaciones base voladoras". Estas estaciones voladoras pueden mantenerse suspendidas sobre una multitud o un terreno difícil, emitiendo señales hacia las personas en el suelo. Al estar tan altas, a menudo tienen una línea de visión clara y sin obstrucciones hacia los usuarios de abajo, lo que supone una ventaja distintiva frente a las torres ancladas al suelo. Sin embargo, no basta con lanzar un dron al cielo. El dron debe colocarse en el lugar exacto, a la altura exacta y debe transmitir su señal al nivel de potencia preciso necesario. Si está demasiado alto, la señal es débil; si está demasiado bajo, se ve bloqueada por los edificios. Si transmite demasiado fuerte, interfiere con otras señales; si lo hace demasiado bajo, nadie se conecta. Además, el dron tiene una batería limitada, por lo que no puede permanecer en el aire para siempre. El desafío consiste en determinar la combinación perfecta de dónde colocar el dron, a qué altura volar, con qué intensidad gritar y si encenderlo o no, todo ello asegurando que no perturbe la red existente.

En un estudio reciente, investigadores de la Universidad Americana de El Cairo abordaron este complejo rompecabezas probando dos formas diferentes de resolverlo. Construyeron una simulación informática masiva y realista de una red inalámbrica que incluía tanto las torres terrestres tradicionales como varios drones voladores. Esta simulación era lo suficientemente sofisticada como para imitar cómo viajan realmente las ondas de radio a través de una ciudad, rebotando en los edificios y desvaneciéndose con la distancia, en lugar de utilizar una matemática simple e idealizada. El objetivo era maximizar el número de personas que podían conectarse a la red manteniendo, al mismo tiempo, lo más bajo posible la energía total utilizada por los drones. Para encontrar la mejor solución, el equipo enfrentó dos enfoques distintos. El primero fue un "algoritmo genético", un método inspirado en la evolución biológica. Funciona creando un gran grupo de posibles soluciones, probándolas y luego mezclando y mutando las mejores a lo largo de muchas generaciones para ver si mejoran. El segundo enfoque fue el "aprendizaje por refuerzo", un tipo de inteligencia artificial en el que un agente informático aprende mediante el ensayo y error, recibiendo una recompensa por las buenas decisiones y una penalización por las malas, construyendo gradualmente una estrategia sobre cómo actuar en cualquier situación dada.

Los investigadores sometieron estos dos métodos a varios escenarios, cambiando el tamaño de la ciudad, el número de torres terrestres y el número de drones disponibles. También probaron dos objetivos diferentes: uno que se preocupaba únicamente por conectar a tantas personas como fuera posible, y otro que intentaba equilibrar la conectividad con el ahorro de energía. Los resultados revelaron una diferencia clara y sorprendente en cómo se comportaron los dos métodos. El algoritmo genético demostró ser el explorador más agresivo. Encontró consistentemente formas de conectar a más personas, especialmente en entornos concurridos o difíciles donde las señales interfieren entre sí. Lo hizo moviendo activamente los drones a nuevos lugares, ajustando sus alturas y, a veces, encendiendo varios drones a la vez para cubrir más terreno. En el caso de prueba más desafiante, que involucraba dos torres terrestres y dos drones, este método conectó casi un veinticuatro por ciento más de usuarios que el enfoque basado en el aprendizaje. Estaba dispuesto a usar más potencia para lograr esto, tratando la red como un sistema dinámico que podía remodelarse para adaptarse a las necesidades de los usuarios.

En contraste, el agente de aprendizaje por refuerzo tomó un camino mucho más cauteloso. Aprendió a ser conservador, optando a menudo por confiar en las torres terrestres existentes en lugar de arriesgarse con la complejidad de gestionar múltiples drones. Cuando los investigadores añadieron una penalización por usar demasiada energía, el agente de aprendizaje respondió apagando un dron por completo y dejando que las torres terrestres realizaran el trabajo pesado. Si bien esto ahorró energía y redujo la interferencia, significó que menos personas pudieron conectarse. El agente de aprendizaje parecía preferir una solución estable y predecible sobre la estrategia de alto riesgo y alta recompensa del algoritmo genético. Rara vez encendía más de un dron, incluso cuando había dos disponibles, y tendía a mantener los drones en posiciones que eran seguras pero no necesariamente óptimas para la máxima cobertura.

El estudio no afirmó que un método fuera universalmente superior, sino que la elección depende enteramente de lo que el operador de la red valore más. Si la prioridad es asegurar que cada persona en una multitud reciba una señal, el enfoque evolutivo de ensayo y error del algoritmo genético es la mejor herramienta. Sobresale encontrando disposiciones de drones complejas y no obvias que maximizan la cobertura. Sin embargo, si la prioridad es ahorrar batería y mantener el sistema simple y estable, el enfoque basado en el aprendizaje es más efectivo, incluso si significa que algunos usuarios se queden sin conexión. Los investigadores señalaron que sus hallazgos se basaron en simulaciones, que son herramientas poderosas para probar ideas antes de construir hardware real, pero reconocieron que las condiciones del mundo real con personas en movimiento y clima impredecible podrían cambiar el resultado. En última instancia, el trabajo proporciona una guía clara para los ingenieros: no se puede tener tanto la máxima conectividad como el mínimo uso de energía con una sola estrategia. Deben decidir si quieren que la red sea un explorador audaz y adaptativo o un guardián cuidadoso y eficiente, y luego elegir el algoritmo que coincida con esa personalidad.

Resumen Técnico: Enfoques de Algoritmos Genéticos y Aprendizaje por Refuerzo para la Ubicación Conjunta, Control de Potencia y Activación de Estaciones Base Voladoras

1. Planteamiento del Problema

El artículo aborda la optimización de las Estaciones Base Voladoras (FBS, por sus siglas en inglés) en redes celulares heterogéneas a gran escala. El desafío central es la optimización conjunta de tres variables de decisión acopladas para múltiples FBS:

Ubicación tridimensional: Coordenadas horizontales continuas ( $x, y$ ) y altitud ( $z$ ).
Potencia de transmisión: Niveles de potencia continuos ( $P$ ).
Estado de activación: Decisiones discretas de encendido/apagado ( $P_s \in \{0, 1\}$ ).

Este problema se formula como un Programa No Lineal de Enteros Mixtos (MINLP). El objetivo es maximizar una función de costo unificada que equilibra la conectividad del usuario (definida por una Relación Señal a Interferencia más Ruido, SINR, que supere un umbral) y la potencia total de transmisión de las FBS. La optimización debe tener en cuenta condiciones de propagación realistas, incluyendo enlaces aire-tierra y terrestres, transiciones LoS/NLoS y patrones de interferencia complejos en entornos urbanos densos.

2. Metodología

Los autores proponen un marco de evaluación unificado para comparar dos paradigmas de optimización distintos bajo los mismos modelos de sistema, restricciones y funciones de costo.

Modelo de Sistema y Simulación de Canal

Topología de Red: Una red heterogénea que comprende Estaciones Base Macro (MBS) terrestres fijas y FBS controlables que dan servicio a un conjunto distribuido de usuarios.
Modelado de Canal: El estudio utiliza QuaDRiGa, un simulador de canal estocástico basado en la geometría y conforme a los estándares de la 3GPP. Esto reemplaza los modelos analíticos simplificados para capturar efectos realistas de pérdida de trayectoria, sombreado, desvanecimiento e interferencia.
Métrica de Conectividad: Un usuario se considera conectado si su SINR máxima alcanzable (a través de todas las MBS y FBS activas) supera un umbral predefinido.

Marco de Optimación

La función objetivo $J(d)$ combina la conectividad normalizada y el consumo de potencia normalizado, moldeados por hiperparámetros ( $\beta, \gamma, \eta, w$ ) para permitir el ajuste entre la maximización de la conectividad y la eficiencia de la potencia.

Se evalúan dos enfoques específicos:

Algoritmo Genético (GA):
- Tipo: Un algoritmo evolutivo de código real y entero mixto.
- Mecanismo: Los cromosomas codifican el vector de decisión completo (posición, potencia y bit de activación binaria) para todas las FBS.
- Operadores: Utiliza el cruce BLX- $\alpha$ para variables continuas y un manejo específico para los bits de activación binaria (herencia o inversión aleatoria). La mutación aplica ruido gaussiano a los genes continuos e inversión de bits a los bits de activación.
- Estrategia: Capacidad de búsqueda global para escapar de los óptimos locales inducidos por la naturaleza no convexa y de enteros mixtos del problema.
Aprendizaje por Refuerzo (RL):
- Tipo: Una línea base de Optimización de Política Próxima (PPO) de un solo agente.
- Mecanismo: Trata el problema como un proceso de toma de decisiones secuenciales sobre un horizonte fijo. El agente observa los deltas agregados de conectividad y ajusta los parámetros de las FBS mediante incrementos continuos y señales de activación.
- Estrategia: Aprende una política para maximizar la recompensa acumulada con descuento. El espacio de estados se limita a métricas agregadas (sin mapas de SINR por usuario) para asegurar una comparación justa con el bucle de retroalimentación del GA.

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

Extensión de Red Heterogénea a Gran Escala: Los autores desarrollaron un entorno de simulación que cubre áreas geográficas significativamente mayores con múltiples MBS y FBS, capturando interacciones de interferencia más densas y diversas distribuciones de usuarios en comparación con los estudios típicos de pequeña escala.
Modelado de Canal Realista: La integración del simulador QuaDRiGa asegura que la propagación, el desvanecimiento y la interferencia se modelen con una precisión conforme a la 3GPP, yendo más allá de las aproximaciones analíticas simplificadas.
Marco de Optimización Unificado: El estudio establece un marco común para comparar directamente los métodos evolutivos (GA) y los basados en políticas (RL) para el despliegue de múltiples FBS. Crucialmente, evalúa ambos métodos bajo los mismos modelos de canal, restricciones y configuraciones de función de costo, aislando las diferencias de rendimiento atribuibles a la estrategia de optimización en sí misma.

4. Resultados de la Simulación

El estudio evalúa los enfoques a través de dos escenarios (variando el tamaño del área y el número de MBS) y dos configuraciones de costo (enfocada en la conectividad vs. consciente de la potencia).

Desempeño de Conectividad: El Algoritmo Genético supera consistentemente a la línea base de RL en términos de total de usuarios conectados.
- En escenarios de dos MBS con alta interferencia, el GA logró hasta un 23.9% más de conectividad que el agente de RL.
- El GA explota eficazmente los grados de libertad espaciales, activando múltiples FBS y remodelando agresivamente la topología de la red para dar servicio a más usuarios.
Eficiencia de Potencia: El agente de RL demuestra una eficiencia de potencia superior.
- La política de RL es más conservadora, desactivando frecuentemente las FBS redundantes y dependiendo más de la capa MBS que siempre está encendida.
- En varios casos, el enfoque de RL logró un menor consumo de potencia por usuario conectado (hasta un ~26% de mejora en configuraciones específicas de dos MBS).
Impacto del Moldeado de Costo: La introducción de una penalización de potencia ( $\gamma > 0$ ) causó que el agente de RL redujera drásticamente la potencia y desactivara las FBS. El GA se adaptó modificando la ubicación espacial y la asignación de servicio en lugar de simplemente reducir la potencia, manteniendo una mayor conectividad a costa de un aumento en la potencia de transmisión.
Comportamiento de Activación: Un diferenciador clave es el manejo de la activación binaria. El GA activa frecuentemente múltiples FBS para aprovechar la cobertura combinada, mientras que el agente de RL tiende a converger hacia la operación de una sola FBS en configuraciones conscientes de la potencia, prefiriendo estrategias de control simplificadas.

5. Significado y Reivindicaciones

El artículo sostiene que la elección del método de optimización debe ser impulsada por prioridades operativas específicas:

Los Algoritmos Genéticos son más adecuados para despliegues que maximizan la conectividad, particularmente en entornos limitados por interferencia donde la flexibilidad espacial y la activación de múltiples nodos aéreos producen ganancias significativas.
El Aprendizaje por Refuerzo es preferible cuando la eficiencia de potencia y la sensibilidad a la interferencia son primordiales, ya que el enfoque basado en políticas converge naturalmente hacia configuraciones conservadoras de ahorro de energía.

Los autores enfatizan que su principal contribución no es la superioridad de un algoritmo sobre el otro en todos los contextos, sino el marco unificado que permite una comparación justa y directa. Señalan que la literatura existente a menudo desacopla las variables (por ejemplo, fijando la altitud) o utiliza modelos de canal simplificados, mientras que este trabajo aborda el problema de ubicación 3D, potencia y continuidad totalmente acoplado con un modelado de canal realista.

El estudio reconoce limitaciones, incluyendo supuestos controlados respecto a la distribución de usuarios y la falta de movilidad de los usuarios en la simulación, sugiriendo que trabajos futuros deberían explorar condiciones operativas más diversas y la dinámica de los usuarios.