💻 computer science

UAV Trajectory and Bandwidth Allocation for Efficient Data Collection in Low-Altitude Intelligent IoT: A Hierarchical DRL Approach

Este artículo propone un enfoque de aprendizaje por refuerzo profundo jerárquico (HDRL) para optimizar las trayectorias de los UAV y la asignación de ancho de banda, con el fin de maximizar la recolección de datos en redes IoT de baja altitud frente a interferencias y volúmenes de datos dinámicos, logrando una convergencia más rápida y un menor costo computacional.

Autores originales: Zhenjia Xu, Xiaoling Zhang, Nan Qi, Xiaojie Li, Luliang Jia

Publicado 2026-04-28

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zhenjia Xu, Xiaoling Zhang, Nan Qi, Xiaojie Li, Luliang Jia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El "Mensajero Volador Inteligente": Cómo optimizar la recolección de datos en ciudades inteligentes

Imagina que vives en una ciudad súper moderna donde miles de sensores (como pequeños termómetros o medidores de contaminación) están esparcidos por todas partes: en parques, edificios y calles. Estos sensores recolectan información vital, pero tienen un problema: no tienen cables para enviar esa información y su batería es limitada.

Para solucionar esto, usamos drones (UAVs). El dron vuela sobre la ciudad, se acerca a los sensores, "absorbe" sus datos de forma inalámbrica y luego los lleva a una central.

El Problema: El caos del mensajero

Imagina que este dron es un mensajero en una ciudad caótica. Tiene tres grandes problemas:

El laberinto: Hay edificios altos (obstáculos) y zonas donde no puede volar.
Los "ruidosos": Hay interferencias (como gente gritando en una biblioteca) que hacen que la comunicación sea difícil.
La prisa y el hambre: El dron tiene una batería limitada y los sensores están generando datos nuevos constantemente. Si el dron no llega rápido, los sensores se llenan de información y pierden los datos viejos (como un vaso de agua que se desborda).

Si el dron intenta decidir a dónde volar y a qué velocidad hablar con cada sensor al mismo tiempo, su "cerebro" se bloquea. Es como intentar jugar al ajedrez mientras resuelves una ecuación matemática compleja; es demasiado para una sola mente.

La Solución: El cerebro dividido (Aprendizaje por Refuerzo Jerárquico)

Los investigadores crearon un sistema llamado TBH-DDPG. En lugar de un solo cerebro gigante, le dieron al dron un "Cerebro de Dos Niveles":

El Capitán (Nivel Superior): Este nivel es el estratega. No se preocupa por los detalles técnicos. Su única misión es mirar el mapa y decir: "¡Bien! El siguiente movimiento es ir hacia el sector norte para evitar esos edificios y acercarnos a los sensores más importantes". Decide la ruta de vuelo.
El Técnico (Nivel Inferior): Una vez que el Capitán decide hacia dónde ir, el Técnico entra en acción. Él se encarga de la comunicación: "Ahora que estamos aquí, vamos a darle más 'ancho de banda' (más tiempo de habla) al sensor A y un poquito al sensor B para que no pierdan su información". Decide cómo repartir el internet entre los sensores.

¿Por qué es esto mejor? (Los resultados)

Al dividir el trabajo, el dron se vuelve mucho más eficiente:

Aprende más rápido: Es como aprender a conducir (un nivel) antes de aprender a ganar una carrera de Fórmula 1 (el nivel completo). El sistema converge un 44% más rápido.
Es más ligero: El "cerebro" del dron no necesita ser una supercomputadora pesada. Al ser una estructura jerárquica, el modelo es más pequeño y consume un 58% menos de energía de cálculo. Esto es vital porque el dron tiene poca batería.
No pierde información: Gracias a que el "Técnico" reparte muy bien el tiempo de comunicación, los sensores no se desbordan y la información se recoge casi por completo.

En resumen

Este estudio presenta una forma de hacer que los drones sean mensajeros inteligentes y ágiles. Al separar la estrategia de vuelo de la técnica de comunicación, logramos que los drones puedan navegar por ciudades complejas, esquivar obstáculos y recoger la mayor cantidad de datos posible sin quedarse sin batería o sin capacidad de procesamiento. ¡Es el futuro de las ciudades inteligentes!

Resumen Técnico: Trayectoria de UAV y Asignación de Ancho de Banda para la Recolección Eficiente de Datos en IoT Inteligente de Baja Altitud

1. El Problema

En el contexto de la evolución de las redes 6G, la recolección de datos mediante Vehículos Aéreos No Tripulados (UAV) en entornos de Internet de las Cosas (IoT) de baja altitud enfrenta desafíos críticos. Los problemas tradicionales de optimización son altamente no convexos y difíciles de resolver en tiempo real. Los métodos existentes basados en Aprendizaje por Refuerzo Profundo (DRL) presentan tres limitaciones principales:

Complejidad de decisión: La necesidad de optimizar simultáneamente la trayectoria de vuelo (decisiones espaciales) y la asignación de ancho de banda (decisiones de comunicación) crea un espacio de estados y acciones de alta dimensión.
Limitaciones de hardware: Los modelos DRL convencionales requieren una alta capacidad de cómputo y una convergencia lenta, lo cual es inviable para los UAV, que tienen carga útil y potencia de procesamiento limitadas.
Entornos dinámicos y hostiles: La presencia de interferencias desconocidas (jammers), obstáculos físicos (zonas de no vuelo, edificios) y el crecimiento dinámico del volumen de datos en los nodos IoT dificultan la recolección eficiente.

2. Metodología Propuesta

Para abordar estos retos, los autores proponen un enfoque de Aprendizaje por Refuerzo Profundo Jerárquico (HDRL) mediante un nuevo algoritmo denominado TBH-DDPG (Trajectory and Bandwidth Hierarchical Deep Deterministic Policy Gradient).

La metodología se basa en un modelo de Proceso de Decisión de Semi-Markov (SMDP), que descompone la tarea compleja en dos niveles jerárquicos:

Nivel Superior (Estrategia de Vuelo): Opera con una granularidad temporal gruesa. Su función es planificar la trayectoria de vuelo del UAV (decidir hacia dónde moverse o si permanecer en vuelo estacionario) para cubrir las zonas con mayor densidad de datos.
Nivel Inferior (Asignación de Ancho de Banda): Opera con una granularidad temporal fina dentro de cada periodo de vuelo. Su función es decidir cómo distribuir el ancho de banda total ( $B$ ) entre los diversos nodos IoT para maximizar la tasa de transferencia de datos, considerando la relación señal-interferencia-más-ruido (SINR).

Componentes clave del diseño:

Espacio de Estados: Se utiliza una representación de mapa de cinco capas (zonas de no vuelo, obstáculos de comunicación, zonas de despegue/aterrizaje, nodos IoT y jammers) procesada mediante redes neuronales convolucionales (CNN) para extraer características tanto globales como locales.
Función de Recompensa: Diseñada de forma dual. El nivel inferior recibe recompensas por la cantidad de datos recolectados y penalizaciones por pérdida de datos (cuando el nodo supera su capacidad). El nivel superior integra las recompensas del nivel inferior más penalizaciones por colisiones, falta de batería o fallos en el aterrizaje.

3. Contribuciones Principales

Modelado de Escenarios Realistas: A diferencia de estudios previos simplificados, este trabajo integra obstáculos de comunicación, zonas de no vuelo, interferencias de jammers de potencia y dirección desconocidas, y el crecimiento constante de datos en los nodos.
Algoritmo TBH-DDPG: Introducción de una arquitectura jerárquica que reduce la dimensionalidad del espacio de acción, permitiendo que el UAV tome decisiones de vuelo y comunicación de manera coordinada pero eficiente.
Optimización de Recursos: Un enfoque de optimización conjunta de trayectoria y ancho de banda que maximiza el volumen total de datos recolectados bajo restricciones de energía y capacidad de almacenamiento.

4. Resultados

Las simulaciones compararon el algoritmo propuesto con métodos no jerárquicos (TBJN-DDPG), algoritmos basados en SAC (TBH-SAC) y métodos de división de tiempo (TDMA-DDPG). Los resultados demuestran que:

Velocidad de Convergencia: El TBH-DDPG mejora la velocidad de convergencia en un 44.44% en comparación con los algoritmos no jerárquicos.
Eficiencia Computacional: Se logró una reducción del 58.05% en el costo computacional (FLOPS), lo que lo hace apto para hardware limitado en UAVs.
Rendimiento de Recolección: El algoritmo supera significativamente a los métodos TDMA en la gestión de la pérdida de datos y muestra una robustez superior en la evitación de obstáculos y la adaptación a la cantidad de nodos IoT.
Reducción de Modelo: El uso de la jerarquía permitió utilizar redes neuronales con menos unidades ocultas (128 frente a 1024), reduciendo drásticamente el tamaño del modelo almacenado.

5. Significancia

Este trabajo es significativo para el desarrollo de ciudades inteligentes y redes 6G, ya que proporciona un marco de decisión inteligente y ligero para sistemas autónomos. La capacidad de un UAV para gestionar de forma autónoma la comunicación y el movimiento en entornos complejos y hostiles abre la puerta a aplicaciones críticas como el monitoreo ambiental, la gestión de tráfico urbano y la agricultura de precisión, donde la eficiencia energética y la capacidad de procesamiento en el borde (edge computing) son fundamentales.