Resumen Técnico: WDQAR - Un Protocolo de Enrutamiento Adaptativo Basado en Q-Learning Doble Ponderado para FANETs

1. Declaración del Problema

Las Redes Ad Hoc Voladoras (FANETs), compuestas por Vehículos Aéreos No Tripulados (UAVs), enfrentan desafíos significativos para mantener un enrutamiento confiable debido a la rápida movilidad de los nodos, los cambios frecuentes en la topología y los enlaces de comunicación inestables. Aunque existen protocolos de enrutamiento existentes para Redes Ad Hoc Móviles (MANETs) y Redes Ad Hoc Vehiculares (VANETs), estos a menudo no logran satisfacer los requisitos de las FANETs debido al alto overhead de control, la sensibilidad a las imprecisiones de ubicación y la incapacidad de aprender de las condiciones dinámicas.

Específicamente, los protocolos de enrutamiento basados en Q-learning, aunque son adaptativos, sufren tres limitaciones primarias en este contexto:

1. Estimación Sesgada de los Valores Q: El Q-learning convencional tiende a sobreestimar los valores futuros porque utiliza la misma tabla Q tanto para la selección de acciones como para la evaluación de valores.
2. Convergencia Lenta: La inicialización aleatoria o en cero de los valores Q conduce a una exploración ineficiente en las etapas tempranas y a una adaptación lenta al entorno de red actual.
3. Alto Overhead de Control: Los intervalos estáticos de mensajes HELLO resultan frecuentemente en información de topología desactualizada (si el intervalo es demasiado largo) o en un tráfico de control excesivo (si es demasiado corto), fallando en adaptarse a las duraciones de enlace y velocidades de los nodos variables.

2. Metodología: WDQAR

El artículo propone WDQAR (Enrutamiento Adaptativo basado en Q-Learning Doble Ponderado), un protocolo de dos etapas diseñado para abordar los problemas mencionados. El protocolo opera dentro de un escenario de monitoreo de desastres en 3D donde los UAVs se comunican con una Estación de Control Terrestre (GCS).

2.1 Descubrimiento Adaptativo de Vecinos

Para gestionar eficientemente los cambios de topología, WDQAR introduce un mecanismo de ajuste dinámico del intervalo de difusión de mensajes HELLO.

• Mecanismo: En lugar de un intervalo fijo, el periodo de difusión ($HP_i^t$) se calcula basándose en la Duración del Enlace ($LD_{ij}$) predicha y la Similitud de Coseno ($CS_i^t$) de los vectores de velocidad entre un nodo y sus vecinos.
• Lógica: Si los nodos se alejan rápidamente (baja duración de enlace) o tienen velocidades divergentes, el intervalo se acorta para actualizar las tablas de vecinos rápidamente. Si la topología es estable, el intervalo se alarga para reducir el overhead de control.
• Límites: El intervalo está restringido dentro de $[HP_{min}, HP_{max}]$ para evitar valores extremos.

2.2 Módulo de Decisión de Enrutamiento

La fase de enrutamiento emplea un marco de aprendizaje por refuerzo con varias optimizaciones específicas:

A. Filtrado de Vecinos Candidatos

Para reducir el espacio de acción y acelerar la convergencia, el protocolo filtra los posibles siguientes saltos utilizando un mecanismo basado en sectores.

• Se define un sector esférico con el nodo actual como centro, la GCS como eje central y un ángulo de medio cono ($\phi \approx 60^\circ$).
• Solo los vecinos dentro de este sector son considerados candidatos primarios. Si no existen vecinos en el sector, el protocolo recurre a un conjunto de candidatos codicioso (nodos más cercanos a la GCS).

B. Inicialización de Valores Q

Para evitar una exploración ineficiente en las etapas iniciales, WDQAR utiliza una estrategia de inicialización basada en la posición en lugar de una inicialización aleatoria o en cero.

• El valor Q inicial ($Q_{init}$) se asigna basándose en la relación entre la distancia del vecino candidato al destino frente a la distancia del nodo actual.
• Los vecinos más cercanos al destino reciben valores Q iniciales más altos, proporcionando al agente conocimiento previo sobre las capacidades de reenvío.

C. Diseño de la Función de Recompensa

La función de recompensa ($r_i^t$) es una suma ponderada de cuatro métricas normalizadas, con pesos determinados dinámicamente mediante la Entropía de Información:

1. Energía Residual ($E_j$): Previene el agotamiento de energía en nodos específicos.
2. Duración del Enlace ($LD_{ij}$): Prioriza enlaces estables.
3. Progreso Geográfico ($F_{ij}$): Fomenta el movimiento hacia adelante hacia el destino minimizando los ángulos de desviación.
4. Ratio de Vecinos Válidos ($VNR_{ij}$): Refleja la densidad de vecinos confiables disponibles para saltos subsecuentes, reduciendo el riesgo de huecos de enrutamiento.

D. Actualización de Q-Learning Doble Ponderado

Para mitigar el sesgo de sobreestimación del Q-learning estándar y la potencial subestimación del Q-learning doble, WDQAR utiliza un enfoque de Q-Learning Doble Ponderado.

• Tablas Duales: Cada UAV mantiene dos tablas Q independientes ($Q_1$ y $Q_2$).
• Proceso de Actualización: Una tabla se selecciona aleatoriamente para actualizarse, mientras que la otra se utiliza para evaluar el valor de la acción.
• Ponderación Adaptativa: Se calcula un peso adaptativo ($\beta$) basado en la dispersión de los valores entre los dos estimadores para la mejor y la peor acción. Este peso equilibra los estimadores simple y doble, produciendo una estimación de valor futuro ($Q_W$) más precisa y mejorando la estabilidad.

E. Parámetros de Aprendizaje Dinámicos

La tasa de aprendizaje ($\alpha$) y el factor de descuento ($\gamma$) se ajustan de forma adaptativa:

• Tasa de Aprendizaje: Aumenta cuando el retraso del siguiente salto es mayor que el promedio (indicando inestabilidad) para actualizar los valores más rápido; disminuye para enlaces estables para confiar en la experiencia histórica.
• Factor de Descuento: Se ajusta según la estabilidad de los conjuntos de vecinos entre pasos de tiempo consecutivos, reduciendo la dependencia de recompensas futuras cuando la variación de la topología es drástica.

3. Contribuciones Clave

El artículo detalla cuatro contribuciones principales:

1. Mecanismo HELLO Adaptativo: Un ajuste dinámico de los intervalos de difusión basado en la duración del enlace y la similitud de velocidad para equilibrar las actualizaciones oportunas de la topología con la reducción del overhead de control.
2. Marco de Q-Learning Doble Ponderado: Un protocolo de enrutamiento distribuido que mantiene dos tablas Q con un mecanismo de ponderación adaptativa para reducir el sesgo de estimación y mejorar la estabilidad en entornos altamente dinámicos.
3. Función de Recompensa Integral: Una función de recompensa de múltiples métricas que incorpora energía residual, duración del enlace, progreso geográfico y ratio de vecinos válidos, con pesos determinados dinámicamente vía entropía de información.
4. Estrategias de Optimización: La integración de la inicialización de valores Q basada en la posición y parámetros de aprendizaje adaptativos para acelerar la convergencia y mejorar la adaptabilidad.

4. Resultados de Simulación

El protocolo fue evaluado utilizando NS-3 en un escenario de monitoreo de desastres en 3D con 40–100 UAVs moviéndose a 10–30 m/s. WDQAR fue comparado contra QFANET y QGEO.

• Estabilidad de los Valores Q: El Q-learning doble ponderado redujo la volatilidad de los valores Q en aproximadamente un 45.62% y la variación total en un 33.03% en comparación con el Q-learning simple.
• Ratio de Entrega de Paquetes (PDR): WDQAR logró el PDR más alto, promediando un 92.62% (aproximadamente un 3.42% más alto que QFANET y un 6.50% más alto que QGEO). Mantuvo un rendimiento superior en diversas densidades de nodos y velocidades de UAV.
• Retraso de Extremo a Extremo: WDQAR demostró el menor retraso promedio (16.80 ms), lo que representa una reducción del 40.93% respecto a QFANET y del 44.30% respecto a QGEO.
• Consumo de Energía: El protocolo redujo el consumo de energía promedio en un 12.34% (vs. QFANET) y en un 6.86% (vs. QGEO) al equilibrar la carga y reducir las retransmisiones innecesarias.
• Overhead de Enrutamiento: WDQAR logró el menor overhead (9.94%), reduciéndolo en un 29.43% y un 34.80% en comparación con los protocolos de comparación, principalmente debido al intervalo HELLO adaptativo.

5. Significado y Afirmaciones

Los autores afirman que WDQAR mejora significativamente la confiabilidad del enrutamiento y la estabilidad del aprendizaje en entornos FANET altamente dinámicos. Al abordar las limitaciones específicas de los enfoques de Q-learning existentes —a saber, el sesgo de estimación, la convergencia lenta y el overhead de control estático—, el protocolo ofrece una solución robusta para enjambres de UAVs que operan en escenarios de alta movilidad y recursos limitados.

El artículo concluye que la combinación de descubrimiento de vecinos adaptativo, filtrado basado en sectores y Q-learning doble ponderado permite a la red identificar rutas óptimas de manera más precisa y adaptarse a los cambios de topología de forma más efectiva que los protocolos actuales de vanguardia. Se señala como trabajo futuro la extensión del protocolo a escenarios más grandes y complejos, así como la validación del enfoque mediante experimentos de hardware-in-the-loop y experimentos reales con UAVs.