DARA: Distributed Agent Reinforcement-based Adaptive routing in Flying Ad-hoc Network Environments

Resumen Técnico: DARA – Enrutamiento Adaptativo Basado en Agentes de Aprendizaje por Refuerzo Distribuido en Entornos de Redes Voladoras Ad-hoc

Planteamiento del Problema
Las Redes Voladoras Ad-hoc (FANETs), compuestas por Vehículos Aéreos No Tripulados (UAVs), enfrentan desafíos de enrutamiento únicos que se distinguen de las Redes Ad-hoc Móviles (MANETs) tradicionales. Estos incluyen topologías tridimensionales altamente dinámicas, interrupciones rápidas de enlaces debido a la alta movilidad, severas restricciones de energía y la falta de infraestructura persistente. Los protocolos convencionales de MANET (p. ej., AODV, OLSR) se degradan significamente en estos entornos debido a las frecuentes rupturas de rutas y la alta sobrecarga de control. Del mismo modo, las soluciones existentes específicas para FANET a menudo dependen de agrupaciones jerárquicas (clustering) o arquitecturas de Redes Definidas por Software (SDN) centralizadas. El artículo argumenta que los enfoques de agrupación sufren costos de re-agrupación elevados y una alta sobrecarga de control durante los cambios rápidos de topología, mientras que los enfoques de SDN centralizados introducen puntos únicos de falla y latencia debido a la dependencia de actualizaciones de estado global. Además, muchos de los enfoques de Aprendizaje por Refuerzo (RL) existentes para FANETs siguen siendo semi-centralizados o están integrados dentro de marcos de agrupación, fallando en lograr una verdadera descentralización.

Metodología
Para abordar estas limitaciones, los autores proponen DARA (Enrutamiento Adaptativo Basado en Agentes de Aprendizaje por Refuerzo Distribuido), un marco de enrutamiento totalmente descentralizado. En DARA, cada UAV opera como un agente de aprendizaje independiente y autónomo utilizando Q-learning. El sistema no depende de cabezas de grupo (cluster heads) ni de un controlador central.

• Modelo de Red: La arquitectura consiste en UAVs de Plataforma de Baja Altitud (LAP) responsables de la adquisición de datos y UAVs de Plataforma de Alta Altitud (HAP) que actúan como relés aéreos hacia una Estación de Gestión de Desastres (DMS).
• Representación del Estado: Cada agente construye un vector de estado local que comprende la energía residual, la calidad del enlace (una combinación ponderada de RSSI, Tasa de Recepción de Paquetes y Tiempo de Expiración de Enlace), la distancia al HAP más cercano, la velocidad relativa de los vecinos y la ocupación del búfer de los vecinos.
• Espacio de Acción: La acción es la selección de un vecino de siguiente salto de un conjunto de candidatos filtrados por umbrales de calidad de enlace y progreso de avance hacia el HAP.
• Función de Recompensa: El agente recibe una recompensa escalar diseñada para equilibrar cuatro objetivos: confiabilidad de la entrega de paquetes (PDR), calidad del enlace, consumo de energía y evitación de congestión (ocupación del búfer). La función de recompensa penaliza las transmisiones de alto consumo energético y el reenvío a nodos congestionados.
• Flujo de Trabajo Operativo: El protocolo opera en tres etapas:
  1. Emisión de Balizas: Difusión periódica del estado local (posición, energía, velocidad) para mantener las tablas de vecinos.
  2. Época de Control: Un ciclo de decisión impulsado por RL donde el agente selecciona un siguiente salto basado en su tabla Q (usando una política $\epsilon$-greedy), transmite el paquete, observa el resultado (ACK/timeout) y actualiza el valor Q.
  3. Comportamiento de Relé: Los nodos receptores verifican duplicados, intentan la transmisión directa al HAP si están en rango, o reenvían el paquete al siguiente salto seleccionado por su propio agente de RL local.

Contribuciones Clave
El artículo describe cuatro contribcciones primarias:

1. Marco Descentralizado: La introducción de un marco de enrutamiento totalmente distribuido donde cada UAV actúa como un agente de RL independiente, eliminando los cuellos de botella asociados con las estructuras de agrupación y los coordinadores centralizados.
2. Diseño de Recompensa Multiobjetivo: El desarrollo de una representación de estado compacta y una función de recompensa de múltiples objetivos que optimiza conjuntamente la confiabilidad del enlace, la estabilidad del enrutamiento, la evitación de la congestión y el uso de energía.
3. Algoritmos Ligeros: El diseño de algoritmos prácticos para el intercambio de balizas, la selección de siguiente salto impulsada por RL y el comportamiento de relé, formando un flujo de trabajo de tres fases ejecutable eficientemente en UAVs con recursos limitados.
4. Evaluación Exhaustiva: Simulaciones extensas utilizando ns-3 acoplado con ns3-gym para validar DARA contra líneas base establecidas (AODV, EMASS y ESOFCluster) a través de diversos modelos de movilidad y patrones de tráfico.

Resultados
Las simulaciones realizadas sobre un área de 2 km $\times$ 2 km con 30 a 50 LAPs y velocidades de movilidad variables (10–25 m/s) demuestran que DARA supera consistentemente a los protocolos de referencia:

• Tasa de Entrega de Paquetes (PDR): DARA logra una mejora del 10–25% sobre las líneas base, con las ganancias más significativas observadas en escenarios de alta movilidad y alta densidad donde los protocolos tradicionales sufren de inestabilidad de enlace.
• Retardo de Extremo a Extremo: DARA reduce el retardo en un 20–45% en comparación con AODV y los esquemas basados en agrupación, atribuido a la evitación de la inundación de descubrimiento de rutas y la sobrecarga de mantenimiento de grupos.
• Rendimiento (Throughput): El protocolo mantiene un rendimiento entre un 18 y 40% mayor al utilizar eficientemente enlaces estables y evitar puntos críticos de congestión.
• Sobrecarga de Enrutamiento: DARA reduce la sobrecarga de control en un 45–65% en comparación con las líneas base, ya que elimina las inundaciones de descubrimiento de rutas y las señalizaciones de reelección de grupos.
• Eficiencia Energética: El consumo de energía relacionado con el enrutamiento se reduce entre un 25 y 45%, principalmente debido a la eliminación de la señalización de control excesiva y la selección de rutas de bajo consumo energético.
• Estabilidad de Enlace: DARA mantiene tiempos de retención de enlace significativamente más largos, lo que indica una adaptabilidad superior a la movilidad 3D.

Significancia y Reivindicaciones
El artículo afirma que DARA valida el potencial del enrutamiento descentralizado impulsado por el aprendizaje por refuerzo como una solución escalable y robusta para las redes de UAV autónomas de próxima generación. Al llevar la inteligencia al borde de la red y depender únicamente de las interacciones locales, DARA aborda las limitaciones críticas de los enfoques centralizados y jerárquicos, específicamente los cuellos de botella del plano de control y los puntos únicos de falla. Los autores sostienen que el diseño de "libre de agrupaciones" (free-clustering) es particularmente ventajoso en entornos altamente dinámicos donde minimizar la complejidad del control mejora directamente la eficiencia de la red.

El artículo concluye modestamente, reconociendo limitaciones tales como la escalabilidad del Q-learning tabular en espacios de estado extremadamente grandes y la actual suposición de comportamiento totalmente cooperativo. Se propone como trabajo futuro la integración de aprendizaje por refuerzo profundo para una mejor generalización e incorporar mecanismos de seguridad para entornos adversarios.