A Decentralized Multi-Metric Q-Learning Objective Function (MM-QLOF) for Efficient Routing in IoT Networks

Resumen Técnico: Una Función Objetivo de Aprendizaje por Refuerzo Q Multimétrica Descentralizada (MM-QLOF) para el Enrutamiento Eficiente en Redes IoT

Planteamiento del Problema
El artículo aborda la degradación del rendimiento en las redes de Internet de las Cosas (IoT) que operan bajo condiciones de alto tráfico. Específicamente, en las Redes de Baja Potencia y Pérdidas (LLN) que utilizan el Protocolo de Enrutamiento IPv6 para Redes de Baja Potencia y Pérdidas (RPL), las altas cargas de tráfico provocan una congestión significativa, degradación de la calidad del enlace e interferencia de paquetes. Estas condiciones hacen que la selección de un nodo padre óptimo (siguiente salto) sea extremadamente difícil para las Funciones Objetivo (OF) estándar de RPL. Los enfoques tradicionales como la Función Objetivo Cero (OF0), que se basa en el conteo de saltos, y la Función Objetivo de Mínimo Rango con Histéresis (MRHOF), que se basa en el Conteo de Transmisiones Esperadas (ETX), a menudo fallan al no tener en cuenta los niveles de congestión dinámicos y las tasas de éxito de paquetes en tiempo real. En consecuencia, los nodos pueden seleccionar padres con colas MAC saturadas, lo que aumenta las colisiones, las retransmisiones, la latencia de extremo a extremo y la pérdida de paquetes.

Metodología
Los autores proponen MM-QLOF (Función Objetivo de Aprendizaje por Refuerzo Q Multimétrica), un enfoque descentralizado que integra el Aprendizaje por Refuerzo (específicamente Q-learning) en el proceso de selección de padres de RPL. La metodología opera de la siguiente manera:

1. Definición de Estado y Acción: Cada nodo IoT actúa como un agente autónomo. El "estado" es la necesidad actual del nodo de seleccionar un padre preferido, y la "acción" es la selección de un padre candidato específico del conjunto de padres de RPL.
2. Función de Recompensa Multimétrica: La innovación central reside en la función de recompensa, que evalúa a los candidatos padres basándose en tres métricas normalizadas:
   • Tasa de Éxito de Paquetes (PSR): Mide la fiabilidad del enlace inmediato (ACKs recibidos frente a paquetes transmitidos).
   • Conteo de Transmisiones Esperadas (ETX): Indica el número de transmisiones requeridas para una entrega exitosa; se prefieren valores más bajos.
   • Nivel de Congestión: Una métrica de la capa MAC que refleja la ocupación de la cola y las caídas de paquetes en relación con las transmisiones.
     La función de recompensa se formula para maximizar la PSR y la baja congestión (alta "Congestión Normalizada") mientras se minimiza el ETX. La fórmula es:
     $$Recompensa = \frac{w_{psr} \cdot PSR\_Normalizada + w_{congestión} \cdot CONGESTIÓN\_Normalizada}{w_{etx} \cdot ETX}$$
3. Mecanismo de Q-Learning: Los nodos mantienen una tabla Q que mapea los padres candidatos a valores Q. Al seleccionar un padre y observar el resultado, el nodo actualiza el valor Q utilizando la ecuación de Bellman:
   $$Q_{nuevo}(s_t, a_t) = (1 - \alpha)Q_{viejo}(s_t, a_t) + \alpha [R_t + \gamma \max Q(s_{t+1}, a_{t+1})]$$
   donde $\alpha$ es la tasa de aprendizaje y $\gamma$ es el factor de descuento, y $R_t$ es la recompensa calculada.
4. Mecanismos de Estabilidad: Para evitar la inestabilidad de la red causada por cambios frecuentes de padre debido a fluctuaciones menores de las métricas, los autores implementan:
   • Histéresis: Un cambio de padre ocurre solo si el valor Q del nuevo candidato supera el valor Q del padre actual por un umbral específico (10%).
   • Estrategia $\epsilon$-greedy: Un equilibrio dinámico entre exploración (seleccionar padres aleatorios para descubrir mejores rutas) y explotación (seleccionar el padre con el valor Q más alto). La tasa de exploración $\epsilon$ se reduce a medida que los valores Q convergen.

Contribuciones Clave

• Aprendizaje Descentralizado: El artículo demuestra que los nodos pueden aprender decisiones de enrutamiento óptimas de forma autónoma sin coordinación centralizada, adaptándose a las condiciones variables de la red.
• Marco de Métricas Integradas: El trabajo propone una combinación específica de PSR, ETX y Nivel de Congestión dentro de un marco de Q-learning, argumentando que este tríado proporciona una visión más completa de la salud de la red que los enfoques de métrica única.
• Ponderación Adaptativa: El estudio proporciona un análisis empírico que muestra cómo la ponderación de estas métricas influye en el compromiso entre la Tasa de Entrega de Paquetes (PDR) y la latencia. Sugiere que los pesos de las métricas deben ajustarse según la carga de tráfico (por ejemplo, priorizando las métricas de congestión bajo alta carga).
• Implementación Algorítmica: Los autores proporcionan algoritmos detallados para el proceso de actualización de los valores Q y el proceso de selección de padres, incluyendo estrategias de inicialización y comprobaciones de convergencia.

Resultados
El enfoque MM-QLOF fue evaluado utilizando el emulador Cooja (Contiki-NG) en una topología lineal de 51 nodos bajo diversas cargas de tráfico (desde 1 paquete cada 3 segundos hasta 1 paquete cada 0.5 segundos). Los resultados se compararon con las funciones estándar OF0 y MRHOF:

• Tasa de Entrega de Paquetes (PDR): MM-QLOF mejoró la PDR en un 10.7% en comparación con OF0 y un 11.1% en comparación con MRHOF en promedio. Bajo alto tráfico (120 paquetes/min), superó a OF0 por un 4.65% y a MRHOF por un 1.52%.
• Latencia de Extremo a Extremo: El método propuesto redujo la latencia en un 18.7% en comparación con OF0 y un 23.6% en comparación con MRHOF en promedio. En escenarios de alto tráfico, la reducción fue aún más pronunciada (34.11% frente a OF0 y 44.66% frente a MRHOF).
• Consumo de Energía: Debido a la reducción de retransmisiones y retrasos, MM-QLOF logró una ligera reducción en el consumo de energía en comparación con las funciones base.
• Sensibilidad de la Métrica: Los estudios empíricos confirmaron que priorizar la PSR y el ETX mejora la PDR pero puede aumentar la latencia, mientras que priorizar la Congestión reduce significamente la latencia pero puede disminuir ligeramente la PDR si no se equilibra correctamente.

Significancia y Reclamaciones
El artículo afirma que MM-QLOF ofrece una mejora significativa en la eficiencia del enrutamiento para redes IoT, particularmente bajo condiciones de alto tráfico donde las funciones objetivo estáticas tradicionales fallan. Al incorporar la conciencia de la congestión directamente en la lógica de selección de padres mediante el aprendizaje por refuerzo, el protocolo logra un mejor equilibrio entre fiabilidad (PDR), velocidad (latencia) y eficiencia energética. Los autores enfatizan que el enfoque permite un comportamiento adaptativo, permitiendo que los nodos eviten dinámicamente las rutas congestionadas y las colas saturadas, mitigando así los efectos negativos de los picos de tráfico. El trabajo sugiere que, si bien la implementación actual es efectiva, el trabajo futuro podría extender este modelo a escenarios de IoT móviles e incorporar métricas adicionales como la energía residual.