Network Estimation and Packet Delivery Prediction for Control over Wireless Mesh Networks

Resumen Técnico: Estimación de Red y Predicción de Entrega de Paquetes para el Control en Redes Mesh Inalámbricas

Formulación del Problema
La teoría actual de los Sistemas de Control en Red (NCS, por sus siglas en inglés) suele basarse en abstracciones simplificadas de punto a punto o de topología en estrella, tratando las pérdidas de paquetes como procesos de Bernoulli independientes e idénticamente distribuidos (i.i.d.). Esta abstracción limita el conocimiento del controlador sobre las condiciones de la red, lo que conduce a un rendimiento subóptimo. Además, la interfaz entre la capa de red y la capa de control es típicamente estática, transmitiendo únicamente probabilidades de pérdida fijas en lugar de información de estado dinámica.

Este artículo aborda el control de una planta lineal sobre una red mesh inalámbrica con múltiples saltos y pérdidas de paquetes. El problema específico involucra un único bucle de control donde un controlador en el sensor debe enviar entradas de control a un actuador a través de una red con pérdidas de paquetes por ráfagas (bursty) y sin retardos (asumiendo que la dinámica de la planta es significativamente más lenta que la fecha límite de la red). El desafío central consiste en diseñar conjuntamente un estimador de red y un controlador de tipo LQG optimizado para la Entrega Futura de Paquetes (FPD, por sus siglas en inglés) que pueda utilizar predicciones probabilísticas detalladas de las secuencias de entrega de paquetes para compensar las interrupciones de la red, en lugar de depender de supuestos i.i.d. estáticos.

Metodología
Los autores proponen una arquitectura de sistema (Figura 2) que comprende un estimador de red ($\hat{N}$) y un controlador de Regresión Lineal Cuadrática Gaussiana (LQG) optimizado para la Entrega Futura de Paquetes (FPD) ($C$).

1. Modelado de la Red:
   La red mesh inalámbrica se modela como un grafo dirigido acíclico $G=(V, E)$ con un esquema de Acceso Múltiple por División de Tiempo (TDMA) fijo y repetitivo. El artículo introduce dos modelos de enlace específicos:

   • SIHS (Enlaces estáticos independientes, enrutamiento salto a salto, programados): Asume que los enlaces son estáticos (activos o inactivos) durante el tránsito del paquete.
   • GEIHS (Enlaces independientes de Gilbert-Elliott, en路由 salto a salto, programados): Modela cada enlace como una cadena de Markov de dos estados (modelo Gilbert-Elliott) donde los enlaces transitan entre estados "activo" (up) e "inactivo" (down) con probabilidades específicas ($p_u, p_d$). Esto captura la naturaleza por ráfagas de los enlaces inalámbricos.
     En ambos modelos, se asume que los enlaces son independientes y que el enrutamiento es salto a salto con retransmisiones en caso de fallo.

2. Estimación y Predicción de la Red:
   El estimador de red utiliza la estimación bayesiana recursiva para inferir el estado de la topología de la red basándose en el historial de entregas de paquetes pasadas (acuse de recibo).

   • El estimador mantiene una distribución de probabilidad sobre todas las posibles realizaciones de la topología ($\tilde{G}$).
   • Utilizando el modelo de red y el historial de entregas de paquetes, calcula la distribución de probabilidad conjunta de las secuencias de entrega de paquetes futuras ($f_{\nu_k}^{k+H-1}$) sobre un horizonte finito $H$.
   • El estimador SIHS actualiza la creencia sobre la topología estática basándose en los éxitos o fallos observados.
   • El estimador GEIHS realiza un paso de predicción (propagando los estados de la cadena de Markov hacia adelante) y un paso de actualización (incorporando nuevas observaciones), lo que le permite rastrear los estados de los enlaces variables en el tiempo.
   • La salida es una distribución de probabilidad conjunta de las entregas de paquetes futuras, que captura las correlaciones entre entregas sucesivas, la cual se pasa al controlador.

3. Diseño del Controlador FPD:
   El controlador minimiza una función de costo LQG de horizonte finito. A diferencia de los controladores LQG clásicos que asumen pérdidas de paquetes i.i.d. o entregas perfectas, el controlador FPD utiliza la distribución de probabilidad conjunta proporcionada por el estimador de red.

   • La política de control se deriva mediante programación dinámica (ecuación de Bellman).
   • La ganancia de control óptima $L_k$ depende de la esperanza condicional del costo futuro, la cual se calcula enumerando todas las posibles secuencias de entrega de paquetes futuras ponderadas por sus probabilidades predichas.
   • Esto permite al controlador "mirar hacia adelante" y ajustar las entradas de control basándose en la probabilidad de pérdidas de paquetes futuras, en lugar de reaccionar solo al estado actual o asumir un comportamiento promedio.

Contribuciones Clave

• Modelado de Red Avanzado: El artículo va más allá de los modelos Bernoulli i.i.d. al utilizar un modelo basado en grafos con dinámica de enlaces de Gilbert-Elliott y un esquema TDMA específico, capturando la naturaleza por ráfagas y correlacionada de las pérdidas de paquetes en redes de múltiples saltos.
• Estimador de Red Bayesiano Recursivo: Los autores proponen dos estimadores (SIHS y GEIHS) que proporcionan una distribución de probabilidad conjunta de las entregas de paquetes futuras. Esta interfaz transmite significativamente más información (la distribución completa) al controlador que los métodos tradicionales (que solo pasan una probabilidad de pérdida escalar).
• Controlador FPD Óptimo: Una derivación de un controlador LQG óptimo que utiliza explícitamente la distribución de probabilidad conjunta de las entregas de paquetes predichas. El controlador tiene en cuenta la correlación entre las pérdidas de paquetes futuras, lo que permite una compensación proactiva.
• Análisis de Complejidad: El artículo proporciona un análisis riguroso de la complejidad computacional, señalando que, si bien los estimadores y controladores son "óptimos" (sin pérdida de información), son computacionalmente costosos (con un escalamiento de $O(2^E)$ y $O(2^H)$), resaltando el compromiso entre la optimalidad y la viabilidad.

Resultos
El artículo valida el enfoque mediante un ejemplo de simulación que involucra una pequeña red mesh con una topología de enrutamiento y un esquema específicos.

• Desempeño de la Estimación: El estimador GEIHS detecta con éxito un fallo de enlace (enlace $(3, b)$) después de que ocurre una pérdida de paquete. Actualiza sus predicciones, pronosticando correctamente las pérdidas de paquetes subsiguientes debido a la naturaleza por ráfagas del enlace y la ruta de enrutamiento.
• Desempeño del Control: Se compara el controlador FPD con dos controladores subóptimos: un controlador IID (que asume pérdidas i.i.d.) y un controlador ON (que asume entregas perfectas).
  • Cuando ocurre un fallo de enlace, el controlador FPD, consciente de la alta probabilidad de pérdidas futuras, aplica una entrada de control mayor de forma temprana para compensar.
  • Los controladores IID y ON, al carecer de esta previsión, aplican entradas menores, asumiendo que los paquetes futuros probablemente llegarán.
  • Resultados Cuantitativos: En una simulación de Monte Carlo (10,000 ejecuciones), el controlador FPD logró un costo LQG significativamente menor (681.68) en comparación con el controlador IID (1,008.2) y el controlador ON (1,158.9). Esto demuestra que el uso de predicciones de entrega de paquetes correlacionadas mejora el desempeño del control ante interrupciones de red por ráfagas.

Significancia y Afirmaciones
El artículo afirma que, al modelar la red como un grafo de enlaces con probabilidades de éxito de transmisión y utilizando un estimador bayesiano recursivo, es posible proporcionar al controlador una distribución de probabilidad conjunta de las entregas de paquetes futuras. Esto permite que el controlador compense las interrupciones de red predichas de manera más efectiva que los controladores que dependen de modelos de pérdida simplificados e independientes.

Los autores señalan modestamente que su enfoque es un paso hacia un modelado de red más sofisticado. Reconocen que el modelo GEIHS asume la independencia de los enlaces, lo que puede no capturar todas las correlaciones en redes del mundo real, y que la complejidad computacional de la solución óptima es alta. Sin embargo, sostienen que el modelo GEIHS sirve como una base valiosa para la comparación y que la arquitectura propuesta demuestra los beneficios potenciales de una interfaz más rica entre las capas de red y de control. El trabajo sugiere que la investigación futura debería centrarse en estimadores "subóptimos" de menor complejidad y en diseños de controladores robustos que puedan manejar predicciones inexactas.