On the Comparison of Reinforcement Learning and Adaptive Control for Linear Systems under Packet Loss and Uncertainty

Resumen Técnico: Comparación de Aprendizaje por Refuerzo y Control Adaptativo para Sistemas Lineales bajo Pérdida de Paquetes e Incertidumbre

Planteamiento del Problema
Este artículo aborda el control de sistemas lineales inciertos que operan sobre canales de comunicación sujetos a pérdida de paquetes y cuantificación de entrada. El desafío específico consiste en estabilizar un sistema que experimenta un cambio dinámico de una configuración nominal inestable a una más inestable durante su operación. El estudio compara dos paradigmas de control distintos en este entorno: el Control Cuantificado Adaptativo (AQC, por sus siglas en inglés), un enfoque basado en modelos que utiliza mensajes de acuse de recibo, y el Gradiente de Política Determinista Profundo (DDPG), un enfoque de aprendizaje por refuerzo (RL) basado en datos entrenado sobre el modelo nominal sin acuses de recibo. El problema central es evaluar el compromiso entre el rendimiento transitorio de los métodos de aprendizaje y la robustez del control adaptativo bajo incertidumbre de modelo y restricciones de comunicación.

Metodología
El estudio emplea un modelo de sistema lineal incierto en tiempo discreto donde la señal de control se transmite a través de un canal con una probabilidad de pérdida de paquetes $\bar{p}$. La entrada de control está sujeta a una cuantificación logarítmica, modelada como una no linealidad acotada por sector que varía en el tiempo.

1. Control Cuantificado Adaptativo (AQC):

   • Marco de trabajo: Basado en trabajos previos [11, 12], el AQC utiliza una ganancia de retroalimentación variable en el tiempo $K(k)$ y un cuantificador $q(k, u(k))$.
   • Mecanismo: El controlador depende de mensajes de acuse de recibo para determinar si un paquete fue recibido con éxito ($\eta(k)=1$) o perdido ($\eta(k)=0$). Esta información se utiliza para actualizar la ley de control y los parámetros del cuantificador.
   • Estabilidad: El diseño se fundamenta en la teoría de estabilidad de Lyapunov. Se resuelve una ecuación de Riccati para determinar una ganancia estabilizadora, y la ley adaptativa asegura que el sistema permanezca estable en probabilidad incluso ante la pérdida de paquetes, siempre que el límite de pérdida satisfaga una condición específica derivada de la función de Lyapunov.

2. Gradiente de Política Determinista Profundo (DDPG):

   • Marco de trabajo: Una arquitectura actor-crítico utilizando redes neuronales de alimentación directa (FFNN). El actor mapea directamente los estados a acciones de control continuas, mientras que el crítico estima la función de valor de la acción.
   • Entrenamiento: El agente DDPG es entrenado exclusivamente en el modelo del sistema nominal (sin pérdida de paquetes ni cambios dinámicos) utilizando una función de recompensa basada en el error de seguimiento.
   • Implementación: Durante la evaluación, la política entrenada se aplica al sistema con el mismo cuantificador variable en el tiempo utilizado en el AQC, pero sin acceso a los mensajes de acuse de recibo. El agente debe generalizar su política para manejar la pérdida de paquetes y el cambio hacia un sistema más inestable ($A_w$).

Contribuciones Clave

• Análisis Comparativo: El artículo proporciona una comparación numérica directa entre un controlador adaptativo diseñado rigurosamente y un controlador de aprendizaje por refuerzo profundo moderno bajo idénticas condiciones de cuantificación de entrada, pérdida de paquetes y cambio de sistema dinámico.
• Evaluación de Robustez: Investiga el rendimiento de ambos métodos cuando la dinámica del sistema cambia de un estado inestable nominal a un estado más inestable, un escenario que no estuvo presente durante la fase de entrenamiento de DDPG.
• Integración de la Cuantificación: Ambas estrategias de control se implementan con un cuantificador logarítmico variable en el tiempo, lo que permite una comparación justa de cómo cada método maneja las restricciones de ancho de banda finito.

Resultados Numéricos
Las simulaciones se realizaron en un sistema incierto de segundo orden con variaciones en las condiciones iniciales y tiempos de conmutación ($t_d$).

• Rendimiento en el Entorno de Entrenamiento: En ausencia de pérdida de paquetes y dentro del rango dinámico nominal, el controlador DDPG demostró respuestas transitorias más rápidas y un mejor amortiguamiento en comparación con el AQC.
• Robustez bajo Incertidumbre y Pérdida de Paquetes:
  • AQC: Estabilizó consistentemente el sistema en todos los escenarios probados, incluyendo altas tasas de pérdida de paquetes ($\bar{p} > 0.5$) y conmutación dinámica. El uso de mensajes de acuse de recibo permitió al controlador compensar los paquetes perdidos, manteniendo la estabilidad tal como lo garantiza la teoría de Lyapunov.
  • DDPG: Aunque fue efectivo para desviaciones pequeñas respecto al entorno de entrenamiento, el controlador DDPG no logró estabilizar el sistema cuando se sometió a una incertidumbre de modelo significativa (cambio a dinámicas altamente inestables) o altas tasas de pérdida de paquetes. Sin los mensajes de acuse de recibo, el controlador no pudo adaptarse a la pérdida de las señales de control, lo que condujo a la inestabilidad.
• Rango de Estabilidad: La Tabla 1 del artículo indica que, mientras el controlador DDPG solo permanece estable para variaciones de parámetros cercanas al conjunto de entrenamiento, el AQC mantiene la estabilidad en un rango significativamente más amplio de parámetros del sistema.

Significancia y Afirmaciones
El artículo concluye que existe un compromiso distintivo entre el rendimiento basado en datos y la robustez basada en modelos.

• Desempeño vs. Robustez: DDPG ofrece un desempeño transitorio superior cuando el entorno operativo coincide estrechamente con la distribución de entrenamiento. Sin embargo, el AQC proporciona una robustez superior y estabilidad garantizada ante la incertidumbre del modelo, la pérdida de paquetes y la conmutación dinámica debido a sus garantías de estabilidad de Lyapunov rigurosas.
• Aplicabilidad: Los resultados sugieren que, si bien el aprendizaje por refuerzo es prometedor para espacios de alta dimensión, su aplicabilidad a sistemas inciertos en red es limitada sin mecanismos de estabilidad explícitos o un entrenamiento que abarque todo el rango de incertidumbres potenciales.
• Direcciones Futuras: Los autores señalan que el trabajo futuro se centrará en extender estos marcos a sistemas multi-agente en red, abordando específicamente los retrasos de comunicación, las interacciones distribuidas y el desarrollo de algoritmos de RL con garantías de estabilidad rigurosas para el control cooperativo.