Deep Reinforcement Learning-Enhanced Event-Triggered Data-Driven Predictive Control for a 3D Cable-Driven Soft Robotic Arm

Resumen Técnico: Control Predictivo Basado en Datos con Disparo de Eventos Mejorado por Aprendizaje por Refuerzo Profundo para un Brazo Robótico Blando Accionado por Cables en 3D

Planteamiento del Problema
Los brazos robóticos blandos poseen ventajas inherentes en cuanto a flexibilidad y seguridad, pero presentan desafíos de control significativos debido a sus dinámicas no lineales, variantes en el tiempo e histéresis. Los enfoques tradicionales basados en modelos, como los Métodos de Elementos Finitos (FEM) o las formulaciones de la viga de Cosserat, suelen ser computacionalmente prohibitivos para el despliegue en tiempo real en plataformas con recursos limitados. El control predictivo basado en datos (DeePC) ofrece una alternativa libre de modelo al aprovechar las trayectorias de entrada-salida medidas para construir controladores predictivos sin necesidad de una identificación de sistema explícita. Sin embargo, el DeePC estándar opera de manera de horizonte recesivo, lo que requiere la resolución de un problema de optimización con restricciones (típicamente un programa cuadrático) en cada instante de muestreo. Para los robots blandos que demandan altas tasas de muestreo para capturar comportamientos transitorios rápidos, esta re-optimización repetida impone una carga computacional sustancial, limitando su aplicabilidad en tiempo real. Si bien se ha explorado el control por disparo de eventos (ETC) en otros marcos de trabajo, los métodos de ETC basados en datos existentes suelen depender de reglas de disparo estáticas y heurísticas (por ejemplo, umbrales de error fijos). Estas reglas estáticas tienen dificultades para equilibrar el ahorro computacional con el rendimiento del control en sistemas caracterizados por dinámicas fuertemente no lineales y variantes en el tiempo, lo que a menudo resulta en un ahorro limitado o en una degradación de la precisión de seguimiento.

Metodología
Los autores proponen un marco de RL-ET-DeePC (Control Predictivo Basado en Datos con Disparo de Eventos mediante Aprendizaje por Refuerzo) diseñado para reducir la carga computacional manteniendo el rendimiento de lazo cerrado. La metodología integra tres componentes principales:

1. DeePC de Dimensionalidad Reducida: Para abordar la alta dimensionalidad de las matrices de Hankel requeridas para los robots blandos, el marco emplea la Descomposición en Valores Singulares (SVD). Se recolectan datos fuera de línea para construir matrices de Hankel de entrada-salida, las cuales son comprimidas reteniendo solo los valores singulares dominantes. Esto reduce la dimensión de la variable de decisión, haciendo que la optimización en línea sea más tratable. El controlador resuelve un problema de optimización regularizado para minimizar el error de seguimiento y el esfuerzo de control, manejando el ruido de medición mediante variables de holgura.
2. Disparo de Eventos Basado en RL: En lugar de re-optimizar en cada paso de tiempo, un agente de Aprendizaje por Refuerzo Profundo (DRL) determina si se debe invocar el optimizador DeePC. El agente opera dentro de un Proceso de Decisión de Markov (MDP) donde:
   • Estado: Definido por el error de seguimiento y su variación temporal.
   • Acción: Una decisión binaria (0 o 1) para omitir la optimización (reutilizando una entrada de control en búfer) o disparar una nueva optimización.
   • Recompensa: Una función que equilibra las penalizaciones por error de seguimiento frente al costo computacional del disparo. Un parámetro ajustable $\rho$ controla el compromiso entre precisión y eficiencia.
   • Algoritmos: El marco es agnóstico al algoritmo; los autores evalúan enfoques basados en Valor (DQN), Gradiente de Política (PPO) y Actor-Crítico (A2C).
3. Anulación de Supervisión: Para garantizar la robustez y evitar una ejecución de lazo abierto excesiva, una capa de supervisión fuerza la re-optimización si el búfer de control está vacío o si el tiempo transcurrido desde la última actualización supera el horizonte de predicción menos uno. Esto garantiza que siempre haya disponible una secuencia de control válida.

Contribuciones Clave

• Disparo Adaptativo: El artículo introduce un mecanismo de disparo aprendido y dependiente del estado que reemplaza las reglas heurísticas estáticas. Esto permite al controlador equilibrar adaptativamente el costo computacional y el rendimiento de seguimiento basándose en las dinámicas actuales del sistema.
  la integración de SVD y RL: El marco combina la reducción de dimensionalidad basada en SVD con DRL para crear un controlador predictivo computacionalmente eficiente y libre de modelo, adecuado para plataformas robóticas blandas con recursos restringidos.
• Transferencia Zero-Shot: El estudio demuestra la capacidad de la política aprendida para transferirse de la simulación al hardware sin reentrenamiento, logrando un rendimiento consistente en un brazo robótico blando accionado por cables en 3D físico.

Resultados
El marco fue validado mediante extensas simulaciones y experimentos de hardware en un brazo robótico blando accionado por cables en 3D construido a medida.

• Resultados de Simulación: Comparado con el DeePC periódico, el marco RL-ET-DeePC (específicamente utilizando el algoritmo PPO) redujo la frecuencia de optimización hasta en un 66% (la tasa de disparo bajó del 100% a aproximadamente el 34%) manteniendo una precisión de seguimiento comparable (el RMSE se mantuvo dentro de rangos aceptables). Los resultados mostraron que la política aprendida concentra los esfuerzos de re-optimización durante las fases transitorias (cambios rápidos de estado) y suprime las actualizaciones durante la operación en estado estacionario.
• Experimentos de Hardware: En el robot físico, el marco logró una reducción del 34% en la frecuencia de optimización en comparación con el DeePC periódico. Aunque la reducción fue menor que en la simulación (atribuido a desajustes de modelado, fricción e histéresis en el sistema real), la precisión de seguimiento se mantuvo comparable a la línea base periódica.
• Comparación con Baselines Estáticos: El enfoque basado en RL demostró un rendimiento superior sobre un baseline de disparo de eventos basado en umbrales estáticos. El método estático exhibió patrones de disparo irregulares y mayores desviaciones de seguimiento, particularmente durante las transiciones dinámicas, mientras que la política de RL produjo actualizaciones estructuradas y conscientes del contexto que mantuvieron la fidelidad del seguimiento geométrico.

Significancia y Reivindicaciones
Los autores afirman que la principal contribución de este trabajo es la formulación del disparo de eventos como una decisión aprendida y dependiente del estado, en lugar de una regla fija. Este enfoque proporciona un compromiso más consistente y adaptativo entre la precisión y el costo computacional. El artículo enfatiza que el marco es mayormente agnóstico a la plataforma, dependiendo únicamente de datos de entrada-salida y una recompensa escalar, lo que lo hace potencialmente extensible a otras morfologías de robots blandos (por ejemplo, sistemas de accionamiento neumático o de múltiples segmentos) siempre que esté disponible un conjunto de datos de excitación persistente.

Los autores reconocen modestamente las limitaciones, señalando que la brecha "sim-to-real" (debido a dinámicas no modeladas como el retraso de accionamiento y la histéresis de los cables) necesitó el reajuste del parámetro de penalización $\rho$ para el despliegue en hardware. Sugieren que el trabajo futuro podría abordar esto mediante la randomización de dominio, la actualización de datos en línea y simulaciones conscientes de la dinámica para cerrar mejor la breancia entre la simulación y la realidad.