Deep RL- Tuned Mo del-Free Adaptive Control for Lower-Limb Exoskeletons During Sit-to-Stand Transitions

Resumen Técnico: Control Adaptativo Libre de Modelo Sintonizado mediante Aprendizaje por Refuerzo Profundo para Exoesqueletos de Miembros Inferiores durante Transiciones de Sentarse a Levantarse

Planteamiento del Problema
Las transiciones de sentarse a levantarse (STS, por sus siglas en inglés) son actividades físicamente exigentes que imponen requisitos significativos de carga articular, particularmente para personas mayores o con problemas de movilidad. Si bien los exoesqueletos de miembros inferiores ofrecen una solución para la rehabilitación y la asistencia, el control efectivo de estos durante la transición STS es un desafío. El sistema humano-exoesqueleto se caracteriza por una dinámica altamente no lineal, fuertemente acoplada y variante en el tiempo. Además, la variabilidad entre sujetos y la dinámica de interacción no modelada dificultan la aplicación práctica de los enfoques de control basados en modelos tradicionales (como el Control de Torque Computado, LQR o el Control de Modo Deslizante estándar) debido a la necesidad de una identificación precisa del sistema y una sintonización de ganancias computacionalmente intensiva. Los controladores de retroalimentación convencionales como el PID suelen tener un desempeño deficiente ante grandes variaciones de parámetros o perturbaciones externas.

Metodología
El artículo propone una estrategia de control de retroceso (backstepping) adaptativa, libre de modelo e inteligente, integrada con una capa supervisora de Aprendizaje por Refuerzaento Profundo (RL). La metodología se estructura de la siguiente manera:

1. Modelado Ultra-Local: En lugar de depender de un complejo modelo de dinámica de cuerpo rígido, el sistema utiliza un modelo ultra-local de segundo orden. Este enfoque aproxima la dinámica de las articulaciones utilizando únicamente señales de entrada-salida medibles, evitando la necesidad de una identificación explícita del sistema. El modelo se expresa como $\ddot{q} = F(t) + a\tau$, donde $F(t)$ representa un término agrupado que contiene toda la dinámica desconocida (inercia, gravedad, efectos de Coriolis y perturbaciones).
2. Estimación de Perturbaciones en Línea (Red Neuronal RBF): Para estimar el término agrupado desconocido $F(t)$ en tiempo real, se emplea una red neuronal de Función de Base Radial (RBF) Gaussiana. La red utiliza los estados articulares ($q, \dot{q}$) y las señales de referencia ($q_d, \dot{q}_d$) como entradas. Emplea una arquitectura de centros fijos con una ley de actualización de pesos adaptativa basada en el descenso de gradiente con modificación-$\sigma$, lo que garantiza una estimación estable sin necesidad de entrenamiento fuera de línea.
3. Control de Retroceso Adaptativo (Adaptive Backstepping Control): Se sintetiza una ley de control de retroceso utilizando el modelo ultra-local y la estimación RBF. Un diseño recursivo basado en Lyapunov construye un torque de control estabilizador. Se incluye un sub-controlador auxiliar robusto para manejar los errores de aproximación residuales y las perturbaciones externas acotadas.
4. Programador de Ganancias Supervisorio TD3: Para abordar la limitación de las ganancias fijas en las fases dinámicas de la transición STS, se integra un agente Twin Delayed Deterministic Policy Gradient (TD3) como capa supervisora. Tres agentes TD3 independientes (uno para cada articulación: cadera, rodilla, tobillo) observan el estado del sistema (errores de seguimiento, posiciones articulares, torque previo y fase del movimiento) y generan factores de escala continuos para las ganancias del controlador de retroceso ($k_1, k_2, K_r$). Esto permite que el controlador sintonice sus ganancias de forma adaptativa a través de las cinco fases distintas del movimiento STS (Sentado, Empuje, Mitad de la bipedestación, Levantado, Levantado Final) sin necesidad de re-sintonización manual.

Contribuciones Clave
Los autores identifican cuatro contribuciones principales:

• Integración de un estimador neuronal RBF Gaussiano en línea para aproximar la dinámica agrupada desconocida en tiempo real, eliminando la necesidad de identificación de sistemas fuera de línea.
• Desarrollo de un programador de ganancias supervisorio basado en TD3 que adapta continuamente las ganancias del controlador de retroceso a través de las distintas fases del movimiento STS, logrando un seguimiento sensible a la fase.
• Validación del controlador propuesto mediante un marco de co-simulación de alta fidelidad que integra SolidWorks, Simscape Multibody y trayectorias de referencia derivadas de OpenSim.
• Evaluación cuantitativa que demuestra la contribución específica del programador TD3 comparando el controlador RBF-MFAC base contra el diseño completo propuesto.

Resultos
El controlador propuesto fue evaluado en un entorno de co-simulación frente a cuatro controladores de referencia: Proporcional Integral Derivativo (PID), Regulador Cuadrático Lineal (LQR), Control de Modo Deslizante (SMC) y un control adaptativo libre de modelo (MFAC) base sin TD3.

• Desempeño de Seguimiento: El controlador propuesto logró el Error Cuadrático Medio (RMSE) promedio más bajo de 0.078° en todas las articulaciones. Esto representa mejoras del 60.2% sobre PID, 48.7% sobre LQR, 42.6% sobre SMC y 54.4% sobre el MFAC base.
• Impacto de TD3: La integración del programador de ganancias TD3 redujo aún más los errores de seguimiento en comparación con la base RBF-MFAC. Específicamente, se observaron reducciones de RMSE del 35.4% (cadera), 33.3% (rodilla) y 79.0% (tobillo).
• Esfuerzo de Control: El controlador propuesto demostró el menor esfuerzo del actuador. El torque pico de la articulación de la cadera fue de 28 Nm, significativamente menor que los 145 Nm requeridos por PID y los 171 Nm por MFAC. Esta reducción se atribuye a la compensación de perturbaciones en línea proporcionada por la red RBF.
• Robustez: Bajo perturbaciones de torque externas (hasta 12 Nm aplicados en la cadera y la rodilla), el controlador mantuvo un seguimiento de trayectoria estable, con valores de RMSE que se mantuvieron por debajo de 0.3° y 0.8° respectivamente.

Significancia y Reivindicaciones
El artículo afirma que el diseño propuesto aborda eficazmente los desafíos de las interacciones humano-exoesqueleto no lineales y variantes en el tiempo sin requerir modelos precisos del sistema. Al combinar el control adaptativo libre de modelo con el aprendizaje por refuerzo profundo para la programación de ganancias, el sistema logra una precisión de seguimiento y una robustez superiores en comparación con los métodos de vanguardia. Los autores enfatizan que la integración de TD3 permite una adaptación sensible a la fase, una capacidad que carecen los controladores adaptativos de ganancia fija.

El estudio concluye que, si bien los resultados validan el diseño en una simulación de alta fidelidad, se requiere trabajo futuro para evaluar su aplicabilidad práctica. Las investigaciones planificadas incluyen la validación con datos de captura de movimiento de sujetos humanos reales, pruebas en escenarios de STS asimétricos, implementación de hardware en un prototipo físico e integración de señales fisiológicas (como EMG) para una asistencia adaptativa específica al usuario.