Reinforcement-Learning-Based Assistance Reduces Squat Effort with a Modular Hip--Knee Exoskeleton

Resumen Técnico: Asistencia Basada en Aprendizaje por Refuerzo para Reducir el Esfuerzo en Sentadillas con Exoesqueleto Modular Cadera-Muñeca

1. Planteamiento del Problema

El movimiento de sentadilla es una tarea de alta demanda para las extremidades inferiores, común en entornos industriales y de ensamblaje. Realizar sentadillas repetitivas, especialmente combinadas con tareas de levantamiento, conlleva un riesgo significativo de trastornos musculoesqueléticos (TME) debido a la carga mecánica excesiva en las articulaciones de la cadera y la rodilla, lo que genera fatiga muscular y lesiones por uso excesivo.

Aunque los exoesqueletos de extremidades inferiores han demostrado reducir la carga articular y el gasto energético, muchos sistemas existentes dependen de estrategias de control tradicionales (fijas o predefinidas). Estas estrategias presentan limitaciones críticas:

• No se adaptan a la variabilidad individual en antropometría, patrones de movimiento y velocidades de descenso/ascento.
• A menudo tratan las articulaciones de la cadera y la rodilla de forma independiente, ignorando la interacción biomecánica entre ellas.
• Carecen de la capacidad de personalización en tiempo real necesaria para optimizar la asistencia en diferentes usuarios.

2. Metodología

A. Hardware: Exoesqueleto Modular Cadera-Rodilla
Se utilizó un dispositivo exoesqueleto modular, reversible y ligero (aprox. 8.5 kg), diseñado para proporcionar soporte de torque en el plano sagital tanto para la cadera como para la rodilla.

• Actuación: Cuatro módulos de motor integrados (BLDC pancake con reducción planetaria 1:9) que ofrecen hasta 25 Nm de torque pico (limitado a 10 Nm por articulación en el estudio).
• Sensores y Control: Se emplearon Unidades de Medición Inercial (IMU) Xsens para estimar la cinemática de las articulaciones anatómicas (ya que los codificadores de los actuadores reflejan la rotación del motor, no la biológica). Un Raspberry Pi 4B ejecutaba el controlador en tiempo real, comunicándose vía CAN bus.

B. Marco de Control: Aprendizaje por Refuerzo (RL) y Simulación
El núcleo de la innovación es un controlador de red neuronal (NN) entrenado mediante Aprendizaje por Refuerzo en un entorno de simulación física (Sim-to-Real).

• Arquitectura: El sistema utiliza una Red de Control del Exoesqueleto (ECN) que interactúa con un modelo humano simulado. La ECN recibe como entrada un historial reciente de ángulos y velocidades angulares de las articulaciones (cadera y rodilla) a 100 Hz.
• Entrenamiento: La red se optimiza mediante una función de pérdida supervisada que minimiza la diferencia entre el torque deseado y el predicho, penalizando magnitudes de torque excesivas (para comodidad) y asimetrías bilaterales.
• Transferencia Sim-to-Real: Para facilitar la transferencia, la interacción humano-exoesqueleto se modeló como una asistencia de torque idealizada, asumiendo que el estado del exoesqueleto coincide con el estado de la articulación humana. Esto permite que la ECN funcione con datos de sensores portátiles (IMUs) sin depender de hardware específico del exoesqueleto.

C. Protocolo Experimental

• Participantes: 5 adultos sanos.
• Condiciones: Se realizaron sentadillas guiadas por metrónomo durante 3 minutos bajo tres condiciones:
  1. Sin exoesqueleto (No-Exo).
  2. Con exoesqueleto pero sin torque (Zero-Torque).
  3. Con exoesqueleto y asistencia activa (Assistance).
• Mediciones: Se registraron datos fisiológicos (tasa metabólica mediante calorimetría indirecta K5, frecuencia cardíaca) y cinemáticos (ángulos articulares, velocidades, fuerzas de reacción del suelo).

3. Contribuciones Clave

• Controlador Adaptativo en Tiempo Real: Desarrollo de una red neuronal entrenada con RL capaz de generar perfiles de torque personalizados en tiempo real basados en la cinemática y el timing de cada sujeto, sin necesidad de trayectorias predefinidas.
• Asistencia Acoplada Cadera-Rodilla: A diferencia de sistemas que actúan de forma aislada, este controlador gestiona simultáneamente la asistencia de cadera y rodilla, reconociendo su interdependencia biomecánica.
• Validación Sim-to-Real: Demostración exitosa de la transferencia de un controlador entrenado en un entorno de simulación musculoesquelética complejo a un dispositivo físico real con humanos.

4. Resultados

• Reducción del Esfuerzo Metabólico: La asistencia activa redujo la tasa metabólica neta (NMR) en aproximadamente un 10% en promedio en comparación con las condiciones de "Sin Exoesqueleto" y "Torque Cero". En el sujeto con mejor rendimiento, la reducción superó el 21%.
• Frecuencia Cardíaca: Se observaron reducciones menores en la frecuencia cardíaca, aunque menos pronunciadas que en el gasto metabólico.
• Adaptación Cinemática: Los sujetos adaptaron su estrategia de movimiento al usar el exoesqueleto. Se observó una reducción consistente en la profundidad de la sentadilla, reflejada en ángulos de flexión de cadera y rodilla menores (la flexión de rodilla disminuyó de ~120° a ~100° y la de cadera de ~95° a ~75°).
• Variabilidad Inter-sujeto: Hubo diferencias significativas en la respuesta entre participantes. El sujeto que mostró mayor familiaridad con el sistema y adaptación obtuvo los mayores beneficios.
• Desafíos Técnicos: Se detectó ruido en las señales de velocidad angular que afectó la suavidad del torque aplicado (jitter), y problemas de ajuste del dispositivo en algunos sujetos limitaron la profundidad de la sentadilla.

5. Significado y Conclusiones

Este estudio demuestra la viabilidad de utilizar controladores basados en aprendizaje por refuerzo para proporcionar asistencia personalizada en tareas repetitivas de alta demanda como las sentadillas.

• Impacto Industrial: La reducción del 10% en el gasto metabólico sugiere un potencial significativo para mitigar la fatiga y los riesgos de TME en entornos laborales.
• Adaptación del Usuario: Los resultados indican que los usuarios adaptan naturalmente su patrón de movimiento (reduciendo la profundidad) para aprovechar la asistencia mecánica, lo que plantea nuevas preguntas sobre cómo estas estrategias afectan la carga a largo plazo.
• Futuro: El trabajo destaca la necesidad de mejorar la robustez de los sensores (filtrado de ruido), el ajuste mecánico del hardware y la comprensión de la adaptación del usuario a largo plazo para maximizar la consistencia y los beneficios de la asistencia robótica.

En resumen, el enfoque propuesto supera las limitaciones de los controles fijos al ofrecer una asistencia dinámica y personalizada que reduce eficazmente el costo fisiológico del trabajo, sentando las bases para exoesqueletos más inteligentes y adaptativos en la industria.