Reinforcement-Learning-Based Assistance Reduces Squat Effort with a Modular Hip--Knee Exoskeleton

Resumo Técnico: Assistência Baseada em Aprendizado por Reforço para Exoesqueleto de Quadril e Joelho

1. Problema e Motivação

O agachamento é um movimento de alta demanda para os membros inferiores, frequentemente realizado em ambientes industriais e de montagem. A repetição deste movimento, especialmente combinada com tarefas de levantamento, está associada a riscos elevados de distúrbios musculoesqueléticos (DMEs), fadiga muscular e sobrecarga nas articulações do joelho e do quadril.
Embora exoesqueletos de membros inferiores tenham sido investigados para mitigar esses riscos, a maioria dos sistemas existentes depende de estratégias de controle tradicionais (fixas ou pré-definidas). Essas abordagens têm limitações significativas:

• Falham em acomodar a variabilidade individual (antropometria, padrões de movimento e velocidades).
• Tratam as articulações do joelho e do quadril de forma independente, ignorando a interdependência biomecânica entre elas durante o agachamento.

O objetivo deste estudo foi desenvolver e validar um controlador inteligente e personalizado, baseado em Aprendizado por Reforço (RL), capaz de gerar assistência adaptativa em tempo real para reduzir o esforço fisiológico durante agachamentos repetitivos.

2. Metodologia

A. Hardware (Exoesqueleto Modular)

• Dispositivo: Um exoesqueleto modular de quadril e joelho, acionável (backdrivable), com peso de ~8,5 kg.
• Atuação: Quatro módulos de motor integrados (BLDC com redução planetária 1:9), fornecendo até 25 Nm de pico (limitado a 10 Nm por articulação no estudo).
• Sensores e Controle: Utilizou-se um Raspberry Pi 4B para executar o controlador em tempo real. A cinemática das articulações anatômicas foi estimada via Unidades de Medição Inercial (IMUs Xsens), pois os encoders dos motores refletem apenas a rotação do motor, não o ângulo biológico real.

B. Framework de Controle e Treinamento (Sim-to-Real)

• Abordagem: Um controlador de Rede Neural (NN) treinado via Aprendizado por Reforço em um ambiente de simulação física.
• Arquitetura: O framework inclui uma Rede de Controle do Exoesqueleto (ECN) que interage com modelos de controle humano e coordenação muscular.
• Entrada/Saída: A ECN recebe um histórico curto de ângulos e velocidades angulares das articulações do quadril e joelho (a 100 Hz) e prevê comandos de torque normalizados.
• Função de Perda e Recompensa: O treinamento utilizou uma função de perda supervisionada que minimiza a diferença entre o torque desejado e o previsto, com termos de regularização para eficiência energética e simetria bilateral. A política de RL foi treinada para reproduzir trajetórias de agachamento de referência com diferentes velocidades.
• Transferência Sim-to-Real: Para simplificar a transferência, a interação humano-exoesqueleto foi modelada como assistência de torque idealizada, assumindo que o estado do exoesqueleto corresponde ao estado da articulação humana. Isso permite que o controlador funcione em diferentes plataformas sem re-treinamento extensivo.

C. Protocolo Experimental

• Participantes: 5 adultos saudáveis.
• Condições: Cada participante realizou agachamentos guiados por metrônomo (3 minutos) em três condições:
  1. Sem exoesqueleto (No-Exo).
  2. Com exoesqueleto, mas sem torque ativo (Zero-Torque).
  3. Com exoesqueleto e assistência ativa (Assistance).
• Medições: Taxa metabólica (calorimetria indireta K5), frequência cardíaca, cinemática (IMUs), eletromiografia de superfície (sEMG) e forças de reação do solo.

3. Resultados Principais

• Redução do Esforço Metabólico:
  • A assistência ativa reduziu a taxa metabólica líquida (NMR) em aproximadamente 10% em média em comparação com a condição Zero-Torque.
  • A redução variou entre os sujeitos, chegando a 21,4% no melhor desempenho (Sujeito 2).
  • Comparado à condição sem exoesqueleto (No-Exo), a assistência também resultou em uma redução média de cerca de 10,2% no custo metabólico.
• Adaptação Individual: O controlador gerou perfis de torque personalizados que se adaptaram à cinemática e ao tempo de movimento de cada sujeito.
• Alterações Cinemáticas:
  • Observou-se uma redução na profundidade do agachamento (menor flexão de quadril e joelho) quando o exoesqueleto estava ativo.
  • A flexão máxima do joelho caiu de ~120° (No-Exo) para ~100° (Assistência), e a do quadril de ~95° para ~75°.
  • Isso foi atribuído às restrições mecânicas do dispositivo e à estratégia de movimento adaptada pelos usuários para aproveitar o suporte mecânico.
• Variabilidade: Houve variabilidade inter-sujeitos significativa. O Sujeito 5 não completou a condição de assistência devido a desconforto e problemas de ajuste. O Sujeito 2, que teve maior familiaridade com o sistema, apresentou os maiores benefícios, sugerindo que a adaptação do usuário é crucial.

4. Contribuições Chave

1. Validação de Controle Baseado em RL: Demonstra a viabilidade de implantar controladores de redes neurais treinados em simulação para assistência em tempo real em exoesqueletos reais de quadril e joelho.
2. Personalização Automática: O sistema não requer calibração manual complexa para cada usuário; ele adapta os perfis de torque baseando-se na observação contínua do estado das articulações.
3. Eficiência Energética: Prova que a assistência adaptativa pode reduzir significativamente o custo metabólico em tarefas repetitivas de alta demanda, superando abordagens de torque zero ou fixo.
4. Arquitetura Modular: O design do hardware e do software permite fácil alinhamento e potencial uso em diferentes plataformas de exoesqueletos.

5. Significado e Conclusão

O estudo confirma que o uso de controladores baseados em aprendizado por reforço pode reduzir eficazmente o esforço fisiológico durante agachamentos repetitivos, um movimento crítico em contextos industriais. Embora a assistência tenha levado a uma alteração na estratégia de movimento (agachamentos menos profundos), a redução de ~10% no gasto metabólico é um indicador promissor de eficácia para prevenção de fadiga e lesões.

Limitações e Trabalhos Futuros:

• A redução na amplitude de movimento sugere a necessidade de melhorar o ajuste do hardware e a complacência mecânica para permitir agachamentos mais profundos.
• A variabilidade nos resultados destaca a importância da adaptação do usuário e da familiarização com o dispositivo.
• Trabalhos futuros focarão em melhorar a robustez dos sensores (filtragem de ruído), o ajuste do hardware e a análise de sEMG para entender melhor os efeitos neuromusculares.

Em suma, este trabalho estabelece uma base sólida para o desenvolvimento de assistentes robóticos vestíveis mais inteligentes, personalizados e eficazes para a saúde ocupacional.