Musculoskeletal Motion Imitation for Learning Personalized Exoskeleton Control Policy in Impaired Gait

1. Problema

O desenvolvimento de políticas de controle generalizáveis para exoesqueletos de membros inferiores enfrenta barreiras significativas:

• Dependência de Dados e Otimização Iterativa: As abordagens atuais frequentemente exigem coleta exaustiva de dados em humanos ou otimização "human-in-the-loop" (iterativa), que é demorada, trabalhosa e fisicamente exigente.
• Limitações de Generalização: Políticas otimizadas para um único usuário ou tarefa específica não se generalizam bem para diferentes atividades locomotoras ou populações clínicas.
• Dificuldade com Populações Clínicas: Pacientes com déficits motores têm tolerância física limitada e risco de quedas, tornando difícil realizar os extensos ensaios clínicos necessários para treinar controladores personalizados.
• Falta de Modelos Fisiológicos: Muitos métodos de aprendizado por imitação focam apenas na cinemática (movimento), ignorando a cinética interna (momentos articulares e ativação muscular), o que compromete a plausibilidade fisiológica.

2. Metodologia

Os autores propõem um framework agnóstico ao dispositivo que combina simulação musculoesquelética fisiologicamente plausível com Aprendizado por Reforço (RL). O processo é dividido em três fases principais:

• Ambiente de Simulação:
  • Utiliza o motor de física Hyfydy e a API SCONE para simulação de alta fidelidade.
  • Modelo humano: 21 graus de liberdade e 90 músculos, incluindo propriedades como elasticidade do tendão e amortecimento de fibras.
  • O sistema inclui exoesqueletos ideais (motores de torque) nas articulações do quadril, joelho e tornozelo, com massa e inércia distribuídas realisticamente.
• Aprendizado por Reforço (RL):
  • Algoritmo: Soft Actor-Critic (SAC).
  • Espaço de Ação: Excitações musculares (90 músculos) e torques do exoesqueleto (quadril, joelho, tornozelo).
  • Espaço de Observação: Estado atual do modelo (fisiologia muscular, forças de reação no solo, ângulos) + referência futura (cinemática dos próximos passos).
  • Função de Recompensa: Projetada para maximizar o rastreamento cinemático e cinético (momentos articulares) em relação a dados de referência de humanos saudáveis, enquanto minimiza o custo metabólico, a suavidade das excitações e o uso excessivo de torque do exoesqueleto.
• Fases de Treinamento:
  1. Política Base (Saudável): Treinamento para imitar a locomoção humana saudável (cinemática e cinética) sem assistência.
  2. Ajuste Fino para Exoesqueleto (Saudável): Ativação dos motores de torque para reduzir o custo metabólico, mantendo a locomoção saudável.
  3. Ajuste Fino para Marcha Comprometida: Simulação de déficits musculares (redução da excitação máxima de grupos musculares específicos para 5%) e treinamento simultâneo para gerar assistência de exoesqueleto que compense esses déficits.

3. Principais Contribuições

1. Imitação de Movimento Acionada por Músculos: Reprodução de cinemática e cinética humanas plausíveis, validando não apenas o movimento, mas também os momentos articulares internos.
2. Política de Controle Agnóstica ao Dispositivo: Um framework capaz de gerar perfis de torque para diferentes configurações de exoesqueletos (quadril, tornozelo) sem re-treinamento extensivo de hardware.
3. Modelagem de Marcha Comprometida: Geração de padrões de marcha compensatórios (ex.: "hip-hiking") a partir de déficits musculares simulados, sem necessidade de prescrição explícita do padrão de marcha alvo.
4. Assistência Personalizada para Déficits Específicos: Criação de perfis de assistência assimétricos e específicos para o déficit, otimizados para eficiência energética e simetria cinemática.

4. Resultados

• Plausibilidade Fisiológica: O agente simulado alcançou alta fidelidade no rastreamento de ângulos e momentos articulares (RMSE baixo e $R^2$ alto) e reproduziu as Forças de Reação no Solo (GRF) sem ter sido treinado com esses dados explicitamente.
• Política para Usuários Saudáveis:
  • Os perfis de torque gerados para exoesqueletos de quadril e tornozelo alinharam-se com perfis otimizados em estudos experimentais anteriores.
  • Redução do custo metabólico bruto em todas as velocidades testadas (ex.: redução de 6,15% a 13,81% para o tornozelo na caminhada e corrida, respectivamente).
• Política para Marcha Comprometida:
  • Déficit de Flexor do Quadril: O modelo simulou a estratégia compensatória de "hip-hiking" (elevação do quadril).
  • Déficit de Plantarflexor: O modelo exibiu dorsiflexão excessiva e redução no momento de propulsão.
  • Assistência Específica: A política aprendida gerou assistência assimétrica (maior torque no lado afetado).
    • Redução do custo metabólico de 8,1% (déficit de plantarflexor) e 13,1% (déficit de flexor do quadril).
    • Melhora significativa na simetria cinemática bilateral (redução do RMSE entre os lados afetado e não afetado).

5. Significado e Conclusão

Este trabalho demonstra que a simulação musculoesquelética fisiologicamente plausível combinada com RL pode servir como uma base escalável para o desenvolvimento de políticas de controle de exoesqueletos personalizados.

• Impacto Clínico: O framework elimina a necessidade de extensos ensaios físicos iterativos para cada paciente, permitindo a geração de estratégias de assistência personalizadas para populações clínicas que não tolerariam testes físicos longos.
• Generalização: A abordagem é capaz de lidar com diferentes déficits musculares e configurações de dispositivos, oferecendo uma solução unificada para usuários saudáveis e com comprometimentos motores.
• Futuro: Embora os resultados sejam promissores na simulação, os autores reconhecem a necessidade de validação em hardware físico e a expansão para tarefas locomotoras mais complexas (subir escadas, terrenos irregulares) para garantir a aplicabilidade clínica real.

Em resumo, o estudo oferece uma ponte computacional robusta entre a biomecânica teórica e o controle prático de robótica vestível, potencializando a personalização de terapias de reabilitação e assistência.