Gait Asymmetry from Unilateral Weakness and Improvement With Ankle Assistance: a Reinforcement Learning based Simulation Study

Probleemstelling

Unilaterale spierzwakte (zwakte in één been), vaak voorkomend bij aandoeningen zoals een beroerte, cerebrale parese of ouderdomsgebonden sarcopenie, leidt tot een asymmetrische loopgang. Deze asymmetrie manifesteert zich in ongelijke standtijden, ongelijkmatige belastingsverdeling en verstoord coördinatiepatroon tussen de benen. Dit resulteert in een hoger metabool kostenplaatje, een verhoogd valrisico en overbelasting van het gezonde been.

Bestaande exoskeletsystemen gebruiken vaak vooraf gedefinieerde koppelprofielen of regelgebaseerde besturingsstrategieën die moeilijk aan te passen zijn aan verschillende niveaus van invaliditeit of individuele compensatiestrategieën. Bovendien richten de meeste bestaande studies zich op het verminderen van inspanning, niet expliciet op het herstellen van loopasymmetrie. Er is behoefte aan een veilige, gecontroleerde omgeving om te onderzoeken hoe progressieve spierzwakte asymmetrie veroorzaakt en hoe assistieve strategieën dit kunnen corrigeren voordat er experimenten met menselijke proefpersonen plaatsvinden.

Methodologie

De auteurs ontwikkelden een simulatieframework gebaseerd op Versterkingsleren (Reinforcement Learning - RL) om de interactie tussen een menselijk musculoskeletaal model en een enkel-exoskelet te modelleren.

1. Simulatieomgeving:

   • Gebruik van de MuJoCo fysica-engine en het MyoAssist RL-framework.
   • Een 3D-menselijk model met 26 onderbeen-spieren die gewrichtskoppels genereren via spieractivatie.
   • Een vereenvoudigd enkel-exoskelet dat enkelvoudige actuatorkrachten (plantairflexie) op de rechterenkel levert.

2. Modelleerstrategie voor Zwakte:

   • Unilaterale zwakte werd gesimuleerd door de maximale isometrische spierkracht van het rechterbeen te schalen met een factor $\alpha$.
   • Vier niveaus werden getest: $\alpha \in \{1.00, 0.75, 0.50, 0.25\}$ (respectievelijk 100%, 75%, 50% en 25% van de basissterkte).
   • Het linkerbeen bleef ongewijzigd (100% sterkte).

3. RL-Training Framework (Twee Stadia):

   • Fase 1 (Baseline): Training van een menselijke locomotiepolitiek (actor-critic) voor normaal lopen zonder exoskelet en zonder zwakte ($\alpha=1.0$).
   • Fase 2 (Transfer Learning & Multi-Agent):
     • Transfer learning werd toegepast om de baseline-politiek te fine-tunen voor de verschillende zwakteniveaus.
     • Bij $\alpha=0.50$ (50% sterkte) werd een multi-agent training uitgevoerd waarbij zowel de menselijke politiek (spieractivatie) als de exoskelet-politiek (assistentie-koppel) gelijktijdig werden geoptimaliseerd.
     • Doelfunctie: De beloning (reward) was gebaseerd op imitatieleren (volgen van een referentielooptraject en gladde spieractivatie). Er was geen expliciete beloning voor symmetrie; symmetrie werd geëvalueerd als een uitkomst van de geleerde strategie.

4. Analyse en Metrieken:

   • Temporale asymmetrie: Standtijd-asymmetrie en timing van de afzet (toe-off).
   • Kinematische symmetrie: Symmetrie-index (SI) gebaseerd op het bewegingsbereik (ROM) van heup, knie en enkel.
   • Coördinatie: Pearson-correlatiecoëfficiënt ($r$) tussen de linker- en rechter gewrichtshoektrajecten.
   • Krachten: Piekbodemcontactkrachten.

Belangrijkste Resultaten

1. Effect van Progressieve Zwakte op Asymmetrie:

   • Naarmate de spierkracht afnam, nam de asymmetrie toe in zowel tijd als kinematica.
   • De enkel vertoonde de grootste degradatie in symmetrie. De Symmetrie-index (SI) voor de enkel verslechterde van +6,4% (bij 100% sterkte) naar -47,1% (bij 25% sterkte).
   • De correlatie tussen linker- en rechter enkelbeweging daalde van $r=0.974$ naar $r=0.889$.
   • Er trad een duidelijke verschuiving op in de belastingsverdeling: de piekcontactkracht verschuift naar het ongeschonden (linker) been, terwijl het verzwakte been minder belast wordt.

2. Effect van Enkel-Exoskelet Assistentie (bij 50% sterkte):

   • Toepassing van een RL-gebaseerd exoskelet op het verzwakte been verbeterde de kinematische symmetrie significant ten opzichte van de niet-geassisteerde toestand.
   • Enkel SI: Verbeterde van -25,8% naar -18,5%.
   • Enkel correlatie: Steeg van $r=0.948$ naar $r=0.966$.
   • Tijdsasymmetrie: De timing van de afzet (toe-off) werd iets beter gesynchroniseerd (verschil tussen benen daalde van 7% naar 6%).
   • Beperkingen: Hoewel de kinematische coördinatie verbeterde, bleef de belastingsasymmetrie bestaan. De piekcontactkracht bleef sterk verschoven naar het ongeschonden been (rechter piekkracht daalde zelfs verder door de assistentie, van 1053 N naar 878 N).

3. Geleerde Assistentie:

   • Het exoskelet leerde een fase-afhankelijk koppelprofiel, met name gericht op de late standfase (push-off), wat consistent is met de behoefte aan plantairflexie-moment tijdens het afzetten.

Bijdragen en Significatie

• Validatie van RL voor Revalidatie: Het artikel demonstreert dat een RL-framework, getraind op imitatie van een gezonde loopgang, automatisch asymmetrische looppatronen kan genereren bij simulatie van spierzwakte, zonder dat asymmetrie expliciet als doel is opgelegd.
• Ontwikkelingsworkflow: Het biedt een gecontroleerd, simulatie-gebaseerd workflow om de ernst van invaliditeit te kwantificeren en assistieve strategieën te evalueren voordat er dure en risicovolle experimenten met patiënten worden uitgevoerd.
• Inzicht in Assistieve Grenzen: Een cruciale bevinding is dat enkel-gebaseerde assistentie (lokaal) effectief kan zijn voor het verbeteren van kinematische coördinatie en timing, maar onvoldoende is om de belastingsverdeling (krachten) tussen de benen te herstellen. Dit suggereert dat voor een volledige herstel van de loopsymmetrie bij matige tot ernstige zwakte, multi-gewrichts- of gehele-lichaamsstrategieën nodig zijn.
• Toekomstige Richting: De studie legt de basis voor de ontwikkeling van adaptieve controllers die specifiek gericht zijn op het herstellen van symmetrie, en identificeert de noodzaak van verdere validatie in menselijke proefnemingen en onderzoek naar meer complexe assistentieprofielen.

Conclusie:
De studie toont aan dat progressieve unilaterale zwakte leidt tot significante loopasymmetrie, voornamelijk in de enkel en de standtijd. Een RL-gebaseerd exoskelet kan deze kinematische asymmetrie bij 50% spierkracht gedeeltelijk herstellen, maar faalt om de onbalans in de grondreactiekrachten te corrigeren. Dit onderstreept het belang van geavanceerde, mogelijk multi-gewrichts, besturingsstrategieën voor revalidatierobotica.