Reinforcement-Learning-Based Assistance Reduces Squat Effort with a Modular Hip--Knee Exoskeleton

Probleemstelling

Kniebuigen (squats) is een intensieve beweging voor de onderste ledematen die veel voorkomt in industriële en assemblageomgevingen. Deze beweging vereist aanzienlijke spierkracht en coördinatie, wat leidt tot hoge mechanische belasting van de knie- en heupgewrichten. Dit verhoogt het risico op spiervermoeidheid, overbelastingblessures en chronische musculoskeletale aandoeningen (WMSD's).

Bestaande exoskeletten gebruiken vaak traditionele besturingsmethoden met vaste of vooraf gedefinieerde assistiestrategieën. Deze benaderingen hebben twee belangrijke beperkingen:

1. Ze kunnen onvoldoende inspelen op de individuele variabiliteit tussen gebruikers (verschillen in antropometrie, bewegingspatronen en snelheid).
2. Ze behandelen de knie- en heupgewrichten vaak als onafhankelijke eenheden, terwijl beweging in het ene gewricht de belasting in het andere beïnvloedt.

Er is behoefte aan intelligente, gepersonaliseerde assistie die adaptief reageert op de beweging van de gebruiker.

Methodologie

1. Hardware: Modulaire Heup-Knie Exoskelet
De studie gebruikte een op maat gemaakt, modulier en terugkoppelbaar (backdrivable) exoskelet voor de onderste ledematen.

• Constructie: Bestaat uit een aluminium tailleassemblage, een semi-rugplaat en telescopische koolstofvezel-dijbalken om verschillende lichaamsgroottes aan te passen.
• Actuatoren: Vier geïntegreerde motormodules (X8-25, MyActuator) met een BLDC-motor en een planetair reductiegetal van 1:9. Elke motor levert een continu koppel van 10–13 Nm en een piek van 25 Nm (in dit onderzoek beperkt tot 10 Nm per gewricht).
• Sensoren & Besturing: Een Raspberry Pi 4B voert de real-time besturing uit. Hoewel de exoskelet-encoders de motorrotatie meten, worden de anatomische gewrichtshoeken en -snelheden geschat met draadloze IMU's (Xsens MTw) die direct op het lichaam van de gebruiker zijn gemonteerd.

2. Besturingsframework: Reinforcement Learning (RL)
In plaats van vooraf geprogrammeerde trajecten, werd een neurale netwerkcontroller getraind via Reinforcement Learning in een simulatieomgeving (Sim-to-Real).

• Architectuur: Het framework omvat een Exoskeleton Control Network (ECN) dat onafhankelijk werkt van een Human Control Policy Network (CPN) en een Muscle Coordination Network (MCN).
• Input: De ECN ontvangt een korte geschiedenis van heup- en kniehoeken en hoeksnelheden (100 Hz).
• Output: Een genormaliseerd assistiekoppel (bereik [-1, 1]), dat wordt geschaald naar het maximale koppel (10 Nm).
• Trainingsdoel: De ECN werd getraind om koppelprofielen te genereren die de beweging van de gebruiker volgen en symmetrisch zijn voor links en rechts. De trainingsfunctie omvatte een regularisatieterm voor comfort/efficiëntie en een symmetrie-term.
• Simulatie: Het menselijk model in de simulatie is een 3D musculoskeletaal model met 23 segmenten en 304 spier-tendon actuatoren (Hill-type formulering).

3. Experimenteel Protocol
Vijf gezonde volwassenen voerden drie minuten lang metronoom-gestuurde kniebuigen uit onder drie willekeurige omstandigheden:

1. No-Exo: Geen exoskelet.
2. Zero-Torque: Exoskelet aan, maar zonder actief koppel (passief).
3. Assistance: Exoskelet aan met actieve RL-gebaseerde assistie.

4. Data-analyse
Fysiologische inspanning werd gemeten via indirecte calorimetrie (K5, COSMED) voor metabole kosten en hartslagmonitoring. Biomechanische data (kinematica) werden vastgelegd met IMU's en een krachtplaat. De netto metabole snelheid werd berekend door de rustmetabolisme af te trekken van de totale waarde.

Belangrijkste Resultaten

• Metabole Efficiëntie: De RL-gebaseerde assistie resulteerde in een gemiddelde reductie van de netto metabole snelheid (NMR) van ongeveer 10% vergeleken met de Zero-Torque en No-Exo condities.
  • Ten opzichte van Zero-Torque: reducties varieerden van 8,8% tot 21,4% voor drie proefpersonen.
  • Ten opzichte van No-Exo: gemiddelde reductie van 10,2%.
• Hartslag: Er werden kleine, maar niet altijd significante, reducties in hartslag waargenomen.
• Kinematische Aanpassing: Een opvallend resultaat was dat de proefpersonen met actieve assistie minder diep kniebochten maakten.
  • No-Exo: Pieken van 120° (knie) en 95° (heup).
  • Assistance: Pieken daalden naar 100° (knie) en 75° (heup).
  • Deze reductie wordt toegeschreven aan mechanische beperkingen van het apparaat en de actieve koppeltoepassing die de bewegingsruimte beperkte.
• Individuele Variabiliteit: Er was sprake van aanzienlijke variatie tussen proefpersonen. Proefpersoon 2, die het meest vertrouwd was met het systeem, boekte de grootste winst (21,4% reductie). Proefpersoon 5 kon de assistie-conditie niet voltooien vanwege ongemak en pasvormproblemen.

Bijdragen en Significatie

Technische Bijdragen:

1. Validatie van Sim-to-Real RL: Het artikel demonstreert succesvol dat een RL-getrainde neurale netwerkcontroller, ontwikkeld in een gesimuleerde omgeving, effectief kan worden gedeployed op een fysiek, modulier exoskelet voor real-time kniebuig-assistie.
2. Gepersonaliseerde Adaptatie: De controller past zich automatisch aan de kinematica en timing van individuele gebruikers aan zonder vooraf gedefinieerde trajecten, wat de beperkingen van vaste besturingsstrategieën overbrugt.
3. Onafhankelijke Sensoren: Het ontwerp maakt gebruik van IMU's op het lichaam van de gebruiker in plaats van exoskelet-encoders, wat de overdracht naar verschillende exoskeletplatforms vereenvoudigt.

Significantie:

• Industriële Toepassing: De bevindingen suggereren dat dergelijke systemen het fysieke werklast in repetitieve industriële taken kunnen verminderen, wat potentieel leidt tot minder WMSD's.
• Aanpassing van Bewegingsstrategie: Het onderzoek toont aan dat gebruikers hun bewegingsstrategie aanpassen aan de assistie (minder diepe buiging), wat een nieuw inzicht biedt in de interactie tussen mens en robot. Hoewel dit de metabole kosten verlaagt, is verder onderzoek nodig om de langetermijneffecten op de gewrichtsbelasting en blessurerisico's te begrijpen.
• Toekomstperspectief: De studie benadrukt dat verbeteringen in hardware-pasvorm, sensorruis-filtering en gebruikersadaptatie (oefeningstijd) cruciaal zijn om de prestaties en consistentie van dergelijke systemen verder te optimaliseren.

Kortom, dit onderzoek bewijst dat leer-gebaseerde besturingssystemen een veelbelovende route zijn om de fysiologische inspanning bij zware fysieke taken te verminderen, mits de hardware en de gebruikersinteractie goed worden geoptimaliseerd.