SMAT: Staged Multi-Agent Training for Co-Adaptive Exoskeleton Control

Dit artikel introduceert SMAT, een gestructureerd trainingskader voor co-adaptieve exoskeletbesturing dat via een vierstapscurriculum een robuust en subjectonafhankelijk hulpmiddel levert dat de heupspieractivatie met gemiddeld 10,1% verlaagt en consistente positieve mechanische kracht genereert zonder specifieke aanpassing per gebruiker.

De kern

Stel je voor dat je een zware rugzak op je rug krijgt en je moet gaan rennen. Als je de rugzak direct op je rug plakt en iemand anders begint te duwen om je te helpen, is dat een ramp. Je struikelt, de duwer duwt op het verkeerde moment, en jullie raken allebei in de war.

Dit is precies het probleem dat wetenschappers hebben met exoskeletten (die robotische pakjes die je helpen lopen). Als de robot te snel probeert te helpen terwijl jij nog aan het wennen bent, werkt het niet goed.

Deze paper introduceert een slimme oplossing genaamd SMAT. Het is als een geleidelijk trainingsprogramma voor zowel de mens als de robot, zodat ze samen kunnen leren werken zonder elkaar te verstoren.

Hier is hoe het werkt, stap voor stap, in gewone taal:

De Grote Uitdaging: Een Dans met een Veranderende Partner

Stel je voor dat jij en een danspartner een dans moeten leren.

• Jij bent de mens.
• De partner is de robot (het exoskelet).
• Het probleem: Zodra de robot begint te duwen of te trekken, moet jij je bewegingen aanpassen. Maar als jij je aanpast, moet de robot weer zijn duw aanpassen. Dit is een "eindeloze cirkel" waar ze allebei in de war raken.

De meeste robots proberen dit in één keer op te lossen, wat vaak leidt tot struikelen en onstabiele bewegingen. SMAT lost dit op door het in vier duidelijke rondes te verdelen, net zoals je een kind leert fietsen.

De 4 Rondes van SMAT (Het Trainingsplan)

Ronde 1: Eerst alleen leren lopen (De "Basis")

• Wat gebeurt er: De robot staat nog niet aan. De "mens" (in de computer) leert gewoon normaal en stabiel lopen, net als een kind dat eerst alleen loopt voordat het een fiets krijgt.
• Doel: Zorg dat de mens een stevige basis heeft.

Ronde 2: De zware rugzak (Aanpassen aan gewicht)

• Wat gebeurt er: Nu wordt de robot op de mens geplakt, maar hij doet niets. Hij is als een zware, dode rugzak. De mens moet leren lopen met dit extra gewicht en de extra inertie.
• Doel: De mens leert wennen aan het gevoel van de robot, zonder dat de robot hem duwt.

Ronde 3: De robot leert timing (De "Stille Observer")

• Wat gebeurt er: Nu is de mens zo stabiel dat hij niet meer verandert (zijn gedrag wordt "bevroren"). Alleen de robot mag nu leren. De robot kijkt naar de mens en leert: "Op welk moment moet ik duwen om het meest effectief te zijn?"
• Doel: De robot leert de perfecte timing om te helpen, zonder dat de mens zijn gang aanpast. Het is alsof de danspartner eerst alleen de stappen oefent terwijl de ander stil staat.

Ronde 4: De grote dans (Samenwerken)

• Wat gebeurt er: Nu worden beide weer "ontvriest". De mens en de robot leren samenwerken. De mens past zich aan de duw van de robot aan, en de robot past zijn duw aan de reactie van de mens aan.
• Doel: Ze worden een perfect team. De robot helpt precies op het moment dat de mens het nodig heeft, en de mens leunt erop.

Wat hebben ze ontdekt? (De Resultaten)

De wetenschappers hebben dit eerst getest in een super-geavanceerde computersimulatie (met een model van 26 spieren in de benen) en daarna in het echt met vijf mensen op een loopband.

1. Minder spierinspanning: In de simulatie bleek dat de spieren in de heupen 10% minder hoefden te werken. Alsof je een zware tas omdraagt, maar de robot draagt een stukje van het gewicht.
2. Perfecte timing: De robot duwde precies op het moment dat de mens zijn been naar voren zwaait. Hij duwde nooit tegen de beweging in (wat zou voelen als remmen).
3. Geen hertraining nodig: Het beste deel? Ze deden dit met vijf verschillende mensen. De robot had geen nieuwe training nodig voor elke persoon. Hij paste zich automatisch aan, alsof hij een natuurlijke danspartner is die elke partner begrijpt.
4. Veiligheid: Omdat ze het in stappen deden, was er geen gevaarlijke "schok" of onstabiele beweging. Het was soepel en veilig.

Waarom is dit belangrijk?

Vroeger was het moeilijk om een robot te laten samenwerken met een mens omdat de mens continu verandert. SMAT is als een slimme leraar die weet: "Eerst leer jij lopen, dan leer jij met de rugzak, dan leer jij de robot zijn werk te doen, en pas dan gaan jullie samen dansen."

Dit maakt het mogelijk om in de toekomst exoskeletten te maken die mensen helpen bij het lopen, niet alleen in revalidatiecentra, maar misschien ook voor ouderen of mensen met spierziektes, zonder dat ze eerst maanden moeten oefenen met de machine. Het is een stap naar robots die echt begrijpen hoe wij mensen bewegen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SMAT: Staged Multi-Agent Training for Co-Adaptive Exoskeleton Control" in het Nederlands.

Probleemstelling

De effectiviteit van onderbeen-exoskeletten voor revalidatie en fysieke augmentatie wordt beperkt door het co-adaptatieprobleem. Wanneer een apparaat de dynamiek van een gewricht verandert, moet de gebruiker zijn neuromusculaire coördinatie herorganiseren. Dit creëert een niet-stationair leerprobleem: terwijl het exoskelet-beleid verbetert, past het menselijke beleid zich tegelijkertijd aan, waardoor de onderliggende verdeling van toestanden verandert.

Bestaande leerbenaderingen op basis van versterkingslering (RL) houden vaak geen rekening met de sequentiële aard van menselijke motorische aanpassing. Dit leidt vaak tot:

• Instabiliteit in het trainingsproces.
• Slecht getimede assistentie.
• Oscillerende koppeluitvoer.
• Het vastlopen in lokale optima waar het apparaat geen assistentie verleent om de "storing" te minimaliseren.

Methodologie: SMAT (Staged Multi-Agent Training)

De auteurs stellen SMAT voor, een gestructureerd curriculum voor multi-agent versterkingslering (MARL). Het doel is om twee agenten (een menselijke actor $\pi_h$ en een exoskelet-actor $\pi_e$) te trainen via een vierfasig proces dat de natuurlijke acclimatisatie van de gebruiker nabootst.

1. Het Trainingsframework:
Het systeem gebruikt een gedeelde criticus en twee actor-netwerken (gebaseerd op PPO - Proximal Policy Optimization) binnen de MyoAssist-simulatieomgeving met een 26-spier onderbeenmodel.

2. De Vier Fasen:

• Fase 1: Baseline Loopstijl (Mens alleen):
  • De menselijke actor leert een stabiele loopstijl zonder exoskelet, imiterend een referentiegait.
  • Doel: Een robuust basisbeleid voor de mens creëren.
• Fase 2: Aanpassing aan Massa (Passief Exoskelet):
  • Het exoskelet wordt fysiek gekoppeld aan het model (massa en traagheid), maar levert geen koppel (koppel limiet = 0).
  • De menselijke actor wordt verder getraind om te wennen aan het extra gewicht en de inertie, terwijl het exoskelet-beleid nog niet actief is.
• Fase 3: Timingslering (Mens Bevriezen):
  • Het menselijke beleid wordt bevroren (gefixeerd).
  • Alleen het exoskelet-beleid wordt getraind om een positief assistentiepatroon te leren tegen een stabiele menselijke loopstijl.
  • De koppel limiet is beperkt (6 Nm) om destabiliserende exploratie te voorkomen.
  • Een specifieke beloning ($r_{exo}$) moedigt koppel aan dat in de richting van de gewrichtssnelheid werkt (positief vermogen).
• Fase 4: Volledige Co-adaptatie:
  • Zowel de mens als het exoskelet worden gezamenlijk getraind.
  • De menselijke actor ontvangt nu observaties van het exoskelet-koppel.
  • De koppel limiet wordt verhoogd naar het maximum (25 Nm).
  • De beloningsfunctie voor het exoskelet wordt verfijnd om mechanisch vermogen te maximaliseren, gladheid te bevorderen en saturatie te voorkomen.

3. Hardware Implementatie:
Het getrainde beleid werd gedeployed op een fysiek bilateraal heup-exoskelet met MyActuator X8-25 motoren, bestuurd door een Raspberry Pi 4B via een CAN-bus.

Belangrijkste Bijdragen

1. Gestandaardiseerd Curriculum: Een vierfasige trainingspipeline die menselijke aanpassing en assistentie-lering ontkoppelt, wat de stabiliteit van co-adaptieve RL aanzienlijk verbetert.
2. Modulariteit: Het framework is modulair ontworpen en kan worden toegepast op andere assistieve apparaten door alleen de trainingsinstellingen aan te passen, niet de netwerkarchitectuur.
3. Sim-to-Real Transfer: Succesvolle overdracht van een in simulatie getraind beleid naar een fysiek apparaat zonder subject-specifieke herscholing.
4. Ablatie-analyse: Een grondige analyse die aantoont dat zowel Fase 3 (vooropleiding) als Fase 4 (co-adaptatie) essentieel zijn; zonder Fase 3 valt het systeem terug naar een nul-koppel oplossing.

Resultaten

1. Simulatie-resultaten:

• Spieractivatie: Het getrainde beleid resulteerde in een gemiddelde reductie van 10,1% in heupspieractivatie (vooral rectus femoris en iliopsoas) ten opzichte van de niet-ondersteunde conditie.
• Stabiliteit: De ablatiestudie toonde aan dat directe co-adaptatie (zonder Fase 3) leidt tot instabiliteit of het vermijden van assistentie. De gestructureerde aanpak voorkomt dit.
• Snelheidsgeneralisatie: Het beleid generaliseerde naar onbekende loopnelheden (0,6 tot 1,8 m/s) zonder expliciete snelheidsaanpassing, waarbij het een natuurlijke vertraging (phase lag) van 9-20% van de loopcyclus ontwikkelde die overeenkomt met biomechanisch optimale timing.

2. Experimentele Validatie (Menselijke Proefpersonen):

• Proefpersonen: 5 gezonde proefpersonen liepen op een loopband.
• Consistentie: Het beleid leverde consistente assistentie over alle proefpersonen zonder individuele herscholing.
• Mechanisch Vermogen:
  • Bij een RMS-koppel van 6 Nm (10 Nm limiet): Gemiddeld positief vermogen (MPP) van 13,6 W.
  • Bij een RMS-koppel van 9,3 Nm (15 Nm limiet): MPP van 23,8 W.
  • Negatief vermogen (weerstand) was minimaal (< 1,3% van het positieve vermogen), wat aangeeft dat het apparaat zelden tegen de beweging werkt.
• Efficiëntie: De geleverde positieve energie per eenheid RMS-koppel was hoger dan bij bestaande controllers (zoals die van Lim et al.), wat wijst op een efficiëntere assistentie.

Betekenis en Conclusie

Deze studie demonstreert dat het expliciet modelleren van de sequentiële aard van menselijke motorische aanpassing cruciaal is voor het trainen van stabiele co-adaptieve exoskeletcontrollers. SMAT lost het fundamentele probleem van niet-stationariteit op door het leerproces te decomponeren.

De belangrijkste implicaties zijn:

• Stabiliteit: Het voorkomt de instabiliteit die vaak optreedt bij gezamenlijke optimalisatie van mens en machine.
• Efficiëntie: Het levert hoogwaardige, positieve mechanische energie zonder onnodige weerstand.
• Toepasbaarheid: De methode vereist geen subject-specifieke herscholing, wat een grote stap is naar praktische toepassing in de kliniek en dagelijkse zorg.

De auteurs concluderen dat SMAT een robuust kader biedt voor de ontwikkeling van de volgende generatie adaptieve exoskeletten, met toekomstig werk gericht op validatie van metabole voordelen via EMG en indirecte calorimetrie.