Stochastic optimal control simulations of walking: potential and perspective

Deze studie toont aan dat stochastische optimale controle-simulaties, die sensorische en motorische ruis integreren in een gedetailleerd loopmodel, inzicht geven in hoe variabiliteit in het looppatroon ontstaat door de afweging tussen inspanningsminimalisatie en het beperken van onzekerheid.

De kern

Hoe een computer de menselijke wandelstap "leert" lopen in een storm van ruis

Stel je voor dat je elke dag op hetzelfde tijdstip naar de bakker loopt. Je loopt precies hetzelfde tempo, maar als je heel precies zou kijken, zie je dat elke stap net iets anders is. Je linkervoet landt misschien een millimeter meer naar links, je heup zwaait net iets anders. Waarom is dat?

Volgens dit wetenschappelijke onderzoek komt dat door twee dingen:

1. De "ruis" in ons systeem: Onze zenuwen en spieren zijn niet perfect. Er zit een beetje statische ruis in de signalen die je hersenen naar je spieren sturen (alsof je radio een beetje kraakt) en in de signalen die je lichaam terugstuurt naar je hersenen (je voelt je positie niet 100% perfect).
2. Onze strategie: Ons lichaam probeert die ruis te compenseren, maar het doet dat op een slimme manier om energie te besparen.

De auteurs van dit papier, Lars, Maarten en Friedl, wilden uitvinden hoe die "ruis" precies invloed heeft op hoe we lopen. Het probleem? Je kunt de ruis in een lopend mens niet direct meten zonder ingewikkelde apparatuur.

De oplossing: Een virtuele robot in een storm

In plaats van mensen te meten, bouwden de onderzoekers een digitale tweeling van een menselijk lichaam in de computer.

• Het lichaam: Een model met 9 gewrichten en 18 spieren (net als een echte mens, maar dan in 2D).
• De ruis: Ze voegden "virtuele storm" toe aan het systeem. Soms stuurden de hersenen een te sterke impuls naar de spier, soms was de sensor die de positie van de voet meet net iets onnauwkeurig.

De grote uitdaging: De "Rijst" en de "Wolk"

Het moeilijkste deel was de wiskunde. Als je een robot laat lopen zonder ruis, is het alsof je een trein op een spoor zet: hij rijdt precies op het spoor. Maar met ruis is het alsof je een wolk van mogelijke posities hebt. De robot kan op dit moment op 100 verschillende plekken zijn, allemaal met een verschillende kans.

Om dit te simuleren, gebruikten de onderzoekers een slimme truc die ze de "Onzichtbare Wolk" noemen:

• In plaats van miljoenen keren te simuleren (wat te lang duurt), pakten ze een paar "proefballonnen" (in de wiskunde sigma-punten genoemd) uit die wolk.
• Ze lieten die ballonnen door de complexe bewegingen van de spieren en gewrichten vliegen.
• Vervolgens keken ze waar die ballonnen terechtkwamen om te schatten hoe de hele wolk zich gedroeg.

Dit is als het voorspellen van de windrichting: je hoeft niet elke luchtdeeltje te meten, je kijkt gewoon naar een paar ballonnen die je hebt losgelaten om te zien waar de wind ze naartoe blaast.

Wat ontdekten ze?

Toen ze de computer het "minimale inspanningsprincipe" gaven (het doel was: loop zo energiedoelmatig mogelijk), gebeurde er iets fascinerends:

1. Het gemiddelde blijft gelijk: Of er nu veel of weinig ruis was, de gemiddelde wandelstap zag er bijna hetzelfde uit. De robot liep net zo soepel als zonder ruis. Dit betekent dat ons lichaam een heel sterk "standaardpatroon" heeft dat moeilijk te verstoren is.
2. De variatie verandert wel: Welke soort variatie er ontstond, hing sterk af van de hoeveelheid ruis.
3. De slimme strategie: De computer ontdekte dat het het minst energie kost om niet elke gewrichtshoek perfect te controleren. In plaats daarvan concentreerde het zich op twee dingen:
   • De zwaartepunt: Zorg dat je lichaam als geheel niet te veel wiebelt.
   • De voet: Zorg dat je voet hoog genoeg komt om niet te struikelen.

De analogie van de danser

Stel je voor dat je danser bent op een ijsbaan. Je wilt niet vallen (je zwaartepunt controleren) en je wilt niet met je tenen over het ijs slepen (je voet controleren).

• Als je probeert elke spier in je been perfect stil te houden, kost dat enorm veel energie en ben je stijf als een stok.
• De slimme danser (onze hersenen) laat zijn knie en enkel een beetje "wankelen" (variabiliteit), zolang die wankeling maar niet zorgt dat hij valt of struikelt.

De simulatie toonde aan dat deze "wankelende" variatie niet per se een fout is, maar een slimme strategie om energie te besparen. Ons lichaam laat kleine fouten toe waar het niet uitmaakt, om de grote fouten (struikelen) te voorkomen.

Conclusie

Dit onderzoek laat zien dat onze wandelstap niet perfect is omdat ons systeem kapot is, maar omdat het slim is. We laten kleine variaties toe om energie te besparen, zolang we maar niet vallen. De computer-simulaties, die tot nu toe te moeilijk waren om te maken, bevestigen wat we in het echt zien: we zijn geen robots, we zijn efficiënte dansers die omgaan met de ruis in ons eigen lichaam.

Technische samenvatting

Probleemstelling

Menselijk lopen is intrinsiek variabel; zelfs bij een constante loopsnelheid varieert de stap-tot-stap uitvoering. Deze variabiliteit wordt veroorzaakt door onzekerheid in het sensorimotorische systeem (ruis in zenuwsignalen en zintuiglijke input) en de omgeving, en wordt gevormd door de interactie tussen de neuromusculoskeletale dynamica en het controlemiddel dat deze onzekerheid probeert te mitigeren.

Echter, het inzicht in hoe sensorimotorische ruis de loopvariabiliteit vormt, is beperkt door twee factoren:

1. Experimentele beperkingen: Het is moeilijk om sensorimotorische ruis en de onderliggende controlemiddelen direct te meten tijdens het lopen van een mens.
2. Simulatiebeperkingen: Bestaande simulaties van lopen die rekening houden met onzekerheid, gebruiken vaak sterk vereenvoudigde modellen (bijv. geen spiermechanica, lineaire dynamica) of simplistische controlemiddelen (bijv. vooraf gedefinieerde feedbackloops). De hoge rekenkosten van methoden die onzekerheid expliciet modelleren, hebben voorkomen dat er realistische, complexe neuromusculoskeletale modellen worden gebruikt voor loopstudies.

Methodologie

De auteurs hebben een nieuwe aanpak ontwikkeld voor stochastische optimale controle (SOC) simulaties van lopen, gebaseerd op een gedetailleerd model en geavanceerde numerieke methoden.

1. Het Neuromusculoskeletale Model:

• Model: Een 2D-model met 9 vrijheidsgraden (3 bij het zwevende basisframe en 1 per heup, knie en enkel per been) en 18 Hill-type spier-tendon eenheden (met starre pezen).
• Controle: Het controlebeleid bestaat uit tijd-variabele feedforward excitaties en een lineaire full-state feedback. De feedback is gebaseerd op het verschil tussen referentiestaten (gemiddelde toestanden) en een schatting van de huidige toestand.
• Ruismodellen:
  • Sensorische ruis: Additieve, nul-gemiddelde Gaussische ruis in de staatsschatting (proprioceptie, visueel, vestibulair).
  • Motorische ruis: Signaal-afhankelijke (multiplicatieve) Gaussische ruis in de spierexcitatie (standaardafwijking evenredig met de gemiddelde excitatie).

2. Numerieke Oplossingsstrategie:
Om het stochastische optimalisatieprobleem oplosbaar te maken met complexe dynamica, combineerden de auteurs drie technieken:

• Gaussische benadering: De toestandsverdeling wordt benaderd als een Gaussische verdeling, volledig bepaald door het gemiddelde en de covariantie.
• Unscented Transform (UT): In plaats van lokale linearisatie (zoals bij de Extended Kalman Filter), wordt de UT gebruikt om het gemiddelde en de covariantie door de niet-lineaire dynamica te propageren. Dit is robuuster voor sterk niet-lineaire systemen.
• Directe collocatie en impliciete dynamica: Het probleem wordt geformuleerd als een deterministisch benaderingsprobleem. De tijdshorizon wordt gediscretiseerd in mesh-intervallen. Voor elk interval worden "sigma-punten" (stalen uit de verdeling) gegenereerd. De dynamica van deze sigma-punten worden opgelost via directe collocatie met impliciete dynamica.
• Doelfunctie: De simulatie minimaliseert de verwachte inspanning (som van de kwadraten van spieractivaties en excitaties), terwijl periodieke en stabiele looppatronen worden opgelegd als randvoorwaarden.

3. Simulatieopzet:
Er werden 16 combinaties van sensorische en motorische ruisniveaus gesimuleerd, plus een deterministische simulatie (zonder ruis). De resultaten werden vergeleken met experimentele data van 18 proefpersonen (loopsnelheid 1.1 m/s).

Belangrijkste Bijdragen

1. Nieuwe Numerieke Methode: De eerste toepassing van een combinatie van de Unscented Transform en directe collocatie voor stochastische optimale controle van lopen met een gedetailleerd spier-gedreven model. Dit overwint de numerieke uitdagingen van eerdere methoden die ofwel te simpel waren of te rekenintensief.
2. Ontkoppeling van Gemiddelde en Variabiliteit: Het aantonen dat bij minimaliseren van inspanning, het gemiddelde looppatroon weinig gevoelig is voor het ruisniveau, terwijl de variabiliteit en de verwachte inspanning sterk beïnvloed worden.
3. Emergente Controlestrategie: Het aantonen dat een controlestrategie die prioriteit geeft aan het beperken van de variabiliteit van de zwaartepuntspositie (COM) en de voetruimte (swing foot clearance), vanzelf ontstaat uit het minimaliseren van inspanning, zonder dat deze doelstellingen expliciet in de kostenfunctie zijn opgenomen.

Resultaten

• Gemiddelde Kinematica: Het toevoegen van sensorimotorische ruis had een verwaarloosbaar effect op de gemiddelde kinematica (bewegingspatroon). De gemiddelde simulaties leken sterk op de deterministische simulatie en vingen de kenmerken van menselijk lopen goed op (hoewel er verschillen waren met experimentele data door modelvereenvoudigingen zoals starre pezen).
• Variabiliteit en Inspanning:
  • De grootte van de kinematische variabiliteit en de verwachte inspanning waren sterk afhankelijk van het ruisniveau.
  • De variabiliteit nam niet lineair toe met het ruisniveau; er was een niet-monotoon effect op sensorische ruis (variabiliteit was lager bij matige sensorische ruis dan bij zeer lage of zeer hoge niveaus).
  • De verwachte inspanning steeg monotoon met het ruisniveau.
• Structuur van Variabiliteit:
  • De simulaties vingen de structuur van de variabiliteit goed op, ook al onderschatte ze de grootte (magnitude) van de variabiliteit vergeleken met experimentele data.
  • Net als in experimenten, werd de variabiliteit in gewrichtshoeken georganiseerd langs de "ongecontroleerde manifold" (uncontrolled manifold) van de zwaartepuntspositie. Dit betekent dat variatie in gewrichten die de zwaartepuntspositie niet beïnvloedt, wordt toegestaan, terwijl variatie die de stabiliteit bedreigt, wordt onderdrukt.
  • De controle prioriteerde het beperken van de variabiliteit van de zwaartepuntspositie en de minimale voetruimte boven het beperken van individuele gewrichtshoeken.
• Voetruimte: De variabiliteit in de voetruimte was het kleinst op het moment dat de voet het dichtst bij de grond kwam, wat suggereert dat dit een kritieke controlevariabele is om vallen te voorkomen.

Significantie en Toekomstperspectief

De studie toont aan dat stochastische optimale controle een krachtig hulpmiddel is om de oorzaken van loopvariabiliteit te begrijpen. De belangrijkste conclusie is dat de waargenomen structuur van menselijke loopvariabiliteit (waarbij bepaalde variabelen strakker worden geregeld dan andere) een natuurlijk gevolg is van het minimaliseren van energiekosten in een onzeker systeem, en niet noodzakelijk het resultaat van een specifiek, handmatig ontworpen controlebeleid.

Beperkingen en Toekomst:

• De modellen onderschatten de grootte van de variabiliteit, waarschijnlijk door het ontbreken van neuromechanische vertragingen en spiercontractiedynamica.
• De rekenkosten zijn nog steeds hoog (gemiddeld 65 uur per simulatie), voornamelijk door het oplossen van grote lineaire systemen voor de optimalisatie. Toekomstig werk moet zich richten op het verbeteren van de solver-efficiëntie (bijv. door gebruik te maken van structure-exploiting solvers zoals FATROP) en het uitbreiden van de modellen met realistischere dynamica en vertragingen.
• De methode biedt een nieuwe weg om de oorsprong van balansproblemen bij neurologische aandoeningen te bestuderen door het isoleren van specifieke bronnen van onzekerheid.

Kortom, dit werk levert een brug tussen theoretische controletheorie en complexe biomechanische modellen, en biedt een kader om te begrijpen hoe het menselijk lichaam efficiënt beweegt in een onzekere wereld.