KINESIS: Motion Imitation for Human Musculoskeletal Locomotion

Dit paper introduceert KINESIS, een modelvrij imitatiekader dat robuuste looppriors leert uit menselijke bewegingsdata om realistische, fysiologisch plausibele besturing van complexe spier-skeletmodellen mogelijk te maken voor diverse taken zoals tekst-naar-besturing en doelgerichte bewegingen.

De kern

Stel je voor dat je een robot wilt bouwen die niet alleen kan lopen, maar dat doet alsof hij een mens is. Niet als een stijve, metalen pop die op zijn knieën draait, maar als een levend wezen met spieren, pezen en botten die samenwerken. Dat is precies wat de onderzoekers van KINESIS hebben gedaan.

Hier is het verhaal van KINESIS, vertaald in simpele taal met een paar creatieve vergelijkingen.

1. Het Probleem: Robots met "Valse Spieren"

Tot nu toe waren robots die konden lopen vaak gebaseerd op kracht (zoals een motor die een wiel aandrijft). Dat werkt goed, maar het is niet echt hoe mensen bewegen.

• De analogie: Stel je voor dat je een pop hebt die je beweegt door aan touwtjes te trekken (zoals een marionet). Dat is hoe de oude robots werkten: je zegt "trek harder" en de knie buigt.
• De realiteit: Mensen hebben geen touwtjes. We hebben spieren. Een spier is complex: hij kan trekken, hij heeft een lengte, hij wordt moe, en hij werkt samen met andere spieren (tegenkrachten). Als je een robot wilt laten lopen zoals een mens, moet je hem niet besturen met "kracht", maar met spieractiviteit.

2. De Oplossing: KINESIS, de "Spier-Imitator"

De onderzoekers hebben KINESIS bedacht. Dit is een slim computerprogramma (een kunstmatige intelligentie) dat leert lopen door te kijken naar echte mensen.

• Hoe het werkt: Ze hebben de robot 1,8 uur lang laten kijken naar video's van mensen die wandelen, rennen, draaien en achteruit lopen.
• De leermethode: In plaats van de robot te vertellen hoe hij zijn spieren moet aanspannen, laat je hem gewoon proberen. Als hij valt, is dat fout. Als hij loopt zoals in de video, krijgt hij een beloning. Dit noemen ze "Reinforcement Learning" (beloning leren).
• Het geheim: Ze gebruikten een slimme truc genaamd "Hard Negative Mining".
  • De analogie: Stel je voor dat je een muzikant traint. Eerst laat je hem makkelijk liedjes spelen. Als hij die perfect kan, haal je die weg en geef je hem alleen maar de moeilijke nummers waar hij eerst op faalde. Zo wordt hij steeds beter. KINESIS doet dit: hij focust op de bewegingen die hij niet kan, tot hij ze allemaal beheerst.

3. De Resultaten: Een Robot met 290 Spieren

Ze hebben KINESIS getest op drie verschillende versies van een menselijk lichaam, variërend van simpel tot extreem complex.

• De complexiteit: De meest geavanceerde versie heeft 290 spieren. Dat is meer dan welke andere open-source robot ooit heeft gehad.
• De prestatie: De robot kan niet alleen lopen, maar ook rennen, draaien en achteruit lopen. Hij doet dit zo goed dat hij bijna niet te onderscheiden is van de echte mens in de video's.
• De snelheid: Het beste deel? Dit programma is zo efficiënt dat het op een gewone laptop 3,8 keer sneller werkt dan in het echt. Je kunt dus een hele dag aan simulaties doen in een uur.

4. Buiten de Lijn: Wat kan de robot nog meer?

KINESIS is niet alleen een imitator; het is een basis voor slimme taken.

• Tekst naar Actie: Je kunt tegen de robot zeggen: "Loop in een cirkel" of "Draai links". De robot begrijpt deze zinnen en voert de beweging uit zonder dat je hem opnieuw hoeft te programmeren.
• De Penalty-schutter: Ze hebben de robot getest in een voetbalwedstrijd. De robot moest naar de bal rennen en een penalty schieten tegen een doelman. Het lukte! De robot kon de doelman verslaan door slim te rennen en te trappen.
• De "Spier-Check": Dit is misschien wel het coolste deel. De onderzoekers keken niet alleen of de robot leek op een mens, maar ook of zijn spieren leken op die van een mens. Ze maten de elektrische signalen in de spieren (EMG) van echte mensen en vergeleken die met de robot.
  • Het resultaat: De spieractiviteit van de robot klopte bijna perfect met die van echte mensen. Het is alsof de robot niet alleen de beweging nabootst, maar ook de inwendige gevoelens van de spieren heeft geleerd.

Waarom is dit belangrijk?

Vroeger waren robots die liepen vaak onnatuurlijk en onstabiel. KINESIS laat zien dat als je robots laat leren met echte spiermodellen en menselijke bewegingen, je veel natuurlijker en robuuster gedrag krijgt.

Samengevat in één zin:
KINESIS is als een robot die niet alleen leert hoe hij moet lopen door zijn poten te bewegen, maar die leert voelen hoe zijn spieren werken, waardoor hij zich gedraagt als een levend wezen in plaats van als een machine.

Dit is een enorme stap voorwaarts voor zowel robotica (om betere robots te bouwen) als voor de wetenschap (om te begrijpen hoe onze eigen hersenen en spieren samenwerken).

Technische samenvatting

Probleemstelling

Bestaande methoden voor het besturen van mensachtige robots (humanoids) op basis van fysica maken vaak gebruik van torque-gecontroleerde modellen. Hoewel deze methoden indrukwekkende resultaten hebben geboekt in het nabootsen van menselijke beweging via versterkingslering (Reinforcement Learning - RL), missen ze cruciale aspecten van de menselijke motorische controle:

1. Biomechanische beperkingen: Ze modelleren geen complexe gewrichtsbeperkingen.
2. Spier-tendineuze dynamiek: Menselijke beweging wordt aangedreven door een overactueel systeem van honderden spier-tendineuze eenheden met niet-lineaire eigenschappen, terwijl torque-controllers dit vereenvoudigen.
3. Fysiologische plausibiliteit: Er is vaak een gebrek aan kwantitatieve vergelijkingen met echte menselijke elektromyografie (EMG) data, waardoor het onduidelijk blijft of de gegenereerde spieractiviteit biologisch geloofwaardig is.

De uitdaging ligt in het ontwikkelen van een besturingsframework dat deze complexe, overactuele spier-systemen effectief kan leren besturen zonder vooraf gedefinieerde modellen (model-vrij), terwijl het tegelijkertijd menselijke bewegingen nabootst en fysiologisch plausibele spierpatronen genereert.

Methodologie: KINESIS

KINESIS is een model-vrij (model-free) framework voor bewegingsimitatie, gebaseerd op Deep Reinforcement Learning (DRL). Het systeem is ontworpen om locomotie te besturen op basis van spieractivatie in plaats van torque.

1. Biomechanische Modellen (MyoLeg):
Het framework is getraind op drie varianten van het MyoLeg-model uit de MyoSuite-bibliotheek, met toenemende complexiteit:

• Legs: 80 spier-tendineuze eenheden (onderlichaam).
• Legs+Abs: 86 eenheden (voegt buikspieren toe voor posturale controle).
• Legs+Back: 290 eenheden (compleet model inclusief rugspieren voor volledige lumbale controle).
  De modellen zijn gebaseerd op de SMPL-body shape en zijn gevalideerd tegen OpenSim-modellen.

2. Dataset en Voorbewerking:

• KIT-Locomotion: Een gecureerde subset van 1,8 uur bewegingsdata (MoCap) uit de KIT-dataset, bestaande uit 1054 sequenties.
• Bewegingen: Omvatten lopen, draaien (gradueel en op zijn plaats), achteruitlopen en rennen.
• Inverse Kinematics: De data wordt omgezet naar gewinkelrotaties om de MyoLeg-modellen te initialiseren.

3. Leerframework en Beloning (Reward):

• POMDP: Het probleem wordt gemodelleerd als een Partially-Observable Markov Decision Process.
• Reward Functie: Bestaat uit een gewogen som van:
  • Positie-reward: Minimale afstand tot de referentie-pose (exponentiële kernel).
  • Snelheids-reward: Minimale verschil in gewindsnelheid.
  • Energie-reward: L1- en L2-regularisatie om gelijktijdige co-activatie van antagonistische spieren te ontmoedigen (energie-efficiëntie).
  • Rechtstand-reward: Handhaving van een rechte houding (optioneel).
• Actuatie: Het paper vergelijkt indirecte controle (via PD-controllers) met directe controle (directe mapping van policy-output naar spieractivatie). Directe controle bleek superieur in trainingssnelheid en prestaties.

4. Trainingsstrategie: Hard Negative Mining & Mixture of Experts (MoE):
Om de diversiteit van bewegingen te hanteren, gebruikt KINESIS een ensemble-approach:

• Hard Negative Mining: Het trainen van een "expert" op de volledige dataset. Zodra de prestaties plateauën, worden de mislukte bewegingen geïsoleerd en gebruikt om een nieuwe expert te trainen. Dit proces herhaalt zich totdat alle bewegingen worden beheerst.
• Mixture of Experts (MoE): Een "Gating Network" (een MLP) leert welke expert het beste is voor een specifieke toestand en doelpose. Dit zorgt voor een universeel beleid dat alle locomotievaardigheden kan uitvoeren.

5. High-Level Taken:
Het beleid wordt getoetst op downstream taken zonder extra training (zero-shot) of met fijne afstelling (fine-tuning):

• Text-to-Control: Gebruik van een Human Motion Diffusion Model (MDM) om tekst naar beweging om te zetten, waarna KINESIS deze uitvoert.
• Doelbereiking: Navigeren naar een specifiek punt in de ruimte.
• Voetbalstrafschop: Een complexe taak waarbij het model moet lopen, de bal moet raken en de keeper moet verslaan.

Kernresultaten

1. Bewegingsimitatie Prestaties:

• KINESIS bereikte een frame coverage van >96% en een succesrate van >90% op ongezette testdata (KIT-Locomotion testset).
• De Legs+Back-variant (290 spieren) presteerde het beste, wat aantoont dat de methologie schaalbaar is naar zeer complexe modellen.
• Directe controle overtrof PD-controllers significant in zowel snelheid als nauwkeurigheid (EMPJPE van ~42-43mm).

2. High-Level Controle:

• Text-to-Control: Het systeem voerde succesvol instructies uit zoals "loop in een cirkel" of "draai links" zonder extra training.
• Doelbereiking: Het agent kon na fijne afstelling doelwitten bereiken en gebruikte daarvoor nieuwe vaardigheden (zoals zijwaartse stappen) die niet expliciet in de trainingsdata stonden.
• Strafschop: Het model slaagde erin om een keeper te verslaan in een simulatie met drie verschillende strategieën (statisch, willekeurig, actief).

3. Fysiologische Validatie (EMG):

• Dit is een van de belangrijkste bijdragen. De gegenereerde spieractiviteit van KINESIS toonde een significante positieve correlatie met menselijke EMG-data van verschillende proefpersonen tijdens lopen, rennen en achteruitlopen.
• KINESIS presteerde aanzienlijk beter dan bestaande baselines (DynSyn en DEP-RL).
• Interessant genoeg bleek dat hoewel de kinematische fout (MPJAE) slechts marginaal lager was dan bij andere methoden, de EMG-correlatie veel sterker was. Dit suggereert dat imitatie-lering leidt tot biologisch plausibele spierpatronen, zelfs als de beweging zelf niet perfect identiek is.

Belangrijke Bijdragen

1. Eerste Model-Vrije Spier-beheersing: KINESIS is, voor zover bekend, het eerste model-vrije RL-beleid dat diverse locomotievaardigheden combineert op complexe, overactuele spiermodellen (tot 290 spieren) zonder model-distillatie.
2. Fysiologische Plausibiliteit: Het bewijst dat imitatie-lering leidt tot spieractivatiepatronen die sterk correleren met menselijke EMG, wat een belangrijke stap is naar biologisch geloofwaardige robotbesturing.
3. Schalbaarheid: Het framework werkt naadloos over modellen van verschillende complexiteit (van 80 tot 290 spieren) met minimale hyperparameter-aanpassing.
4. Zero-Shot Generalisatie: Het systeem kan worden ingezet voor complexe, interactieve taken (zoals voetballen) en tekstgedreven besturing zonder dat het opnieuw getraind hoeft te worden op de specifieke taak.
5. Open Source: Code, video's en benchmarks zijn beschikbaar gesteld, inclusief een nieuwe benchmark voor EMG-validatie.

Significantie en Toekomstperspectief

KINESIS vormt een brug tussen geavanceerde robotbesturing en neurowetenschap. Door het genereren van fysiologisch plausibele spierpatronen zonder expliciete training op EMG-data, biedt het een potentieel krachtig in silico model van het menselijke sensorimotorische systeem. Dit kan helpen bij het beantwoorden van fundamentele vragen over motorische controle, zoals de rol van spiersynergieën.

Hoewel er nog uitdagingen zijn (zoals de noodzaak van uitgebreidere trainingsdatasets en verfijnde spiermodellen), toont dit werk aan dat het mogelijk is om robuuste, mensachtige locomotie te realiseren in complexe biomechanische modellen, wat een grote stap is voor de ontwikkeling van mensachtige robots en het begrijpen van de menselijke motoriek. Het framework vormde bovendien de basis voor de winnende oplossing van de MyoChallenge 2025.