🤖 AI

MyoInteract: A Framework for Fast Prototyping of Biomechanical HCI Tasks using Reinforcement Learning

Dit artikel introduceert MyoInteract, een nieuw framework dat gebruikmaakt van een gebruiksvriendelijke GUI en geoptimaliseerde trainingsprocessen om interactieontwerpers in staat te stellen om snel biomechanische RL-simulaties te prototypen, te trainen en te evalueren, waardoor de ontwikkeltijd aanzienlijk wordt verkort en de drempels voor niet-experts worden verlaagd.

Oorspronkelijke auteurs: Ankit Bhattarai, Hannah Selder, Florian Fischer, Arthur Fleig, Per Ola Kristensson

Gepubliceerd 2026-06-24

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ankit Bhattarai, Hannah Selder, Florian Fischer, Arthur Fleig, Per Ola Kristensson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een architect bent die een nieuw type deurklink ontwerpt. In het verleden moest je, om te testen of je ontwerp comfortabel was voor mensen, een fysiek prototype bouwen, een dozijn mensen inhuren om het uit te proberen en weken wachten op de analyse van de resultaten. Als de klink de polsen van de gebruikers pijn deed, moest je helemaal opnieuw beginnen.

Stel je nu voor dat je een "digitale tweeling" van een menselijke arm kunt bouwen — een robot gemaakt van virtuele spieren en botten — en je deurklinkontwerp daar direct op kunt testen. Dat is de belofte van Biomechanical Reinforcement Learning (RL). Het stelt onderzoekers in staat om te simuleren hoe het menselijk lichaam beweegt en interacteert met technologie, zonder dat daar echte mensen voor nodig zijn.

Tot nu toe was het gebruiken van deze technologie echter alsof je een ruimteschip probeerde te besturen door handmatig elke enkele schakeling te bedraden terwijl je geblinddoekt was. Het duurde dagen, vereiste een PhD in robotica en als er iets misging, wist je vaak pas waarom wanneer de simulatie vastliep.

MyoInteract is een nieuwe tool die die cockpit van een ruimteschip verandert in een eenvoudig, gebruiksvriendelijk dashboard. Hier is hoe het werkt, uitgelegd aan de hand van alledaagse analogieën:

1. Het Probleen: De "Black Box" en de "Tijdval"

Voordat MyoInteract bestond, was het opzetten van een simulatie een nachtmerrie van "executie"- en "evaluatie"-kloven:

De Executiekloof: Je kon niet simpelweg zeggen: "Laat een virtuele hand op een knop drukken." Je moest complexe code (XML- en Python-bestanden) schrijven om de computer precies te vertellen hoe elke spiervezel moest bewegen. Het was alsof je een cake probeerde te bakken door handmatig de chemische reactie van elk eimolecuul te berekenen, in plaats van gewoon het beslag te mengen.
De Evaluatiekloof: Zodra je de simulatie startte, was het een "black box". Je wachtte 12 tot 48 uur (dagen!) tot de computer had geleerd. Wanneer het eindelijk klaar was, en de virtuele hand vreemd bewoog, had je geen idee waarom. Was het beloningssysteem fout? Was het doel te ver weg? Je moest gissen en het hele tweedaagse proces opnieuw beginnen.

2. De Oplossing: MyoInteract

De auteurs hebben MyoInteract gebouwd om deze problemen op te lossen. Zie het als een "Lego-set" voor menselijke bewegingssimulaties.

De "Lego"-aanpak (Taakdecompositie): In plaats van een hele robot vanaf nul op te bouwen, geeft MyoInteract je kant-en-klare blokken. Je hebt een "Wijs"-blok en een "Druk"-blok. Je kunt ze aan elkaar klikken om complexe taken te creëren (zoals "Wijs naar een virtueel scherm, druk vervolgens op een fysieke knop") met behulp van een eenvoudig visueel menu. Geen codering vereist.
De "Turbo-knop" (GPU-acceleratie): De grootste doorbraak is snelheid. De onderzoekers hebben een krachtige nieuwe engine gebruikt (MuJoCo-MJX) die draait op grafische kaarten (GPU's) in plaats van standaard processors.
- Analogie: Waar de oude methode leek op een enkele slak die een zware last draagt, is MyoInteract als duizend slakken die in perfecte harmonie samenwerken.
- Resultaat: Taken die vroeger 12 tot 48 uur duurden, duren nu minder dan een uur (soms zelfs maar minuten). Dit is een reductie in tijd van 98%.
Het "Dashboard" (Real-time Feedback): In plaats van dagen te wachten op de resultaten, geeft MyoInteract een live dashboard. Je kunt de virtuele hand in real-time zien leren. Als het niet lukt om een doel te bereiken, laat het dashboard je precies zien welk deel van de taak gebrekkig is. Het is alsof je een GPS hebt die je direct vertelt: "Je staat in de file", in plaats van pas bij aankomst te merken dat je een verkeerde afslag hebt genomen.

3. Het Bewijs: De Workshop

Om te testen of dit ook werkt voor gewone mensen (en niet alleen voor robotica-experts), hielden de auteurs een workshop met 12 interactieontwerpers. De meesten van hen hadden nog nooit Reinforcement Learning gebruikt.

De Uitdaging: Ze gaven deze ontwerpers een simpel doel: creëer een simulatie van een specifieke interactie (zoals het tikken op een telefoonscherm of het indrukken van een knop op een openbaar display) en train de virtuele gebruiker om dit te doen.
De Uitkomst: Binnen een enkele sessie (ongeveer twee uur) slaagden alle deelnemers erin om:
1. Hun taak op te zetten met het visuele menu.
2. De virtuele gebruiker te trainen.
3. De resultaten te bekijken en te analyseren waarom de virtuele hand op die manier bewoog.
Het Oordeel: De ontwerpers vonden de tool intuïtief. Ze konden instellingen aanpassen (zoals hoe hard er op een knop gedrukt moet worden) en de resultaten direct zien. Eén deelnemer merkte op dat de visuele feedback het gemakkelijk maakte om te begrijpen hoe verschillende instellingen de uitkomst veranderden, zelfs zonder expert te zijn.

4. Waarom dit ertoe doet (volgens het paper)

Het paper stelt dat MyoInteract biomechanische simulatie transformeert van een gespecialiseerd onderzoeksinstrument (gebruikt door experts die dagen kunnen wachten op resultaten) naar een praktisch ontwerpinstrument (bruikbaar door ontwerpers in een enkele werksessie).

Het verlaagt de drempel: Je hoeft geen programmeur of natuurkundige te zijn om het te gebruiken.
Het versnelt iteratie: Je kunt in een uur 10 verschillende knoplay-outs testen in plaats van een maand te wachten.
Het houdt de wetenschap echt: Ondanks dat het snel en eenvoudig is, volgen de virtuele bewegingen nog steeds de echte menselijke natuurwetten (zoals Fitts' Law, die voorspelt hoe snel we naar een doel bewegen). Het paper heeft geverifieerd dat de door MyoInteract gegenereerde bewegingen eruitzien en aanvoelen als echte menselijke bewegingen.

Samenvatting

MyoInteract is een nieuw framework dat het simuleren van menselijke beweging zo eenvoudig maakt als spelen met een speelgoedbouwset. Door gebruik te maken van supersnelle computerchips en een eenvoudige visuele interface, transformeert het een proces dat voorheen dagen duurde en een PhD vereiste, in een proces dat minuten duurt en door iedereen kan worden uitgevoerd. Het stelt ontwerpers in staat om "te proberen voordat ze kopen" in de fysieke wereld, waarbij ze testen hoe comfortabel en efficiënt hun ontwerpen zijn voor het menselijk lichaam, en dat alles binnen de tijd die nodig is om een kop koffie te drinken.

Technische Samenvatting: MyoInteract

Probleemstelling

Biomechanisch Reinforcement Learning (RL) biedt een krachtige methode voor het genereren van generatieve modellen van gebruikersgedrag in Human-Computer Interaction (HCI), in staat om bewegingstrajecten en fysieke inspanning voor complexe taken te voorspellen. Het vakgebied wordt echter momenteel beperkt door een kleine groep experts vanwege drie primaire barrières, geanalyseerd via Normans Actiecyclus:

Gulf of Execution (Executieprobleem): Het configureren van simulaties vereist uitgebreide low-level codering (XML, Python, YAML), het ontwerpen van aangepaste beloningsfuncties en diepgaande expertise in physics engines (bijv. MuJoCo) en RL-algoritmen. Dit voorkomt dat interactieontwerpers gemakkelijk kunnen specificeren wat ze willen testen.
Gulf of Evaluation (Evaluatieprobleem): Het trainingsproces is een "black box". Feedback is doorgaans beperkt tot geaggregeerde metrieken (bijv. gemiddelde beloning) die pas beschikbaar zijn nadat de training is voltooid. Het diagnosticeren van de reden waarom een beleid (policy) faalde (bijv. onbereikbare doelen versus slechte beloningsvormgeving) vereist het opnieuw starten van het proces, wat inefficiënt is.
Temporele Barrière: Het trainen van een enkele policy duurt traditioneel 12 tot 48 uur. Deze duur maakt iteratief prototypen onmogelijk, aangezien het opzetten van een simulatie vaak langer duurt dan het uitvoeren van een menselijke studie.

Deze barrières voorkomen dat biomechanisch RL een praktische, iteratieve ontwerptool kan dienen voor de bredere HCI-gemeenschap.

Methodologie

De auteurs presenteren MyoInteract, een framework dat is ontworpen om deze barrières te slechten door door de GPU versnelde fysica-simulatie te integreren met een gebruiksvriendelijke Graphical User Interface (GUI).

Systeemarchitectuur en Versnelling

Backend: MyoInteract is gebouwd op MuJoCo-MJX, een GPU-versnelde re-implementatie van de MuJoCo physics engine met behulp van het JAX-framework. Dit maakt het mogelijk om duizenden parallelle omgevingen gelijktijdig op GPU's/TPU's te draaien.
Algoritme: Het systeem maakt gebruik van Proximal Policy Optimization (PPO) geïmplementeerd in Brax, wat end-to-end GPU-executie mogelijk maakt zonder CPU-GPU-overdrachtbottlenecks.
Prestatiewinst: Deze architectuur vermindert de trainingstijden met wel 98% vergeleken met eerdere CPU-gebaseerde of minder geparalleliseerde benaderingen (bijv. User-in-the-Box), waardoor training wordt gecomprimeerd van dagen naar minuten.

Taakmodellering en Composability

Om de Gulf of Execution aan te pakken, introduceert MyoInteract een compositionele taakmodellering:

Primitieven: Complexe interacties worden gedecomposeerd in twee fundamentele primitieven: Pointing (het bewegen van een end-effector naar een doelbol) en Pressing (het uitoefenen van kracht op een oppervlak).
Sequencing: Gebruikers definiëren complexe workflows (bijv. AR-menu's, publieke displays) door deze primitieven sequentieel aan elkaar te koppelen.
Abstractie: Het systeem genereert automatisch de onderliggende simulatielogica (XML/Python) op basis van hoogwaardige configuraties, waardoor handmatige scripting overbodig wordt.

Interface en Observabiliteit

Het framework beschikt over een Gradio-gebaseerde GUI met twee modi om complexiteit te beheersen:

Simple Mode: Exposeert essentiële parameters (doelgrootte, locatie, verblijftijd, krachtdrempels) via sliders en een 3D-renderer voor visualisatie vóór de training. Het stelt gebruikers in staat om de gewichten van de beloningsfunctie aan te passen en de directe wiskundige impact te zien.
Advanced Mode: Biedt granulaire controle over biomechanische getrouwheid (ruismodellen, spieractivatie), observatieruimtes en RL-hyperparameters.
Multi-Level Feedback (Observabiliteit): Om de Gulf of Evaluation aan te pakken, biedt het systeem realtime dashboards (via Weights & Biases) die metrieken deconstrueren in:
- Sequential Subtask Completion: Succespercentages voor individuele doelen.
- Spatial Error Analysis: 3D-visualisaties van succespercentages per locatie.
- Reward Decomposition: De uitsplitsing van afstand, voltooiingsbonussen en inspanningsstraffen.
- Kwalitatieve Inspectie: Automatische generatie van trainingsvideo's om biomechanische plausibiliteit te verifiëren (bijv. controleren op onnatuurlijke houdingen).

Biomechanisch Model

Het standaardmodel is een adaptatie van MoBL-ARMS (26 spieren, vaste vingers) uit het UitB-framework. Het systeem ondersteunt signaalafhankelijke en constante motionele ruis om de snelheid-nauwkeurigheid afruil te vangen en randomiseert de initiële gewrichtstoestanden om de generalisatie van de policy te waarborgen.

Belangrijkste Bijdragen

MyoInteract Framework: Een open-source systeem voor snelle prototyping van biomechanische HCI-taken dat configuratie, simulatie en evaluatie mogelijk maakt in minder dan één uur.
GPU-versnelde Training: Een technische implementatie die de trainingstijd met 91–98% vermindert (van ~7 uur naar ~15–36 minuten voor standaardtaken) terwijl de biomechanische validiteit behouden blijft.
Empirische Validatie: Een workshopstudie met 12 HCI-onderzoekers (voornamelijk beginners in RL) die aantoont dat het framework niet-experts in staat stelt om succesvol doelgerichte menselijke bewegingen op te zetten, te trainen en te beoordelen in een enkele sessie.
Designrichtlijnen: Een set principes (Abstractie, Zichtbaarheid, Progressieve Onthulling) voor het ontwerpen van toegankelijke biomechanische simulatietools.

Resultaten

Prestatiebenchmarks

Snelheid: Het trainen van de standaard pointing-taak (10 doelen) nam gemiddeld 6,9 uur op de hardware van de auteurs met het bestaande User-in-the-Box (UitB) framework. MyoInteract (Replicatie) bereikte convergentie in 0,17 uur (ca. 10 minuten), en de Default-configuratie in 0,60 uur (ca. 36 minuten). Dit vertegenwoordigt respectievelijk een versnelling van 40x tot 10x.
Complexe Taken: Drie diverse scenario's (AR-interactie, Publiek Display, Mobiel Typen) werden succesvol getraind in minder dan 30 minuten per stuk.

Biomechanische Validiteit

De policies die met MyoInteract zijn getraind, werden gevalideerd tegen gevestigde motorische controleprincipes:

Fitts' Law: De gesimuleerde bewegingen hielden zich aan Fitts' Law met een $R^2$ van 0,89.
Bewegingsprofielen: De gegenereerde trajecten vertoonden de karakteristieke klokvormige snelheidsprofielen en "settling phases" die vereist zijn voor dwell-time taken, consistent met eerdere literatuur.

Workshop Evaluatie

Bruikbaarheid: Deelnemers (8 beginners in RL) beoordelden het opzetten van de taak en het trainingsproces als "relatief eenvoudig" (gemiddelde Likert-score 3,58/5 voor setup, 3,75/5 voor training).
Toegankelijkheid: Deelnemers rapporteerden dat de GUI het mogelijk maakte om taken te configureren zonder uitgebreide RL-achtergrondkennis.
Nut van Feedback: Visuele feedback (video's en gedecomposeerde metrieken) werd zeer gewaardeerd voor het monitoren van voortgang en het diagnosticeren van problemen, hoewel sommige deelnemers meer begeleiding vroegen bij het interpreteren van specifieke metrieken.

Betekenis en Claims

Het artikel claimt dat MyoInteract de biomechanische RL fundamenteel verschuift van een gespecialiseerd, dagenlang onderzoeksproces naar een toegankelijke workflow op uurschaal die geschikt is voor iteratief ontwerp.

Barrières Verlagen: Door de temporele en expertise-barrières te slechten, stelt het framework interactieontwerpers in staat om hypothesen "in silico" te testen zonder te wachten op menselijke studies of diepe technische expertise in physics engines te vereisen.
Iteratief Ontwerp: De snelheid van het systeem maakt een kwalitatieve verschuiving in de workflow mogelijk, waardoor onderzoekers in staat zijn om meerdere simulaties te draaien, varianten te vergelijken en beloningen te verfijnen binnen een enkele werkessie.
Generatief Instrument: De auteurs stellen dat door het fysieke lichaam computationeel toegankelijk te maken, biomechanica kan evolueren van een methode om bewegingsgestuurde interactie te verklaren naar een generatief instrument om deze te ontwerpen.

Het artikel blijft bescheiden over de huidige reikwijdte en erkent dat het zich momenteel richt op sequentiële doelverwerving en selectie (pointing/pressing) en dat toekomstig werk nodig is om de taakcomplexiteit uit te breiden, cognitieve modellen te integreren en transfer learning tussen taken te verbeteren.