💻 computer science

Motion Primitive Discovery in a Humanoid Robot via Self-Organising Maps for Phase Recognition

Geïnspireerd door het spiegelneuronensysteem stelt dit artikel een twee-traps architectuur voor voor de NICO humanoïde robot die Self-Organising Maps gebruikt om arm- en handkinematica te coderen en een Echo State Network om nauwkeurige online faseherkenning van motorische primitieven te bereiken.

Oorspronkelijke auteurs: Radovan Gregor, Igor Farkaš

Gepubliceerd 2026-07-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Radovan Gregor, Igor Farkaš

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een menselijk gebaar te begrijpen, zoals een zwaai of een high-five, zonder simpelweg een lijst met "als-dan"-regels uit het hoofd te leren. Dit is de kern van een vakgebied genaamd sociale cognitie, waar wetenschappers proberen te achterhalen hoe machines kunnen "begrijpen" wat mensen doen en waarom. Om dit te doen, kijken onderzoekers vaak naar het menselijk brein voor inspiratie, specifiek naar een fascinerende groep cellen die "spiegelneuronen" worden genoemd. Dit zijn speciale hersencellen die niet alleen vuren wanneer je zelf een handeling verricht, maar ook wanneer je iemand anders die handeling ziet doen. Het is alsof je brein een interne filmtheater heeft waarin het de handeling herhaalt om deze te begrijpen. De grote vraag in de robotica is: Kunnen we een computersysteem bouwen dat op dezelfde manier werkt? In plaats van alleen naar een video te kijken en te gokken, kan een robot zijn eigen interne "vocabulaire" van bewegingen opbouwen en dit gebruiken om direct te herkennen in welke fase van een beweging het nu zit? Dit is cruciaal voor robots die naast mensen moeten werken, want als een robot kan voorspellen dat je een beker gaat oppakken, kan hij opzij stappen of je een servet aanreiken nog voordat je erom vraagt.

Dit artikel, geschreven door Radovan Gregor en Igor Farkaš, onderzoekt precies dat idee met behulp van een humanoïde robot genaamd NICO. Het team bouwde een tweelaags systeem geïnspireerd door het concept van spiegelneuronen om de robot te leren hoe hij de "fasen" van zijn eigen bewegingen in realtime kan herkennen. Denk eraan om een robot te leren dansen. Het eerste niveau van hun systeem gebruikt twee speciale kaarten, Self-Organising Maps (SOMs) genoemd, die fungeren als een bibliotheek van bewegingspatronen. Eén kaart leert de bewegingen van de arm van de robot, en de andere leert de vormen van de hand. Terwijl de robot zeven verschillende acties oefent—zoals het oppakken van een object, eten of zwaaien—sorteren deze kaarten de duizenden kleine bewegingen automatisch in nette, georganiseerde groepen. Het is alsof de robot zijn eigen "bewegingsprimitieven" ontdekt, die als de basis LEGO-blokjes van beweging dienen. De onderzoekers ontdekten dat de armkaart en de handkaart verschillende, complementaire dingen leren: de armkaart is uitstekend in het volgen van het pad en de timing van de reikbeweging, terwijl de handkaart een meester is in het herkennen van de exacte vorm van de vingers (zoals een krachtgreep versus een precisieknijp).

Zodra deze "LEGO-blokjes" zijn ontdekt, komt het tweede niveau van het systeem in actie. Dit deel gebruikt een type neuraal netwerk genaamd een Echo State Network (ESN), dat fungeert als een kortetermijngeheugen. Het observeert de opeenvolging van de "blokjes" die de robot gebruikt terwijl hij beweegt. De grote vraag die de onderzoekers wilden beantwoorden was: Moet de robot alles over de situatie weten—zoals welk object hij vasthoudt, hoe ver weg het is, of wat het uiteindelijke doel is—om te herkennen wat hij op dit moment doet? Of is de opeenvolging van bewegingen alleen voldoende?

Om dit te testen, voerden ze duizenden simulaties uit waarbij de robot deze acties uitvoerde. Ze testten het systeem op twee manieren: eerst door de ESN de huidige bewegingsfase te laten raden met alleen de opeenvolging van de arm- en handbewegingen die hij net heeft gezien. Daarna gaven ze het extra "contextuele" aanwijzingen, zoals de naam van de actie of de afstand tot het object. De resultaten waren vrij duidelijk. Wanneer het systeem alleen vertrouwde op de opeenvolging van bewegingen (de "bewegingsprimitieven"), had het de huidige fase in ongeveer 93,9% van de gevallen correct. Wanneer ze alle extra contextuele aanwijzingen toevoegden, steeg de nauwkeurigheid slechts licht naar ongeveer 94,9%.

Dit suggereert dat het "verhaal" dat door de beweging zelf wordt verteld, het belangrijkste deel is. De extra informatie over het object of het doel is nuttig, zoals een klein hintje, maar het is niet de belangrijkste drijfveer voor begrip. De interne kaart van de robot voor bewegingen deed al het meeste zware werk. De auteurs concluderen dat door de robot zijn eigen bewegingen in deze topografische kaarten te laten organiseren en vervolgens de stroom van die kaarten in de loop van de tijd te observeren, de robot accuraat kan herkennen wat hij op het moment zelf doet. Hoewel dit alles werd getest in een computersimulatie met de NICO-robot, ondersteunen de bevindingen het idee dat zelfgeorganiseerde motorische representaties een krachtige manier zijn om robots te bouwen die menselijke acties kunnen begrijpen en anticiperen zonder een enorme database van elk mogelijk scenario nodig te hebben.

Technische Samenvatting: Ontdekking van Bewegingsprimitieven in een Humane Robot via Self-Organising Maps voor Faseherkenning

1. Probleemstelling

De centrale uitdaging die wordt aangepakt, is de computationele basis van actieherkenning binnen mens-robotinteractie (HRI). Specifiek onderzoekt het artikel hoe een robot online faseherkenning kan uitvoeren — het identificeren van de huidige bewegingsfase van een lopende actie in realtime — met behulp van enkel sensorische-motorische stromen.

De auteurs stellen dat begrip van acties op twee niveaus opereert: een repertoire van elementaire bewegingsprimitieven en de doelgerichte sequenties waaruit zij composities vormen. Terwijl moderne deep learning-benaderingen vaak volledige sequenties end-to-end classificeren, richt dit werk zich op een biologisch geïnspireerde architectuur die de ontdekking van herbruikbare bewegingsprimitieven scheidt van de temporele integratie die vereist is voor het herkennen van de huidige fase. De kernonderzoeksvraag is: In welke mate wordt de structuur van een huidige bewegingsfase bepaald door de temporele dynamiek van geleerde bewegingsprimitieven alleen, versus hoeveel aanvullende contextuele informatie (bijv. objecttoestand, actie-identiteit) is vereist voor nauwkeurige online herkenning?

2. Methodologie

Het voorgestelde systeem maakt gebruik van een twee-niveau architectuur geïnspireerd door het Mirror Neuron System (MNS), waarbij gegevens van de NICO humanoïde robot in een physics-gebaseerde Unity-simulatie worden verwerkt.

2.1 Dataverzameling en Preprocessing

Dataset: 4.200 gesimuleerde proeven met zeven motorische acties (Pakken, Eten, Plaatsen, Duwen, Tikken, Wijs, Zwaaien) uitgevoerd op 14 diverse objecten.
Feature Selectie: Vanuit 108 opgenomen kinematische variabelen identificeerde en verwijderde een hiërarchische correlatieanalyse (met behulp van Pearson-correlatie en Ward's linkage) redundantie. Dit resulteerde in 22 niet-redundante kenmerken:
- 13 Arm-kenmerken: TCP-snelheden, gewrichtssnelheden van de arm en palmoriëntatie.
- 9 Hand-kenmerken: Apertuur, snelheden, vingerposities en gewrichtssnelheden.
Windowing: De gegevens werden gesegmenteerd in overlappende vensters van 0,5s (30 frames bij 60Hz) met een overlap van 50%. Kenmerken werden genormaliseerd via z-score.

2.2 Niveau 1: Ontdekking van Bewegingsprimitieven (SOMs)

Twee Self-Organising Maps (SOMs) werden getraind om topografische representaties van de kinematische gegevens te leren, wat dient als een discrete vocabulaire van bewegingsprimitieven:

A-SOM (Arm SOM): Een $35 \times 35$ rooster getraind op armkinematica.
H-SOM (Hand SOM): Een $18 \times 18$ rooster getraind op handkinematica.
Output: Voor elk tijdstap identificeert het systeem de Best Matching Unit (BMU) op beide kaarten. Deze BMU's vertegenwoordigen de huidige "primitieve" staat van de arm en de hand.

2.3 Niveau 2: Online Faseherkenning (ESN)

Een Echo State Network (ESN) fungeert als de temporele integrator.

Input: De sequentie van BMU-gewichtsvectoren ( $b_A(t)$ en $b_H(t)$ ) van de SOM's.
Reservoir: Een vast, willekeurig verbonden recurrent netwerk ( $N=300$ neuronen) met een spectrale radius van 0,99 en een lekrate van 0,50.
Readout: Een lineaire readout-laag getraind via ridge regressie om de reservoir-toestand te mappen naar een van de 27 mogelijke bewegingsfase-labels.
Contextuele Variaties: De studie evalueerde vier inputconfiguraties om de noodzaak van context te testen:
1. ctx-no: Alleen primitieve beschrijvers (22D).
2. ctx-act: Primitieven + actie-identiteit one-hot (29D).
3. ctx-dst: Primitieven + actie + genormaliseerde afstand tussen palm en object (30D).
4. ctx-all: Primitieven + actie + afstand + objectcontact-flag (31D).

3. Belangrijkste Resultaten

3.1 SOM Topografie en Zuiverheid

A-SOM: Bereikte 90,0% neuron-benutting en 73,9% fasezuiverheid. De kaart vertoonde een duidelijke topografische organisatie, waarbij bewegingen met een vergelijkbare tijdsdynamiek werden gegroepeerd (bijv. "reik"-fasen aan de linkerkant, "terminale" fasen aan de rechterkant) zonder expliciete temporele supervisie.
H-SOM: Bereikte 51,5% benutting (door discrete hand-synergieën) maar 97,2% grasp-zuiverheid. Het isoleerde succesvol verschillende grijptechnieken (Power vs. Precision) en actie-specifieke handconfiguraties (bijv. Wijs, Zwaai).
Complementariteit: De twee kaarten codeerden complementaire aspecten; de A-SOM legde transportdynamiek vast, terwijl de H-SOM configuratiestaten vastlegde.

3.2 Faseherkenningsnauwkeurigheid

De ESN werd getest op een onafhankelijke set van 840 proeven.

Baseline Prestaties (ctx-no): Door uitsluitend de temporele trajectorie van de SOM-activaties te gebruiken (zonder enige wereldtoestand-context), bereikte het systeem een faseherkenningsnauwkeurigheid van 93,9%.
Impact van Context:
- Het toevoegen van actie-identiteit (ctx-act) verbeterde de nauwkeurigheid met +0,7 pp (94,6%).
- Het toevoegen van afstand (ctx-dst) behield 94,6%.
- Het toevoegen van volledige context (ctx-all) leverde een uiteindelijke nauwkeurigheid op van 94,9%.
Conclusie over Context: De marginale winst (+1,0 pp) door het toevoegen van contextuele informatie geeft aan dat de temporele integratie van primitieve beschrijvers de dominante fase-onderscheidende structuur behoudt. Context dient als een secundaire verfijning in plaats van een primair signaal.

3.3 Hyperparameter Gevoeligheid

Er werd geconstateerd dat de nauwkeurigheid sterk afhankelijk is van de reservoircapaciteit ( $N$ ). Het verhogen van $N$ van 30 naar 1.000 verbeterde de nauwkeurigheid monotoon (van ~73% naar 97,3%). Het voordeel van contextuele informatie nam af naarmate de reservoircapaciteit toenam, wat suggereert dat grotere reservoirs de ontbrekende context kunnen compenseren door middel van geheugen, terwijl kleinere reservoirs meer afhankelijk zijn van externe cues.

3.4 Analyse van Enkele Proeven

In een representatieve "Eet"-proef behaalde het context-vrije model (ctx-no) een nauwkeurigheid van 98,4%, waarbij het slechts één keer faalde tijdens een faseovergang waar het reservoir een extra stap nodig had om ambiguïteit op te lossen. Het context-rijke model (ctx-all) behaalde 100% door de actie-identiteit en afstand te gebruiken om de overgang één stap eerder op te lossen. De analyse bevestigde dat geen enkele SOM op elk punt eenduidige informatie bood; de ESN slaagde erin de complementaire stromen te integreren om lokale ambiguïteiten op te lossen.

4. Bijdragen en Betekenis

De primaire bijdrage van het artikel is de integratie van gevestigde SOM- en ESN-methoden binnen een MNS-geïnspireerde architectuur voor de representatie van motorische primitieven en online faseherkenning.

Validatie van Zelfgeorganiseerde Representaties: De resultaten ondersteunen de computationele hypothese dat zelfgeorganiseerde motorische representaties, wanneer zij temporeel geïntegreerd worden, voldoende zijn om nauwkeurige online herkenning van lopende bewegingsfasen te ondersteunen.
Efficiëntie van Primitieve Trajectorieën: De studie toont aan dat de temporele trajectorie van SOM-activaties het grootste deel van de informatie bevat die vereist is voor fase-discriminatie, waardoor expliciete wereldtoestand-context grotendeels secundair is voor deze specifieke taak.
Dual-Map Architectuur: Het werk valideert de ontwerpkeuze om arm- en handkinematica te scheiden in afzonderlijke topografische kaarten, wat de biologische realiteit weerspiegelt dat deze signalen afkomstig zijn van afzonderlijke neurale paden en complementaire discriminatieve structuren bieden.

De auteurs houden een bescheiden reikwijdte aan en merken op dat het model momenteel getraind en geëvalueerd wordt op de eigen acties van de robot (zelfobservatie). Zij stellen expliciet dat het uitbreiden hiervan naar cross-embodiment observatie (het observeren van mensen) aanvullende mechanismen vereist om verschillen in viewpoint en schaal te behandelen, wat aan toekomstig onderzoek is voorbehouden. De huidige resultaten vestigen de levensvatbaarheid van de aanpak voor interne staatherkenning en -voorspelling.