Robots worstelen al lang met het bewegen met de natuurlijke vloeiendheid van levende wezens. Hoewel ingenieurs machines kunnen programmeren om in rechte lijnen te lopen of trappen te beklimmen, blijft het een hardnekkige uitdaging om hen te leren de complexe, expressieve gebaren van een mens of de unieke gang van een dier na te bootsen. De kern van de moeilijkheid ligt in de vertaling: een menselijk lichaam en een robotlichaam zijn anders gebouwd, met een verschillend aantal gewrichten en verschillende fysieke limieten. Traditioneel moesten onderzoekers, om een robot een mens te laten kopiëren, de menselijke bewegingen handmatig herschrijven naar een code die de robot kon begrijpen, een proces dat vergelijkbaar is met het woord voor woord vertalen van een gedicht naar een taal met een totaal andere grammatica. Deze handmatige vertaling is traag, onderbreekt vaak de flow van de beweging en faalt wanneer de robot een nieuw type beweging tegenkomt dat hij nog niet eerder heeft gezien.

Een team onderzoekers aan de ETH Zürich heeft een nieuwe aanpak ontwikkeld die deze handmatige vertaling volledig omzeilt. Ze hebben een systeem gecreëerd waarmee looprobots een mens of een dier kunnen observeren bewegen en direct begrijpen hoe ze die beweging op hun eigen lichamen kunnen repliceren, zonder dat daar een vooraf geschreven script voor nodig is. Door de robot te leren de onderliggende ritme en structuur van beweging te herkennen in plaats van alleen specifieke gewrichtshoeken te kopiëren, hebben de onderzoekers machines in staat gesteld om in realtime te leren van video- en bewegingsdata. Dit werk suggereert een toekomst waarin robots nieuwe vaardigheden kunnen leren simpelweg door ze te observeren, waarbij ze zich direct aanpassen aan hun eigen unieke fysieke vormen.

De onderzoekers, onder leiding van Matthias Heyrman en collega's, richtten zich op een probleem dat het vakgebied al jarenlang bezighoudt: hoe je beweging kunt representeren op een manier die zowel de gestage, herhalende patronen van het lopen als de plotselinge, onvoorspelbare verschuivingen van een gebaar vastlegt. Eerdere methoden behandelden deze twee aspecten vaak apart of probeerden alle beweging in één enkele, rigide wiskundige mal te dwingen. Het team realiseerde zich dat natuurlijke beweging een mix is van twee dingen: gestructureerde, periodieke patronen zoals het ritmische zwaaien van benen tijdens een wandeling, en ongestructureerde, aperiodieke variaties zoals een plotselinge draai of een zwaai met een arm. Om dit op te lossen, bouwden ze een systeem genaamd Multi-Domain Motion Embedding, dat fungeert als een camera met twee lenzen voor beweging. Eén lens focust op de herhalende, golfachtige patronen van beweging, terwijl de andere de chaotische, unieke details vastlegt die elke beweging onderscheidend maken.

In plaats van handmatig de houding van een mens te vertalen naar robotcommando's, voedden de onderzoekers hun systeem rechtstreeks met ruwe bewegingsdata. Deze data kwam uit twee bronnen: opnames van menselijke acteurs die op diverse manieren bewogen en video's van honden die rennen en lopen. Het systeem verwerkt deze informatie via twee parallelle paden. Het eerste pad gebruikt een wiskundig hulpmiddel dat bekend staat als een wavelet-transformatie om de beweging op te splitsen in zijn frequentiecomponenten. Dit stelt de robot in staat om de "beat" van de beweging te zien, waarbij de regelmatige cycli van een gang of het ritme van een dans worden geïdentificeerd. Het tweede pad gebruikt een probabilistische encoder om de rommelige, niet-herhalende details vast te leggen, zoals de specifieke manier waarop een persoon in een bocht leunt of een hond zijn evenwicht aanpast op ongelijke grond. Deze twee informatiestromen worden gecombineerd tot één rijke beschrijving van de beweging die de robot kan begrijpen.

De echte test voor dit systeem was of het in de echte wereld kon werken zonder menselijke tussenkomst. De onderzoekers trainden hun robots in een gesimuleerde omgeving met behulp van reinforcement learning, een methode waarbij de robot leert door middel van trial-and-error om een beloning te maximalen. Ze leerden een humanoïde robot, de Fourier N1, om menselijke bewegingen na te bootsen en een quadruped robot, de ANYmal D, om hondbewegingen na te bootsen. Cruciaal was dat ze de robots geen vooraf bewerkte, vertaalde instructies gaven. De robots moesten zelf ontdekken hoe ze de ruwe menselijke of dierlijke beweging op hun eigen lichamen konden mappen. De resultaten waren opmerkelijk. In simulaties volgden de robots een grote verscheidenheid aan bewegingen, van eenvoudig lopen tot complexe, expressieve gebaren, met een nauwkeurigheidsniveau dat eerdere methoden overtrof.

Om te bewijzen dat het systeem buiten de computer werkte, implementeerden het team de getrainde policies op de daadwerkelijke hardware. De humanoïde robot keek naar een video van een menselijke acteur en begon onmiddellijk de bewegingen na te bootsen, inclusief lopen, draaien en gebaren, zonder enige handmatige aanpassing aan de code. Op dezelfde manier keek de quadruped robot naar beelden van een hond en reproduceerde succesvol de gang van het dier. Nog indrukwekkender was dat het systeem een vorm van zero-shot learning vertoonde, wat betekent dat het bewegingen kon afhandelen die het nog nooit eerder had gezien. Wanneer het werd geconfronteerd met een nieuw type hondengang die niet in de trainingsdata zat, faalde de robot niet; in plaats daarvan paste hij de beweging aan naar een stabiele, haalbare versie die werkte voor zijn eigen lichaam. Dit vermogen om te generaliseren suggereert dat het systeem de fundamentele principes van beweging heeft geleerd in plaats van slechts een lijst met specifieke poses te hebben onthouden.

De onderzoekers vergeleken hun nieuwe methode ook met oudere technieken die vertrouwden op handmatige retargeting. Ze ontdekten dat hoewel de oude methoden iets nauwkeuriger konden zijn bij het kopiëren van een beweging die exact was waarvoor ze getraind waren, ze hopeloos faalden wanneer ze geconfronteerd werden met nieuwe of onverwachte bewegingen. Het nieuwe systeem behield daarente daarentegen zijn prestaties over een breed scala aan ongeziene bewegingen. De studie suggereert dat door de robot de structuur van beweging direct uit de ruwe data te laten leren, in plaats van deze door een rigide vertalsfilter te dwingen, de machine een veel dieper begrip van beweging krijgt. Deze aanpak elimineert de noodzaak voor ingenieurs om de regels voor elke nieuwe beweging handmatig te ontwerpen, wat de deur opent voor robots om te leren van de enorme diversiteit aan beweging in de natuurlijke wereld.

Een van de meest significante bevindingen was hoe het systeem omging met de verschillen tussen de robot en de acteur. De onderzoekers ontdekten dat de robot niet probeerde zijn lichaam in een onmogelijke vorm te dwingen om de mens exact te matchen. In plaats daarvan interpreteerde de robot de beweging op een manier die fysiek mogelijk was voor zijn eigen structuur. Bijvoorbeeld, wanneer een menselijke acteur een beweging uitvoerde die onstabiel zou zijn voor een robot, paste het systeem de beweging aan om de robot in balans te houden, waardoor de intentie van de beweging effectief werd "geherinterpreteerd" in plaats van de exacte geometrie te kopiëren. Deze flexibiliteit stelde de robots in staat om stabiel en functioneel te blijven, zelfs bij het nabootsen van acteurs van verschillende groottes of het uitvoeren van complexe, dynamische acties.

De studie benadrukte ook het belang van de dual-encoding architectuur. Wanneer de onderzoekers het systeem testten door één van de twee lenzen te verwijderen, daalde de prestatie aanzienlijk. De robot had moeite om het volledige bereik van de beweging te vatten, of miste nu de ritmische stabiliteit van de gang of slaagde er niet in om de unieke nuances van het gebaar aan te passen. Dit bevestigde dat zowel de gestructureerde, golfachtige patronen als de ongestructureerde, chaotische details essentieel zijn voor een compleet begrip van beweging. Het systeem werkt omdat het deze twee aspecten als complementair behandelt, waarbij het ene wordt gebruikt om de basis te bieden en het andere om de noodzakelijke details toe te voegen.

Uiteindelijk vertegenwoordigt dit werk een verschuiving in hoe robots leren bewegen. In plaats van te vertrouwen op ingenieurs om menselijke beweging naar robotcode te vertalen, hebben de onderzoekers aangetoond dat robots kunnen leren om beweging direct te begrijpen. Door een methode voor het vastleggen van ritmische patronen te combineren met een methode voor het vastleggen van unieke variaties, creëerden ze een systeem dat zowel robuust als flexibel is. De robots die in de studie werden getoond, volgden niet alleen een script; ze leerden de taal van beweging te interpreteren en spraken deze in hun eigen stem. Deze capaciteit suggereert een toekomst waarin robots nieuwe vaardigheden on the fly kunnen leren, waarbij ze zich aanpassen aan nieuwe omgevingen en taken met een niveau van natuurlijkheid dat voorheen onbereikbaar was. De onderzoekers concluderen dat deze aanpak een solide fundament biedt voor de volgende generatie robotbesturing, waarbij het vermogen om te leren door observatie een standaardkenmerk wordt in plaats van een uitzondering.