Towards Motion Turing Test: Evaluating Human-Likeness in Humanoid Robots

Deze paper introduceert de Motion Turing Test en het HHMotion-dataset om de menselijke gelijkenis van humanoid robotbewegingen te evalueren, waarbij wordt vastgesteld dat huidige robots nog afwijkingen vertonen en dat een eenvoudige basismodel de menselijke gelijkenis beter voorspelt dan multimodale grote taalmodellen.

De kern

Stel je voor dat je op een verjaardagsfeestje bent en je ziet iemand dansen. Je kijkt naar die persoon en denkt: "Die beweegt heel natuurlijk, alsof het een mens is." Maar plotseling realiseer je je: "Wacht, dat is een robot!"

Dat is precies wat deze paper onderzoekt, maar dan met een slimme twist. De auteurs hebben een nieuwe test bedacht die ze de "Beweging-Turingtest" noemen.

Hier is de uitleg in gewoon Nederlands, met een paar leuke vergelijkingen:

1. De Grote Idee: De "Beweging-Turingtest"

In de jaren '50 bedacht Alan Turing een test om te zien of een computer slim genoeg is om niet van een mens te onderscheiden. Als je met een machine praat en je denkt dat het een mens is, dan heeft de machine de test gehaald.

De auteurs van dit artikel zeggen: "Laten we datzelfde doen, maar dan niet met woorden, maar met beweging."

• De test: Kijk naar een reeks bewegingen (zonder te kijken naar het gezicht of de kleding).
• De vraag: Is dit een mens of een robot?
• Het doel: Als een menselijke beoordelaar het niet kan zeggen, dan heeft de robot de test gehaald. Het beweegt dan net zo natuurlijk als wij.

2. Het Probleem: Robots zien er nog niet uit als mensen

Op dit moment lijken robots er vaak nog uit als metalen poppen met zichtbare scharnieren. Als je ze gewoon filmt, zie je direct: "Oh, dat is een robot!" Dat maakt het moeilijk om te testen of hun beweging echt menselijk is.

De oplossing van de auteurs:
Ze hebben een digitale "masker" gebruikt. Ze hebben alle video's van mensen en robots omgezet in een SMPL-X-model.

• Vergelijking: Denk aan een 3D-skelet van een poppetje zonder huid, zonder kleding en zonder gezicht. Het is alleen een lijntekening van hoe de ledematen bewegen.
• Zo kunnen de beoordelaars zich puur richten op hoe iemand beweegt, en niet op hoe het eruit ziet.

3. De Dataset: Het "Bewegings-Archief" (HHMotion)

Om deze test te doen, hebben de onderzoekers een enorme verzameling video's gemaakt, genaamd HHMotion.

• Ze hebben video's genomen van de allerbeste robots ter wereld (zoals die op grote robotwedstrijden).
• Ze hebben ook 10 echte mensen gevraagd om dezelfde bewegingen te doen: lopen, rennen, dansen, boksen, springen.
• Ze hebben zelfs mensen gevraagd om opzettelijk te doen alsof ze robots waren (stijf en onnatuurlijk bewegen), om de test nog lastiger te maken.

In totaal hebben 30 mensen urenlang naar deze "skelet-dansjes" gekeken en een cijfer gegeven van 0 tot 5:

• 0: "Dit is 100% een robot, stijf als een plank."
• 5: "Dit is 100% een mens, ik zou het niet kunnen onderscheiden."

4. Wat leerden ze? (De verrassende resultaten)

Je zou denken dat robots tegenwoordig al zo goed zijn dat ze de test haalbaar vinden. Maar nee!

• Stilte en lopen: Bij simpele dingen zoals staan of rustig lopen, lijken robots best goed.
• Actie en chaos: Bij dingen die snel en complex zijn, zoals boksen, springen of pingpong spelen, zakken robots er flink doorheen. Hun bewegingen zijn vaak te strak, te mechanisch of niet vloeiend genoeg.
• Vergelijking: Een robot kan misschien net zo hard rennen als een mens, maar het voelt aan als een machine die op een loopband staat, niet als een mens die door het bos rent.

5. De "Rekenmachine" voor menselijkheid (PTR-Net)

De onderzoekers wilden niet alleen mensen laten beoordelen, maar ook een computerprogramma leren om dit te doen. Ze bouwden een simpel model genaamd PTR-Net.

Ze probeerden ook de nieuwste, super-slimme AI-modellen (zoals die van Google en Alibaba) om dit te doen.

• Het resultaat: Die grote AI-modellen faalden. Ze konden de subtiele verschillen in beweging niet goed zien. Het was alsof je een kunstcriticus vraagt om een schilderij te beoordelen, maar je geeft ze alleen een zwart-witfoto van de verf.
• De winnaar: Het simpele, op maat gemaakte model (PTR-Net) deed het veel beter. Het kon de "menselijkheid" van een beweging heel nauwkeurig voorspellen.

Waarom is dit belangrijk?

Stel je voor dat je een robot wilt bouwen die in een ziekenhuis werkt of met kinderen speelt. Je wilt niet dat hij eruitziet als een metalen monster, maar dat hij beweegt alsof hij een vriend is.

Dit onderzoek geeft robotbouwers een meetlat:

1. Een dataset om te zien waar robots nog tekortschieten.
2. Een slimme tool om automatisch te checken: "Is deze beweging nu wel menselijk genoeg?"

Kortom: Robots worden steeds beter, maar ze zijn er nog niet. Ze bewegen soms nog als een robot die probeert een mens te imiteren, in plaats van als een mens die gewoon leeft. Met deze test weten we precies waar we nog moeten werken.

Technische samenvatting

Probleemstelling

Hoewel humanoid robots aanzienlijke vooruitgang hebben geboekt in bewegingsgeneratie en -controle, blijft het objectief beoordelen hoe "menselijk" hun bewegingen overkomen een uitdaging. Bestaande evaluatiemethodes focussen vaak op taakgerelateerde metrics (zoals voltooiingspercentage of stabiliteit), maar negeren de subjectieve perceptie van menselijkheid. Bovendien kunnen huidige robots hun menselijke imitatie vaak verraden door hun uiterlijk (bijv. metalen behuizingen), wat de beoordeling van de beweging zelf verstoort. Er ontbreekt een gestandaardiseerde dataset en benchmark om de menselijke gelijkenis van robotbewegingen puur op basis van kinematische informatie te evalueren.

Methodologie

1. De Motion Turing Test (MTT)
De auteurs introduceren het concept van de Motion Turing Test, geïnspireerd door de klassieke Turing-test. Een robotbeweging passeert deze test als een menselijke beoordelaar niet kan onderscheiden of de beweging van een mens of een robot komt, uitsluitend op basis van de bewegingsinformatie (zonder visuele cues zoals uiterlijk of gezicht).

2. De HHMotion Dataset
Om deze test mogelijk te maken, hebben de auteurs de Human-Humanoid Motion (HHMotion) dataset ontwikkeld:

• Inhoud: 1.000 bewegingsclips (5 seconden per clip) verdeeld over 15 actiecategorieën (bijv. lopen, springen, boksen, dansen).
• Bronnen: Data komt van 11 verschillende humanoid robotmodellen (uit evenementen zoals WRC en WAIC, en simulaties) en 10 menselijke proefpersonen die dezelfde acties uitvoeren.
• Preprocessing: Om de focus puur op beweging te houden en uiterlijk te elimineren, zijn alle video's geconverteerd naar SMPL-X representaties (een parametrisch 3D-lichaammodel zonder textuur).
• Annotatie: 30 menselijke beoordelaars hebben elke clip gescoord op een Likert-schaal van 0 tot 5 (0 = volledig robotachtig, 5 = volledig menselijk). Dit resulteerde in meer dan 500 uur aan annotatiewerk.
• Speciale subset: Er is ook een subset opgenomen waarbij mensen bewust robotachtige bewegingen nabootsten om de beoordelingsgrenzen te testen.

3. PTR-Net (Pose-Temporal Regression Network)
Om de menselijke gelijkenis automatisch te voorspellen, stellen de auteurs een eenvoudige baseline voor: PTR-Net.

• Architectuur:
  • Temporele Encoder: Een bidirectionele LSTM die langetermijnafhankelijkheden in de tijd vastlegt.
  • Spatio-temporele Graph Convolutie (ST-GCN): Verwerkt de beweging als een graaf van gewrichten om coördinatiepatronen te extraheren.
  • Attention Pooling & Regressie: Een module die belangrijke bewegingssegmenten benadrukt, gevolgd door een regressor die een score van 0-5 voorspelt.
• Training: Het model wordt getraind met een L2-regressieverlies en een regularisatieterm om gladheid en stabiliteit in de voorspelde scores te garanderen.

Belangrijkste Resultaten

1. Analyse van Menselijke Gelijkenis

• Kloof tussen mens en robot: Ondanks recente vooruitgang, vertonen robotbewegingen nog steeds merkbare afwijkingen van menselijke bewegingen. Mensen kunnen deze onderscheiden, zelfs zonder visuele cues.
• Actie-specifieke prestaties:
  • Slechtste prestaties: Dynamische en complexe acties zoals springen, boksen en pingpong tonen de grootste verschillen (lage scores voor robots).
  • Beste prestaties: Gestructureerde, ritmische acties zoals lopen en staan komen dichter bij menselijke bewegingen.
• Simulatie vs. Realiteit: Bewegingen uit simulaties werden over het algemeen menselijker beoordeeld dan die van echte robots, wat wijst op een "reality gap".

2. Benchmark Prestaties

• VLM's (Vision-Language Models): Grootmodellen zoals Gemini 2.5 Pro en Qwen3-VL-Plus presteerden slecht bij het beoordelen van bewegingsmenselijkheid, zelfs met geavanceerde prompt-strategieën (zoals Chain-of-Thought). Ze vertoonden grote afwijkingen van menselijke oordelen.
• PTR-Net: Het voorgestelde model overtrof alle baselines, inclusief gefine-tuned MotionBERT en Transformer-baselines.
  • Prestaties: PTR-Net behaalde een MAE van 0.5813 en een Spearman-correlatie van 0.6841, wat aanzienlijk beter is dan de concurrenten.
• Generalisatie: Het model toonde sterke generalisatie op onzichtbare robots (Out-of-Distribution), zoals de XPeng IRON (november 2025), waarbij de voorspelde score (4.25) zeer dicht lag bij de menselijke annotatie (4.36).

Bijdragen

1. Concept: Introductie van de Motion Turing Test als een nieuwe, bewegingsgerichte evaluatiemetafoor voor humanoid robots.
2. Dataset: Publicatie van HHMotion, de eerste dataset die menselijke gelijkenis van bewegingen kwantificeert met menselijke annotaties, inclusief zowel echte robots als simulaties.
3. Baseline: Ontwikkeling van PTR-Net, een effectieve en interpreteerbare baseline die aantoont dat gespecialiseerde bewegingsmodellen superieur zijn aan grote multimodale modellen voor deze specifieke taak.
4. Inzicht: Het in kaart brengen van de huidige beperkingen van humanoid robots, met name in dynamische, contactrijke situaties, en het benadrukken dat menselijkheid meer is dan alleen gladheid; het vereist ook intentie en aanpassingsvermogen.

Betekenis en Impact

Dit werk biedt een rigoureuze, mensgerichte basis voor de ontwikkeling van natuurlijkere humanoid robots. De HHMotion-dataset en de PTR-Net-baseline dienen als cruciale tools voor:

• Het evalueren en verbeteren van bewegingsgeneratie-algoritmen.
• Het fungeren als beloningsmodel (reward model) in versterkingsleer (RL) voor het synthetiseren van menselijker bewegingen.
• Het bieden van een standaard benchmark voor de gemeenschap om de voortgang in de robotica objectief te meten.

De studie benadrukt dat, hoewel robots steeds beter worden in het uitvoeren van taken, het bereiken van een ononderscheidbare menselijke bewegingskwaliteit nog een aanzienlijke uitdaging blijft, vooral in complexe, dynamische scenario's.