Towards Motion Turing Test: Evaluating Human-Likeness in Humanoid Robots

Die Autoren stellen den „Motion Turing Test" und das dazugehörige HHMotion-Dataset vor, um die menschliche Ähnlichkeit von Humanoid-Robotern ausschließlich anhand kinematischer Daten zu bewerten und zeigen dabei, dass aktuelle multimodale Large Language Models für diese Aufgabe ungeeignet sind, während ein einfacher Baseline-Ansatz überlegene Ergebnisse liefert.

Das Wesentliche

Stellen Sie sich vor, Sie sitzen in einem dunklen Raum. Vor Ihnen läuft ein Video ab, aber Sie können keine Gesichter, keine Kleidung und keine Hautfarbe sehen. Alles, was Sie sehen, ist ein schwebendes, weißes Skelett, das sich bewegt.

Die Frage lautet: Ist das ein echter Mensch oder ein Roboter?

Genau das ist die Idee hinter dem „Motion Turing Test" (Bewegungs-Turing-Test), den die Forscher in diesem Papier vorstellen. Hier ist die Erklärung, wie ein einfaches Kind es verstehen würde:

1. Das große Experiment: Der „Geister-Tanz"

Früher haben Roboter versucht, Menschen nachzuahmen, indem sie auch menschlich aussahen (mit Haut und Haaren). Aber die Forscher sagten: „Nein, das ist unfair! Wenn der Roboter wie ein Metallklotz aussieht, wissen wir sofort, dass er es ist."

Also haben sie einen Trick angewandt: Sie haben alle Videos von echten Menschen und von Robotern (wie Unitree oder ENGINEAI) in digitale Skelette (SMPL-X) umgewandelt. Es ist, als würde man einem Schauspieler und einem Puppenspieler die Kostüme ausziehen und nur noch ihre Bewegungen vergleichen.

Dann haben sie 30 Menschen gebeten, diese Skelette anzusehen und zu bewerten:

• Note 0: „Das ist ein starrer Roboter."
• Note 5: „Das ist ein echter Mensch, ich würde es nicht merken."

2. Die Ergebnisse: Roboter sind noch nicht ganz da

Das Ergebnis war überraschend, aber ehrlich: Die Roboter haben den Test noch nicht bestanden.

• Was sie gut können: Wenn ein Roboter einfach nur steht oder langsam geht, sieht es fast wie ein Mensch aus. Das ist wie ein langsamer Spaziergang im Park.
• Was sie schlecht können: Sobald es schnell, wild oder kompliziert wird (wie Boxen, Springen oder Tischtennis spielen), fallen die Roboter auf. Ihre Bewegungen wirken oft steif, wie bei einer Marionette, die an unsichtbaren Fäden gezogen wird. Sie können nicht so geschmeidig und flüssig sein wie ein echter Mensch.

Man könnte sagen: Ein Roboter kann einen Walzer tanzen, aber wenn er einen Breakdance macht, stolpert er über seine eigenen Füße.

3. Der neue Maßstab: Ein „Bewegungs-Notenbuch"

Um dieses Problem zu lösen, haben die Forscher eine riesige Datenbank namens HHMotion erstellt.

• Sie haben 1.000 Videos gesammelt (von echten Menschen und Robotern).
• Sie haben 30 Menschen gebeten, jedes Video mit einer Note von 0 bis 5 zu bewerten.
• Das ist wie ein riesiges Notenbuch, in dem für jede Bewegung genau festgehalten ist: „Wie menschlich wirkt das?"

4. Der KI-Test: Können Computer das besser als Menschen?

Die Forscher haben sich gefragt: „Können wir eine künstliche Intelligenz (KI) bauen, die diese Noten automatisch vergibt, ohne dass wir Menschen mühsam jedes Video ansehen müssen?"

Sie haben verschiedene KI-Modelle getestet:

• Die „Super-KIs" (wie Gemini oder Qwen): Das sind die großen, modernen Sprachmodelle, die alles können. Aber als sie die Bewegungen sahen, waren sie verwirrt. Sie gaben oft falsche Noten oder sagten bei allem „3". Sie waren wie ein Schüler, der die Aufgabe nicht verstanden hat.
• Die „Einfache Lösung" (PTR-Net): Die Forscher bauten ein kleines, spezialisiertes Modell namens PTR-Net. Das ist wie ein erfahrener Tanzlehrer, der nur auf die Füße und die Gelenke achtet. Dieses kleine Modell war viel besser als die riesigen Super-KIs! Es konnte genau vorhersagen, welche Note ein Mensch geben würde.

5. Warum ist das wichtig?

Stellen Sie sich vor, Sie wollen einen Roboter bauen, der in einem Krankenhaus Patienten hilft oder in einer Fabrik arbeitet. Wenn der Roboter sich unnatürlich bewegt, fühlen sich die Menschen unwohl oder haben Angst.

Dieser Test hilft den Ingenieuren zu verstehen:

• Wo müssen wir nachbessern? (Meistens bei schnellen, dynamischen Bewegungen).
• Wie können wir Roboter so programmieren, dass sie sich „menschlicher" anfühlen?

Zusammenfassung in einer Metapher

Stellen Sie sich vor, Sie sind ein Bewegungs-Detektiv.
Früher haben Sie versucht, einen Roboter an seinem Aussehen zu erkennen (hat er eine Metallhaut?).
Jetzt haben Sie sich die Augen verbunden und müssen nur an der Art, wie er läuft, erkennen, ob er ein Mensch ist.
Die Forscher haben herausgefunden: Unsere Roboter laufen noch ein bisschen wie Roboter – sie humpeln bei schnellen Bewegungen. Aber mit ihrer neuen „Bewegungs-Notenmaschine" (PTR-Net) können wir jetzt genau messen, wie nah wir dem Ziel kommen, Roboter zu bauen, die sich so natürlich bewegen wie wir alle.

Das Ziel ist es, dass eines Tages niemand mehr unterscheiden kann, ob der Tänzer auf der Bühne ein Mensch oder ein Roboter ist – selbst wenn er nur als Skelett zu sehen ist.

Technische Zusammenfassung

1. Problemstellung

Trotz erheblicher Fortschritte in der Bewegungsgenerierung und -steuerung von humanoiden Robotern fehlt es an einem standardisierten, quantitativen Rahmenwerk, um zu bewerten, wie „menschlich" die Bewegungen dieser Roboter tatsächlich wirken.

• Herausforderung: Bisherige Evaluierungen konzentrieren sich oft auf task-spezifische Metriken (z. B. Erfolgsrate, Effizienz), die nicht zwangsläufig mit der subjektiven Wahrnehmung von Natürlichkeit korrelieren.
• Visuelle Verzerrung: Direkte Vergleiche von Videomaterial scheitern oft daran, dass die äußere Erscheinung der Roboter (Metallgehäuse, exponierte Gelenke) es Beobachtern ermöglicht, Roboter von Menschen zu unterscheiden, unabhängig von der Qualität der Bewegung.
• Forschungslücke: Es existiert kein Datensatz, der explizit die „Menschlichkeit" (Human-Likeness) von Bewegungen basierend auf kinematischen Daten bewertet, und aktuelle multimodale Large Language Models (LLMs) sind für diese spezifische Aufgabe unzureichend.

2. Methodik

A. Der „Motion Turing Test" (Bewegungsturing-Test)

Inspirierte vom klassischen Turing-Test wird ein neuer Bewertungsrahmen vorgeschlagen: Ein Roboter besteht den Test, wenn ein menschlicher Beobachter basierend ausschließlich auf kinematischen Informationen (ohne visuelle Hinweise wie Textur oder Farbe) nicht zuverlässig unterscheiden kann, ob eine Pose-Sequenz von einem Menschen oder einem Roboter stammt.

B. Der HHMotion-Datensatz

Um diesen Test zu ermöglichen, wurde der Human-Humanoid Motion (HHMotion)-Datensatz erstellt:

• Umfang: 1.000 Motion-Clips (je 5 Sekunden), insgesamt 21,7 Stunden Rohdaten.
• Quellen:
  • Roboter: 11 verschiedene humanoide Modelle (z. B. Unitree G1, ENGINEAI PM01) aus realen Events (WRC, WAIC, WHRG) und Simulationen.
  • Menschen: 10 menschliche Probanden, die dieselben Aktionen ausführen, sowie zusätzliche Videos aus YouTube.
  • Spezialsubset: Menschen, die absichtlich roboterhafte Bewegungen imitieren, um die Bewertung zu erschweren.
• Datenvorverarbeitung: Um visuelle Verzerrungen zu eliminieren, wurden alle RGB-Videos in SMPL-X-Repräsentationen (parametrisches Körpermodell ohne Textur) umgewandelt. Dies isoliert die reine Bewegungsinformation.
• Annotation: 30 menschliche Annotatoren bewerteten jede Sequenz auf einer Likert-Skala von 0 bis 5 (0 = „vollständig roboterhaft", 5 = „nicht von menschlicher Bewegung unterscheidbar"). Dies erforderte über 500 Stunden Annotationsarbeit.

C. PTR-Net (Baseline-Modell)

Da aktuelle Vision-Language-Modelle (VLMs) wie Gemini oder Qwen bei dieser Aufgabe versagten, wurde ein spezialisiertes Modell entwickelt:

• Architektur: Pose-Temporal Regression Network (PTR-Net).
• Komponenten:
  1. Temporal Encoder: Ein bidirektionaler LSTM zur Erfassung langfristiger zeitlicher Abhängigkeiten.
  2. Spatial-Temporal Graph Convolution (ST-GCN): Extrahiert Koordinationsmuster über Gelenke und Frames hinweg (mit parameterfreiem Adjazenz-Design für adaptive Aggregation).
  3. Attention Pooling & Regression Head: Hebt saliente Bewegungssegmente hervor und gibt einen skalaren Score (0–5) aus.
• Ziel: Vorhersage des menschlichen Human-Likeness-Scores als Regressionsaufgabe.

3. Wichtige Beiträge

1. Konzept des Motion Turing Test: Ein neuer, bewegungszentrierter Evaluierungsstandard, der visuelle Merkmale ausschließt.
2. HHMotion-Datensatz: Der erste große Datensatz, der menschliche und humanoide Roboterbewegungen direkt vergleicht und mit menschlichen Scores zur „Menschlichkeit" annotiert ist.
3. Benchmark & Baseline: Einführung eines neuen Benchmarks und des PTR-Net-Modells, das als effektives Werkzeug zur Bewertung und als Reward-Modell für Reinforcement Learning dient.
4. Analyse aktueller Grenzen: Quantitative Belege dafür, dass selbst fortschrittliche Roboter in dynamischen Aktionen (Springen, Boxen) signifikante Unterschiede zu menschlichen Bewegungen aufweisen.

4. Ergebnisse

• Datensatz-Analyse:

  • Es besteht eine deutliche Lücke zwischen menschlichen und robotischen Bewegungen, selbst bei modernen Robotern.
  • Dynamische Aktionen: Bewegungen wie Springen, Boxen und Laufen zeigen die größten Diskrepanzen (niedrigste Scores für Roboter), da Roboter Schwierigkeiten mit hochfrequenten Koordinationen und Kontaktreaktionen haben.
  • Statische/Zyklische Aktionen: Gehen und Stehen erreichen höhere Scores und liegen menschlichen Bewegungen näher.
  • Simulation vs. Realität: Roboterbewegungen in Simulationen wurden als menschlicher bewertet als reale Roboterbewegungen.

• Modell-Performance:

  • VLM-Versagen: State-of-the-Art VLMs (Gemini 2.5 Pro, Qwen3-VL-Plus) scheiterten an der Aufgabe, selbst mit komplexen Prompting-Strategien (Chain-of-Thought). Sie zeigten hohe Fehler (MAE > 1.2) und niedrige Korrelationen mit menschlichen Urteilen.
  • PTR-Net Erfolg: Das vorgeschlagene PTR-Net übertraf alle Baselines signifikant:
    • MAE: 0.5813 (vs. >1.2 bei VLMs).
    • RMSE: 0.7926.
    • Spearman-Korrelation: 0.6841.
  • Generalisierung: PTR-Net zeigte starke Generalisierungsfähigkeit bei Out-of-Distribution-Tests auf dem neuen XPeng IRON-Roboter (Vorhersage 4.25 vs. menschlicher Durchschnitt 4.36).

5. Bedeutung und Ausblick

• Forschungsbeitrag: Die Arbeit liefert die erste umfassende, datengestützte Analyse der aktuellen Grenzen der menschlichen Ähnlichkeit in der Robotik. Sie widerlegt die Annahme, dass Roboterbewegungen bereits kaum von menschlichen zu unterscheiden seien.
• Praktische Anwendung: Der Datensatz und PTR-Net dienen als Werkzeug für die Entwicklung besserer Bewegungsgenerierungsalgorithmen und als Reward-Modell für Reinforcement Learning, um Roboter natürlicher zu machen.
• Zukunft: Die Veröffentlichung von Dataset, Code und Benchmark fördert die Community, um die Lücke zwischen robotischer und menschlicher Motorik weiter zu schließen.

Zusammenfassend etabliert diese Arbeit einen neuen, rigorosen Standard zur Bewertung von Humanoid-Robotern, der sich strikt auf die Qualität der Bewegung konzentriert und zeigt, dass trotz technischer Fortschritte noch erhebliche Hürden bei der Nachahmung komplexer, dynamischer menschlicher Bewegungen bestehen.