💻 computer science

Imitation of Arm Gestures by the Semi-Humanoid Robot NICO

Dieses Papier präsentiert ein System, das es dem semi-humanoiden Roboter NICO ermöglicht, menschliche Armgesten mittels monokularem RGB-Input, MediaPipe-basierter 3D-Pose-Schätzung und analytischer Geometrie zur Berechnung und Abbildung von Gelenkwinkeln zu imitieren, wobei eine erfolgreiche Leistung bei einfachen Gesten demonstriert wird, während gleichzeitig Einschränkungen bei komplexen Posen und Handgelenkbewegungen eingeräumt werden.

Ursprüngliche Autoren: Anastasiya Ihnatovich, Igor Farkaš

Veröffentlicht 2026-07-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Anastasiya Ihnatovich, Igor Farkaš

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Roboter nicht nur einer starren Liste von Anweisungen folgen, sondern tatsächlich „lernen“ können, indem sie uns beobachten, genau wie ein Kleinkind seine Eltern nachahmt. Dies ist das Herzstück der Mensch-Roboter-Interaktion (HRI), einem Wissenschaftsbereich, der sich damit beschäftigt, Maschinen weniger wie Werkzeuge und mehr wie Gefährten erscheinen zu lassen. Damit ein Roboter eine menschliche Bewegung wirklich kopieren kann, benötigt er zwei Superkräfte: Wahrnehmung (die Fähigkeit, einen menschlichen Körper in einem 2D-Foto zu „sehen“ und zu verstehen) und Kinematik (die Mathematik, die berechnet, wie er seine eigenen Metallgelenke biegen muss, um jener menschlichen Pose zu entsprechen). Während einige Wissenschaftler versuchen, Roboter zu lehren, indem sie sie mit Millionen von Videos füttern und hoffen, dass ein komplexes Computergehirn die Lösung findet, bevorzugen andere einen direkteren, geometrischen Ansatz – die Verwendung einfacher Mathematik, um Winkel und Abstände zu messen. Warum ist das wichtig? Weil ein Roboter, der unsere Gesten auf natürliche Weise kopieren kann, mit uns in sozialen Situationen interagieren, uns bei Aufgaben helfen oder uns sogar unterrichten kann, ohne teure, sperrige Sensoren oder jahrelanges Training zu benötigen.

In dieser Studie versuchten die Forscher Anastasiya Ihnatovich und Igor Farkaš, einen semi-humanoiden Roboter namens NICO dazu zu bringen, menschliche Armgesten mithilfe einer Standardkamera und etwas kluger Geometrie zu kopieren. Stellen Sie sich NICO als einen roboterähnlichen Begleiter in Kindergröße mit einem Kopf und zwei Armen vor, der darauf ausgelegt ist, Zeit mit Menschen zu verbringen. Das Team verwendete keine schicken 3D-Tiefenkameras oder Motion-Capture-Anzüge; stattdessen verließen sie sich auf ein kostenloses Software-Tool namens MediaPipe, das wie ein digitaler Skelett-Tracker fungiert. Wenn man MediaPipe ein gewöhnliches Foto zeigt, erkennt es sofort 33 Schlüsselpunkte eines menschlichen Körpers (wie Schultern, Ellbogen und Handgelenke) und schätzt deren Position im 3D-Raum.

Die Methode der Forscher funktioniert wie ein Übersetzer. Zuerst „sieht“ MediaPipe den Menschen und erfasst die Koordinaten seiner Armgelenke. Dann verwendet das Team einen Satz geometrischer Formeln – im Grunde ein Rezept zur Berechnung von Winkeln basierend auf dem Abstand zwischen Punkten –, um genau zu bestimmen, wie der menschliche Ellbogen gebeugt oder wie das Handgelenk gedreht ist. Schließlich nehmen sie diese menschlichen Winkel und „kartieren“ sie mathematisch auf Nicos spezifische Motoren, wodurch dem Roboter gesagt wird, wie er seine eigenen Gelenke bewegen muss, um der menschlichen Pose zu entsprechen. Es ist, als würde man eine menschliche Pose nehmen und sie durch eine Umrechnungstabelle laufen lassen, um das Bedienungshandbuch für den Roboter zu erhalten.

Das Team testete dieses System mit sechs Freiwilligen unterschiedlicher Größe und bat sie, 11 verschiedene Armposen einzunehmen, während sie in verschiedenen Winkeln standen (frontal oder leicht zur Seite gedreht). Die Ergebnisse waren eine Mischung aus Erfolg und ehrlichen Einschränkungen. Der Roboter war ziemlich gut darin, die großen Bewegungen zu kopieren: Er konnte den Schulterpitch (das Heben und Senken des Arms), die Ellbogenbeugung und die Handgelenksbeugung mit einem moderaten Maß an Genauigkeit erfassen, wobei er das Ziel im Durchschnitt um etwa 10°, 20° bzw. 23° verfehlte. Allerdings hatte der Roboter größere Schwierigkeiten mit der Schulterrotation (dem Drehen des Arms an der Schulter) und der Unterarmrotation (dem Drehen der Hand, wie beim Drehen eines Türknaufs). Die Unterarmrotation war der schwierigste Teil; selbst mit Hilfe der Hand-Tracking-Daten lag die Schätzung des Roboters im Durchschnitt um 50,1° daneben, was ein erhebliches Wackeln bedeutet.

Interessanterweise stellten die Forscher fest, dass die Leistung des Roboters nicht wirklich davon abhing, wie groß der Mensch war oder wie genau er seinen Körper drehte (innerhalb eines Bereichs von 45°). Stattdessen war der entscheidende Faktor, was der Mensch gerade tat. Wenn die Pose eine komplexe Drehung des Unterarms beinhaltete oder die Hand hinter dem Arm verborgen war, wurde der Roboter verwirrt. Das System war zudem unglaublich schnell und verarbeitete jedes Bild in etwa 0,0017 Sekunden, was schnell genug ist, um mit realen Bewegungen Schritt zu halten.

Letztendlich legt die Arbeit nahe, dass dieser „geometrie-basierten“ Ansatz ein praktikabler und effizienter Weg ist, um einen Roboter dazu zu bringen, menschliche Gesten zu imitieren, ohne teure Hardware oder riesige Trainingsdatensätze zu benötigen. Er beweist, dass man einen Roboter mit nur einer normalen Kamera dazu bringen kann, seine Arme auf eine bedeutungsvolle Weise zu bewegen. Die Autoren weisen jedoch vorsichtig darauf hin, dass dies noch keine perfekte Lösung ist. Das System stolpert immer noch über komplexe Handgelenk- und Unterarmbewegungen und muss noch an einer größeren Vielfalt an Menschen und Posen getestet werden, bevor es als robustes, alltägliches Werkzeug gelten kann. Für den Moment ist es ein vielversprechender Proof-of-Concept, der zeigt, dass ein Roboter uns „sehen“ und „kopieren“ kann, auch wenn er bei der Drehung des Handgelenks manchmal den richtigen Dreh noch nicht ganz trifft.

Technisches Resümee: Imitation von Armgesten durch den semi-humanoiden Roboter NICO

Problemstellung
Eine nahtlose Mensch-Roboter-Interaktion (HRI) erfordert, dass Roboter über perzeptive und motorische Fähigkeiten verfügen, insbesondere die Fähkeit, menschliche Gesten zu imitieren. Während lernbasierte Ansätze Flexibilität bieten, erfordern sie oft große Datensätze, umfangreiches Training und erhebliche Rechenressourcen, was die Echtzeit-Anwendbarkeit einschränkt. Umgekehrt bieten analytische Ansätze Effizienz und Interpretierbarkeit, sind jedoch oft auf spezialisierte Sensorik (z. B. Tiefenkameras) angewiesen oder auf vereinfachte Gestensätze beschränkt. Die in dieser Arbeit behandelte Herausforderung besteht darin, eine bedeutungsvolle Imitation menschlicher Armgesten unter Verwendung eines reinen monokularen RGB-Inputs zu erreichen, ohne auf teure Sensoren oder rechenintensive Lernmodelle zurückzugreifen, während gleichzeitig die spezifische kinematische Struktur eines semi-humanoiden Roboters berücksichtigt wird.

Methodik
Das vorgeschlagene System ist eine Pipeline, die für den NICO-Roboter (Neuro-Inspired COmpanion) entwickelt wurde, einen kindheitsgroßen semi-humanoiden Roboter mit sechs Freiheitsgraden (DoF) in jedem Arm. Das Framework arbeitet durch drei primäre Stufen:

Extraktion von 3D-Koordinaten:
Das System nutzt das MediaPipe-Framework, um 2D- und Pseudo-3D-Landmarken aus einem einzelnen RGB-Kamera-Input zu extrahieren. Es verwendet das pose_landmarker_heavy-Modell für die Körperpose (33 Landmarks) und ein dediziertes Handmodell (21 Landmarks). Um die Genauigkeit zu erhöhen, priorisiert das System Handmodell-Landmarken für das Handgelenk und die Handfläche (ersetzt die entsprechenden Pose-Landmarken) und transformiert das Koordinatensystem der Hand, um es mit dem Ursprung des Handgelenks des Pose-Modells abzugleichen. Dies liefert 3D-Koordinaten ( $x, y, z$ ) für relevante Armgelenke und Hand-Keypoints.
Rekonstruktion der Gelenkwinkel (Analytische Geometrie):
Unter Verwendung der extrahierten 3D-Koordinaten berechnet das System Gelenkwinkel über abgeleitete geometrische Relationen, unter der Annahme, dass der Torso des Probanden annähernd parallel zur Kameraebene verläuft. Eine Torso-Yaw-Kompensation wird durch Rotation der Koordinaten basierend auf der Orientierung der Schulterlinie angewendet. Die Rekonstruktion umfasst:

Handgelenk-Flexion: Berechnet als der Winkel zwischen dem Unterarmvektor und dem Normalenvektor der Handflächenebene.
Unterarmrotation: Bestimmt durch den Vorzeichenwinkel zwischen einer Referenzrotationsbasis (abgeleitet aus dem Oberarmvektor) und dem projizierten Handflächenorientierungsvektor. Für gerade Armkonfigurationen wird eine spezielle Fallback-Logik angewendet.
Ellbogenbeugung: Berechnet als der ungerichtete Winkel zwischen dem Oberarm- und dem Unterarmvektor.
Schulter-Pitch und -Roll: Abgeleitet mittels atan2-Funktionen auf dekomponierten Vektorkomponenten, um Quadranten aufzulösen und zwischen vorderen und hinteren Armkonfigurationen zu unterscheiden. Der Schulter-Yaw wird in einer neutralen Position fixiert.

Winkelzuordnung auf NICO:
Die rekonstruierten analytischen Winkel sind nicht direkt mit den Motorkoordinatensystemen des Roboters kompatibel. Das System führt eine lineare Abbildung für jedes Gelenk durch, wobei den rekonstruierten Winkel auf ein vorbestimmtes analytisches Intervall $[\theta_{min}, \theta_{max}]$ begrenzt und auf die entsprechenden Motorpositionen $m(\theta_{min})$ und $m(\theta_{max})$ abgebildet wird. Dies berücksichtigt sowohl übereinstimmende als auch umgekehrte Motororientierungen.

Wesentliche Beiträge

RGB-only Analytische Pipeline: Die Arbeit erweitert geometrie-basierte analytische Methoden auf ein breiteres Set von Armgesten unter Verwendung eines reinen monokularen RGB-Inputs, wodurch die Notwendigkeit von Tiefensensoren oder Motion-Capture-Systemen entfällt.
Kinematische Anpassung: Die geometrischen Formulierungen sind spezifisch auf die Kinematik des NICO-Roboters angepasst, welche sich von anderen Plattformen (z. B. NAO) dadurch unterscheidet, dass sie keinen Ellbogen-Roll-Gelenk besitzt, aber eine spezifische Handhabung von Unterarmrotation und Handgelenk-Flexion erfordert.
Integration von Hand-Landmarks: Das System integriert explizit MediaPipe-Hand-Landmarks, um die Schätzung der Handgelenk-Flexion und der Unterarmrotation zu verbessern, wodurch Einschränkungen begegnet wird, die bei der alleinigen Verwendung von Pose-Landmarks auftreten.
Kein Trainingsbedarf: Im Gegensatz zu lernbasierten Methoden erfordert der vorgeschlagene Ansatz keine Trainingsphase oder annotierte Datensätze.

Experimentelle Ergebnisse
Das System wurde mit sechs Teilnehmern unterschiedlicher Körpergröße evaluiert, die 11 symmetrische Oberarm-Posen aus drei verschiedenen Blickwinkeln ( $0^\circ, 30^\circ, 45^\circ$ ) ausführten.

Genauigkeit: Die Methode erreichte eine moderate Rekonstruktionsgenauigkeit für Schulter-Pitch, Ellbogenbeugung und Handgelenkbeugung, mit mittleren absoluten Fehlern (MAE) von etwa $10^\circ$ , $20^\circ$ bzw. $23^\circ$ . Die Schulter-Roll zeigte eine geringere Genauigkeit ( $34^\circ$ MAE).
Einschränkung der Unterarmrotation: Die Unterarmrotation blieb die primäre Fehlerquelle. Die Verwendung von Pose-Landmarks allein führte zu einem MAE von $67,1^\circ$ . Die Integration dedizierter Hand-Landmarks reduzierte diesen Wert auf $50,1^\circ$ (eine Verbesserung von ca. $25\,\%$ ), wenngleich der Fehler im Vergleich zu anderen Gelenken signifikant höher blieb.
Abhängigkeit des Handgelenks: Die Genauigkeit der Handgelenkbeugung war stark von der Ausrichtung des Unterarms abhängig; die Fehler nahmen bei extremer Handgelenk-Flexion/-Extension, bei denen die Schätzung der Unterarmrotation mangelhaft war, merklich zu.
Robustheitsfaktoren: Die Rekonstruktionsgenauigkeit zeigte keine klare Korrelation mit der Körpergröße der Teilnehmer. Variationen des Blickwinkels ( $0^\circ$ – $45^\circ$ ) hatten im Vergleich zu der durch spezifische Gesten und Selbstverdeckung verursachten Variabilität einen relativ geringen Effekt.
Leistung: Die Pipeline demonstrierte eine hohe Recheneffizienz mit durchschnittlich 0,0017 Sekunden pro Frame (ca. 590 FPS), mit einem Worst-Case-Wert von 0,0093 Sekunden (ca. 108 FPS).

Bedeutung und Behauptungen
Die Autoren positionieren diese Arbeit als „Proof of Concept“ für eine analytische, monokulare RGB-basierte Gestenimitation. Das Paper behauptet, dass der Ansatz erfolgreich bedeutungsvolle imitative Bewegungen ohne den Rechenaufwand von Deep Learning oder die Kosten spezialisierter Hardware erzeugt. Dennoch wahren die Autoren eine bescheidene Haltung hinsichtlich der aktuellen Robustheit des Systems. Sie räumen ein, dass die Methode zwar für mehrere Armgelenke unter kontrollierten Bedingungen funktioniert, die Schätzung der Unterarmrotation jedoch weiterhin eine erhebliche Herausforderung darstellt. Das Paper schließt mit der Feststellung, dass das System noch keine robuste Lösung für die allgemeine Gestenimitation ist und vor einer breiteren Implementierung weitere Validierungen auf größeren, diverseren Datensätzen sowie Verbesserungen in der Schätzung der Unterarmrotation erfordert.

Mehr davon