Imitation of Arm Gestures by the Semi-Humanoid Robot NICO

Technische Samenvatting: Imitatie van Armgebaren door de Semi-Humanoïde Robot NICO

Probleemstelling
Naadloze mens-robotinteractie (HRI) vereist dat robots beschikken over perceptuele en motorische vermogens, specifiek het vermogen om menselijke gebaren te imiteren. Hoewel op leren gebaseerde benaderingen flexibiliteit bieden, vereisen ze vaak grote datasets, uitgebreide training en aanzienlijke rekenkracht, wat de real-time toepasbaarheid beperkt. Daarentegen bieden analytische benaderingen efficiëntie en interpreteerbaarheid, maar zijn ze vaak afhankelijk van gespecialiseerde sensoren (bijv. dieptecamera's) of beperkt tot vereenvoudigde verzamelingen gebaren. De uitdaging die in dit werk wordt aangepakt, is het bereiken van betekenisvolle imitatie van menselijke armgebaren met uitsluitend monoculaire RGB-input, zonder afhankelijkheid van dure sensoren of rekenintensieve leer-modellen, terwijl er wordt aangepast aan de specifieke kinematische structuur van een semi-humanoïde robot.

Methodologie
Het voorgestelde systeem is een pipeline ontworpen voor de NICO (Neuro-Inspired COmpanion) robot, een kind-formaat semi-humanoïde met zes vrijheidsgraden (DoF) in elke arm. Het framework werkt via drie primaire stadia:

1. 3D Coördinatentrekking:
   Het systeem maakt gebruik van het MediaPipe-framework om 2D en pseudo-3D landmarks te extraheren uit een enkele RGB-camera-input. Het gebruikt het pose_landmarker_heavy model voor de lichaamshouding (33 landmarks) en een specifiek handmodel (21 landmarks). Om de nauwkeurigheid te vergroten, geeft het systeem prioriteit aan hand-model landmarks voor de pols en de handpalm (ter vervanging van de overeenkomstige pose-landmarks) en vertaalt het het coördinatensysteem van de hand om deze uit te lijnen met de oorsprong van de pols van het pose-model. Dit levert 3D-coördinaten ($x, y, z$) voor relevante armgewrichten en hand-keypoints op.

2. Reconstructie van Gewrichtshoeken (Analytische Meetkunde):
   Met behulp van de geëxtraheerde 3D-coördinaten berekent het systeem gewrichtshoeken via afgeleide geometrische relaties, uitgaande van de aanname dat het bovenlichaam van het onderwerp nagenoeg parallel aan het cameravlak staat. Een compensatie voor de torso-yaw wordt toegepast door de coördinaten te roteren op basis van de oriëntatie van de schouderlijn. De reconstructie omvat:

• Polsflexie: Berekend als de hoek tussen de onderarmvector en de normaalvector van het handpalmvlak.
• Onderarmrotatie: Bepaald door de gesigneerde hoek tussen een referentie-rotatiebasis (afgeleid van de bovenarmvector) en de geprojecteerde oriëntatievector van de handpalm. Er wordt speciale fallback-logica toegepast voor configuraties met een gestrekte arm.
• Elleboogbuiging: Berekend als de ongesigneerde hoek tussen de bovenarm- en onderarmvectoren.
• Schouderpitch en -roll: Afgeleid met behulp van atan2-functies op gedecomposeerde vectorcomponenten om kwadranten te resolven en onderscheid te maken tussen voor- en achterwaartse armconfiguraties. De schouderyaw is gefixeerd in een neutrale positie.

3. Hoekmapping naar NICO:
   De gereconstrueerde analytische hoeken zijn niet direct compatibel met de motoren-coördinatensystemen van de robot. Het systeem voert een lineaire mapping uit voor elk gewricht, waarbij de gereconstrueerde hoek wordt afgeklemd binnen een vooraf bepaald analytisch interval $[\theta_{min}, \theta_{max}]$ en wordt gemapt naar de overeenkomstige motorposities $m(\theta_{min})$ en $m(\theta_{max})$. Dit behandelt zowel overeenkomende als omgekeerde motororiëntaties.

Belangrijkste Bijdragen

• RGB-alleen Analytische Pipeline: Het werk breidt analytische meetkunde-gebaseerde methoden uit naar een bredere set armgebaren met uitsluitend monoculaire RGB-input, waardoor de noodzaak voor dieptesensoren of motion capture-systemen vervalt.
• Kinematische Adaptatie: De geometrische formuleringen zijn specifiek aangepast aan de kinematica van de NICO-robot, die verschilt van andere platforms (bijv. NAO) door het ontbreken van een elleboog-roll gewricht, maar wel specifieke behandeling vereist voor onderarmrotatie en polsflexie.
• Integratie van Hand-Landmarks: Het systeem integreert expliciet MediaPipe hand-landmarks om de schatting van polsflexie en onderarmrotatie te verbeteren, waarmee de beperkingen worden aangepakt die optreden bij het gebruik van enkel pose-landmarks.
• Geen Trainingsvereiste: In tegen tegenstelling tot op leren gebaseerde methoden, vereist de voorgestelde aanpak geen trainingsfase of geannoteerde datasets.

Experimentele Resultaten
Het systeem werd geëvalueerd met zes deelnemers van verschillende lengtes die 11 symmetrische bovenlichaamsposes uitvoerden vanuit drie verschillende kijkhoeken ($0^\circ, 30^\circ, 45^\circ$).

• Nauwkeurigheid: De methode behaalde een matige reconstructienauwkeurigheid voor de schouderpitch, elleboogbuiging en polsbuiging, met gemiddelde absolute fouten (MAE) van respectievelijk ongeveer $10^\circ$, $20^\circ$ en $23^\circ$. Schouderroll vertoonde een lagere nauwkeurigheid ($34^\circ$ MAE).
• Beperking Onderarmrotatie: Onderarmrotatie bleef de primaire bron van fouten. Het gebruik van enkel pose-landmarks resulteerde in een MAE van $67,1^\circ$. Het integreren van specifieke hand-landmarks verminderde dit tot $50,1^\circ$ (een verbetering van $\approx 25\%$), hoewel de fout aanzienlijk hoger bleef dan bij andere gewrichten.
• Afhankelijkheid van de Pols: De nauwkeurigheid van de polsbuiging was sterk afhankelijk van de oriëntatie van de onderarm; de fouten namen merkbaar toe bij extreme polsflexie/extensie waar de schatting van de onderarmrotatie zwak was.
• Robuustheidsfactoren: De reconstructienauwkeurigheid vertoonde geen duidelijke correlatie met de lengte van de deelnemer. Variaties in het standpunt ($0^\circ$–$45^\circ$) hadden een relatief klein effect vergeleken met de variabiliteit geïntroduceerd door specifieke gebaren en zelf-occlusie.
• Prestaties: De pipeline vertoonde een hoge computationele efficiëntie, met een gemiddelde van 0,0017 seconden per frame (ca. 590 FPS), met een worst-case scenario van 0,0093 seconden (ca. 108 FPS).

Betekenis en Claims
De auteurs positioneren dit werk als een "proof of concept" voor analytische, monoculaire RGB-gebaseerde gebarenimitatie. Het artikel beweert dat de aanpak erin slaagt om betekenisvolle imitatieve bewegingen te produceren zonder de computationele overhead van deep learning of de kosten van gespecialiseerde hardware. De auteurs houden echter een bescheiden standpunt aan met betrekking tot de huidige robuustheid van het systeem. Zij erkennen dat hoewel de methode werkt voor verschillende armgewrichten onder gecontroleerde omstandigheden, de schatting van de onderarmrotatie een aanzienlijke uitdaging blijft. Het artikel concludeert dat het systeem nog geen robuuste oplossing is voor algemene gebarenimitatie en verdere validatie op grotere, meer diverse datasets en verbeteringen in de schatting van de onderarmrotatie vereist voordat bredere inzet mogelijk is.