💻 computer science

Imitation of Arm Gestures by the Semi-Humanoid Robot NICO

Cet article présente un système permettant au robot semi-humanoïde NICO d'imiter les gestes des bras humains à l'aide d'une entrée RGB monoculaire, de l'estimation de pose 3D basée sur MediaPipe et de la géométrie analytique pour calculer et mapper les angles articulaires, démontrant une performance réussie sur des gestes simples tout en reconnaissant des limitations dans les poses complexes et les mouvements du poignet.

Auteurs originaux : Anastasiya Ihnatovich, Igor Farkaš

Publié 2026-07-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anastasiya Ihnatovich, Igor Farkaš

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les robots ne se contentent pas de suivre une liste rigide d'instructions, mais peuvent réellement « apprendre » en nous observant, tout comme un bambin imite ses parents. C'est le cœur de l'Interaction Humain-Robot (IHR), un domaine scientifique dédié à faire en sorte que les machines ressemblent moins à des outils et davantage à des compagnons. Pour qu'un robot puisse véritablement copier un mouvement humain, il lui faut deux super-pouvoirs : la Perception (la capacité de « voir » et de comprendre un corps humain sur une photo 2D) et la Cinématique (les mathématiques qui déterminent comment plier ses propres articulations métalliques pour correspondre à cette pose humaine). Alors que certains scientifiques tentent d'enseigner aux robots en leur injectant des millions de vidéos dans l'espoir qu'un cerveau informatique complexe comprenne par lui-même, d'autres préfèrent une approche géométrique plus directe — utilisant des mathématiques simples pour mesurer les angles et les distances. Pourquoi est-ce important ? Parce que si un robot peut copier naturellement nos gestes, il peut interagir avec nous dans des contextes sociaux, nous aider dans des tâches ou même nous enseigner, sans avoir besoin de capteurs coûteux et encombrants ou d'années d'entraînement.

Dans cette étude, les chercheurs Anastasiya Ihnatovich et Igor Farkaš ont tenté d'apprendre à un robot semi-humanoïde nommé NICO à copier des gestes de bras humains en utilisant uniquement une caméra standard et une géométrie astucieuse. Considérez NICO comme un robot de la taille d'un enfant, doté d'une tête et de deux bras, conçu pour traîner avec les gens. L'équipe n'a pas utilisé de caméras de profondeur 3D sophistiquées ou de combinaisons de capture de mouvement ; au lieu de cela, elle s'est appuyée sur un outil logiciel gratuit appelé MediaPipe, qui agit comme un squelette numérique. Lorsque vous présentez une photo ordinaire à MediaPipe, il repère instantanément 33 points clés sur un corps humain (comme les épaules, les coudes et les poignets) et estime leur position dans l'espace 3D.

La méthode des chercheurs fonctionne comme un traducteur. D'abord, MediaPipe « voit » l'humain et saisit les coordonnées de ses articulations de bras. Ensuite, l'équipe utilise un ensemble de formules géométriques — essentiellement une recette pour calculer des angles basés sur la distance entre les points — pour déterminer exactement comment le coude de l'humain est plié ou comment le poignet est tordu. Enfin, ils prennent ces angles humains et les « cartographient » mathématiquement sur les moteurs spécifiques de NICO, indiquant au robot comment bouger ses propres articulations pour correspondre à l'humain. C'est comme prendre une pose humaine et la passer dans un tableau de conversion pour obtenir le manuel d'instructions du robot.

L'équipe a testé ce système avec six volontaires de différentes tailles, leur demandant de maintenir 11 poses de bras différentes tout en se tenant sous différents angles (de face, ou légèrement de côté). Les résultats sont un mélange de succès et de limites honnêtes. Le robot était assez bon pour copier les grands mouvements : il pouvait estimer le tangage de l'épaule (lever le bras de haut en bas), la flexion du coude et la flexion du poignet avec un niveau de précision modéré, manquant la cible d'environ 10°, 20° et 23° respectivement. Cependant, le robot avait plus de mal avec la rotation de l'épaule (tordre le bras au niveau de l'épaule) et la rotation de l'avant-bras (tordre la main comme pour tourner un bouton de porte). La rotation de l'avant-bras était la partie la plus difficile ; même avec l'aide des données de suivi de la main, l'estimation du robot était erronée de 50,1° en moyenne, ce qui représente une oscillation significative.

De manière intéressante, les chercheurs ont découvert que la performance du robot ne dépendait pas vraiment de la taille de l'humain ni de l'angle exact de son corps (dans une plage de 45°). Au lieu de cela, le facteur principal était ce que l'humain faisait. Si la pose impliquait une torsion complexe de l'avant-bras ou si la main était cachée derrière le bras, le robot se perdait. Le système était également incroyablement rapide, traitant chaque image en environ 0,0017 seconde, ce qui est assez rapide pour suivre un mouvement en temps réel.

En fin de compte, l'article suggère que cette approche « uniquement géométrique » est une méthode viable et efficace pour permettre à un robot de mimer des gestes humains sans avoir besoin de matériel coûteux ou de vastes ensembles de données d'entraînement. Cela prouve que l'on peut faire bouger les bras d'un robot de manière significative en utilisant simplement une caméra ordinaire. Cependant, les auteurs précisent avec prudence que ce n'est pas encore une solution parfaite. Le système trébuche encore sur les mouvements complexes du poignet et de l'avant-bras, et nécessite davantage de tests sur une plus grande variété de personnes et de poses avant de pouvoir être considéré comme un outil quotidien robuste. Pour l'instant, c'est une preuve de concept prometteuse qui montre qu'un robot peut nous « voir » et nous « copier », même s'il se trompe parfois un peu dans la torsion du poignet.

Résumé Technique : Imitation des gestes de bras par le robot semi-humanoïde NICO

Énoncé du problème
Une interaction humain-robot (IHR) fluide nécessite que les robots possèdent des capacités perceptuelles et motrices, plus précisément la capacité d'imiter les gestes humains. Bien que les approches basées sur l'apprentissage offrent de la flexibilité, elles exigent souvent de grands ensembles de données, un entraînement intensif et des ressources de calcul importantes, ce qui limite l'applicabilité en temps réel. À l'inverse, les approches analytiques offrent efficacité et interprétabilité, mais reposent souvent sur du matériel de détection spécialisé (par exemple, des caméras de profondeur) ou sont limitées à des ensembles de gestes simplifiés. Le défi abordé dans ce travail est de parvenir à une imitation significative des gestes de bras humains en utilisant uniquement une entrée RGB monoculaire, sans dépendre de capteurs coûteux ou de modèles de calcul intensifs, tout en s'adaptant à la structure cinématique spécifique d'un robot semi-humanoïde.

Méthodologie
Le système proposé est un pipeline conçu pour le robot NICO (Neuro-Inspired COmpanion), un compagnon semi-humanoïde de taille enfant doté de six degrés de liberté (DoF) dans chaque bras. Le cadre fonctionne à travers trois étapes principales :

Extraction de coordonnées 3D :
Le système utilise le framework MediaPipe pour extraire des points de repère (landmarks) 2D et pseudo-3D à partir d'une seule entrée de caméra RGB. Il emploie le modèle pose_landmarker_heavy pour la pose du corps (33 points de repère) et un modèle de main dédié (21 points de repère). Pour améliorer la précision, le système donne la priorité aux points de repère du modèle de main pour le poignet et la paume (en remplaçant les points de repère de pose correspondants) et traduit le système de coordonnées de la main pour l'aligner avec l'origine du poignet du modèle de pose. Cela fournit des coordonnées 3D ( $x, y, z$ ) pour les articulations du bras et les points clés de la main.
Reconstruction des angles articulaires (Géométrie analytique) :
En utilisant les coordonnées 3D extraites, le système calcule les angles articulaires via des relations géométriques dérivées, en supposant que le torse du sujet est approximativement parallèle au plan de la caméra. Une compensation de l'orientation (yaw) du torse est appliquée en faisant pivoter les coordonnées en fonction de l'orientation de la ligne des épaules. La reconstruction couvre :

Flexion du poignet : Calculée comme l'angle entre le vecteur de l'avant-bras et le vecteur normal du plan de la paume.
Rotation de l'avant-bras : Déterminée par l'angle signé entre une base de rotation de référence (dérivée du vecteur du bras supérieur) et le vecteur d'orientation projeté de la paume. Une logique de repli (fallback) spéciale est appliquée pour les configurations de bras tendus.
Flexion du coude : Calculée comme l'angle non signé entre les vecteurs du bras supérieur et de l'avant-bras.
Tangage (Pitch) et Roulis (Roll) de l'épaule : Dérivés à l'aide de fonctions atan2 sur les composantes de vecteurs décomposés pour résoudre les quadrants et distinguer les configurations de bras vers l'avant ou vers l'arrière. Le lacet (yaw) de l'épaule est fixé en position neutre.

Cartographie des angles vers NICO :
Les angles analytiques reconstruits ne sont pas directement compatibles avec les systèmes de coordonnées des moteurs du robot. Le système effectue une cartographie linéaire pour chaque articulation, plafonnant l'angle reconstruit à un intervalle analytique prédéterminé $[\theta_{min}, \theta_{max}]$ et le mappant aux positions de moteur correspondantes $m(\theta_{min})$ et $m(\theta_{max})$ . Cela gère à la fois les orientations de moteur identiques ou inversées.

Contributions clés

Pipeline analytique uniquement RGB : Ce travail étend les méthodes basées sur la géométrie analytique à un ensemble plus large de gestes de bras en utilisant uniquement une entrée RGB monoculaire, éliminant ainsi le besoin de capteurs de profondeur ou de systèmes de capture de mouvement.
Adaptation cinématique : Les formulations géométriques sont spécifiquement adaptées à la cinématique du robot NICO, qui diffère d'autres plateformes (ex: NAO) car elle ne possède pas de joint de roulis du coude mais nécessite une gestion spécifique de la rotation de l'avant-bras et de la flexion du poignet.
Intégration des points de repère de la main : Le système intègre explicitement les points de repère de la main de MediaPipe pour améliorer l'estimation de la flexion du poignet et de la rotation de l'avant-bras, répondant ainsi aux limitations rencontrées lors de l'utilisation des seuls points de repère de pose.
Aucun besoin d'entraînement : Contrairement aux méthodes basées sur l'apprentissage, l'approche proposée ne nécessite aucune étape d'entraînement ni de jeux de données annotés.

Résultats expérimentaux
Le système a été évalué avec six participants de tailles variées effectuant 11 poses de membres supérieurs symétriques sous trois angles de vue différents ( $0^\circ, 30^\circ, 45^\circ$ ).

Précision : La méthode a atteint une précision de reconstruction modérée pour le tangage de l'épaule, la flexion du coude et la flexion du poignet, avec des erreurs absolues moyennes (MAE) d'environ $10^\circ$ , $20^\circ$ et $23^\circ$ , respectivement. Le roulis de l'épaule a montré une précision moindre ( $34^\circ$ MAE).
Limitation de la rotation de l'avant-bras : La rotation de l'avant-bras est restée la principale source d'erreur. L'utilisation des seuls points de repère de pose a entraîné une MAE de $67,1^\circ$ . L'incorporation des points de repère dédiés à la main a réduit cette valeur à $50,1^\circ$ (une amélioration d'environ $25\%$ ), bien que l'erreur reste nettement plus élevée que pour les autres articulations.
Dépendance du poignet : La précision de la flexion du poignet était fortement dépendante de l'orientation de l'avant-bras ; les erreurs augmentaient notablement pour les flexions/extensions extrêmes du poignet où l'estimation de la rotation de l'avant-bras était médiocre.
Facteurs de robustesse : La précision de la reconstruction n'a montré aucune corrélation claire avec la taille des participants. Les variations de point de vue ( $0^\circ$ – $45^\circ$ ) ont eu un effet relativement faible par rapport à la variabilité introduite par les gestes spécifiques et l'auto-occlusion.
Performance : Le pipeline a démontré une grande efficacité de calcul, avec une moyenne de 0,0017 seconde par image (environ 590 FPS), avec un cas limite de 0,0093 seconde (environ 108 FPS).

Signification et affirmations
Les auteurs positionnent ce travail comme une « preuve de concept » pour une imitation de geste analytique basée sur la RGB monoculaire. Le papier affirme que l'approche produit avec succès des mouvements d'imitation significatifs sans la surcharge de calcul du deep learning ou le coût de matériel spécialisé. Cependant, les auteurs maintiennent une position modeste quant à la robustesse actuelle du système. Ils reconnaissent que si la méthode fonctionne pour plusieurs articulations du bras dans des conditions contrôlées, l'estimation de la rotation de l'avant-bras reste un défi majeur. Le document conclut que le système n'est pas encore une solution robuste pour l'imitation de gestes généralisée et nécessite une validation supplémentaire sur des ensembles de données plus larges et plus diversifiés, ainsi qu'une amélioration de l'estimation de la rotation de l'avant-bras avant un déploiement plus large.

Articles similaires