💻 computer science

Imitation of Arm Gestures by the Semi-Humanoid Robot NICO

Este artículo presenta un sistema que permite al robot semihumano NICO imitar gestos de brazos humanos utilizando entrada RGB monocular, estimación de pose 3D basada en MediaPipe y geometría analítica para calcular y mapear los ángulos de las articulaciones, demostrando un desempeño exitoso en gestos simples mientras reconoce limitaciones en poses complejas y movimientos de la muñeca.

Autores originales: Anastasiya Ihnatovich, Igor Farkaš

Publicado 2026-07-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Anastasiya Ihnatovich, Igor Farkaš

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde los robots no solo siguen una lista rígida de instrucciones, sino que realmente pueden "aprender" al observarnos, tal como un niño pequeño imita a sus padres. Este es el corazón de la Interacción Humano-Robot (HRI), un campo de la ciencia dedicado a hacer que las máquinas se sientan menos como herramientas y más como compañeras. Para que un robot pueda copiar realmente el movimiento de un humano, necesita dos superpoderes: Percepción (la capacidad de "ver" y comprender un cuerpo humano en una foto 2D) y Cinemática (las matemáticas que determinan cómo doblar sus propios eslabones metálicos para coincidir con esa pose humana). Mientras algunos científicos intentan enseñar a los robots alimentándolos con millones de videos con la esperanza de que un complejo cerebro informático lo descifre, otros prefieren un enfoque geométrico más directo, utilizando matemáticas simples para medir ángulos y distancias. ¿Por qué es esto importante? Porque si un robot puede copiar naturalmente nuestros gestos, puede interactar con nosotros en entornos sociales, ayudarnos en tareas o incluso enseñarnos, sin necesidad de sensores costosos y voluminosos o años de entrenamiento.

En este estudio, los investigadores Anastasiya Ihnatovich e Igor Farkaš intentaron enseñar a un robot semi-humanoide llamado NICO a copiar gestos de brazos humanos usando nada más que una cámara estándar y algo de geometría ingeniosa. Piensa en NICO como un robot del tamaño de un niño con cabeza y dos brazos, diseñado para pasar tiempo con la gente. El equipo no utilizó cámaras de profundidad 3D sofisticadas ni trajes de captura de movimiento; en su lugar, confiaron en una herramienta de software gratuita llamada MediaPipe, que actúa como un rastreador de esqueleto digital. Cuando le muestras a MediaPipe una foto normal, detecta instantáneamente 33 puntos clave en un cuerpo humano (como hombros, codos y muñecas) y estima dónde se encuentran en el espacio 3D.

El método de los investigadores funciona como un traductor. Primero, MediaPipe "ve" al humano y captura las coordenadas de sus articulaciones del brazo. Luego, el equipo utiliza un conjunto de fórmulas geométricas —básicamente, una receta para calcular ángulos basados en la distancia entre puntos— para determinar exactamente cómo está doblado el codo del humano o cómo está girada la muñeca. Finalmente, toman esos ángulos humanos y los "mapean" matemáticamente a los motores específicos de NICO, diciéndole al robot cómo mover sus propias articulaciones para coincidir con el humano. Es como tomar una pose humana y pasarla por una tabla de conversión para obtener el manual de instrucciones del robot.

El equipo probó este sistema con seis voluntarios de diferentes estaturas, pidiéndoles que mantuvieran 11 poses de brazos diferentes mientras estaban de pie en varios ángulos (de frente, o ligeramente girados hacia un lado). Los resultados fueron una mezcla de éxito y limitaciones honestas. El robot fue bastante bueno copiando los movimientos grandes: pudo estimar el pitch del hombro (levantar el brazo arriba y abajo), el doblez del codo y el doblez de la muñeca con un nivel de precisión moderado, fallando el objetivo por un promedio de aproximadamente 10°, 20° y 23° respectivamente. Sin embargo, el robot tuvo más dificultades con el roll del hombro (girar el brazo en el hombro) y la rotación del antebrazo (girar la mano como si se girara un pomo de una puerta). La rotación del antebrazo fue la parte más complicada; incluso con la ayuda de los datos de seguimiento de la mano, la suposición del robot tuvo un error promedio de 50.1°, lo cual es un bamboleo significativo.

Curiosamente, los investigadores descubrieron que el rendimiento del robot no dependía realmente de la altura del humano ni de cómo giraban su cuerpo (dentro de un rango de 45°). En cambio, el factor principal fue qué estaba haciendo el humano. Si la pose implicaba un giro complejo del antebrazo o si la mano quedaba oculta detrás del brazo, el robot se confundía. El sistema también fue increíblemente rápido, procesando cada imagen en aproximadamente 0.0017 segundos, lo cual es lo suficientemente rápido como para seguir el ritmo de un movimiento en tiempo real.

En última instancia, el artículo sugiere que este enfoque de "solo geometría" es una forma viable y eficiente de lograr que un robot imite gestos humanos sin necesidad de hardware costoso o bases de datos de entrenamiento masivas. Demuestra que se puede lograr que un robot mueva sus brazos de una manera significativa usando solo una cámara regular. Sin embargo, los autores advierten cuidadosamente que esta aún no es una solución perfecta. El sistema todavía tropieza con movimientos complejos de muñeca y antebrazo, y necesita más pruebas con una mayor variedad de personas y poses antes de que pueda ser considerado una herramienta robusta para el uso cotidiano. Por ahora, es una prueba de concepto prometedora que muestra que un robot puede "ver" y "copiar"nos, incluso si a veces entiende un poco mal el giro de la muñeca.

Resumen Técnico: Imitación de Gestos de Brazos por el Robot Semi-Humanoide NICO

Planteamiento del Problema
La Interacción Humano-Robot (HRI) fluida requiere que los robots posean capacidades perceptivas y motoras, específicamente la capacidad de imitar gestos humanos. Aunque los enfoques basados en el aprendizaje ofrecen flexibilidad, a menudo demandan grandes conjuntos de datos, un entrenamiento extensivo y recursos computacionales significativos, lo que limita su aplicabilidad en tiempo real. Por el contrario, los enfoques analíticos proporcionan eficiencia e interpretabilidad, pero suelen depender de hardware de detección especializado (por ejemplo, cámaras de profundidad) o están restringidos a conjuntos de gestos simplificados. El desafío abordado en este trabajo es lograr una imitación significativa de los gestos de los brazos humanos utilizando únicamente una entrada RGB monocular, sin depender de sensores costosos o modelos de aprendizaje computacionalmente intensivos, mientras se adapta a la estructura cinemática específica de un robot semi-humanoide.

Metodología
El sistema propuesto es un flujo de trabajo diseñado para el robot NICO (Neuro-Inspired COmpanion), un compañero semi-humanoide de tamaño infantil con seis grados de libertad (DoF) en cada brazo. El marco opera a través de tres etapas primarias:

Extracción de Coordenadas 3D:
El sistema utiliza el framework MediaPipe para extraer hitos (landmarks) 2D y pseudo-3D a partir de una única entrada de cámara RGB. Emplea el modelo pose_landmarker_heavy para la pose corporal (33 hitos) y un modelo de mano dedicado (21 hitos). Para mejorar la precisión, el sistema prioriza los hitos del modelo de mano para la muñeca y la palma (reemplazando los hitos de pose correspondientes) y traslada el sistema de coordenadas de la mano para alinearlo con el origen de la muñeca del modelo de pose. Esto proporciona coordenadas 3D ( $x, y, z$ ) para las articulaciones del brazo y los puntos clave de la mano relevantes.
Reconstrucción de Ángulos de Articulación (Geometría Analítica):
Utilizando las coordenadas 3D extraídas, el sistema calcula los ángulos de las articulaciones mediante relaciones geométricas derivadas, asumiendo que el torso del sujeto es aproximadamente paralelo al plano de la cámara. Se aplica una compensación de guiño (yaw) del torso rotando las coordenadas basándose en la orientación de la línea de los hombros. La reconstrucción cubre:

Flexión de la Muñeca: Calculada como el ángulo entre el vector del antebrazo y el vector normal del plano de la palma.
Rotación del Antebrazo: Determinada por el ángulo con signo entre una base de rotación de referencia (derivada del vector del brazo superior) y el vector de orientación de la palma proyectado. Se aplica una lógica de respaldo especial para configuraciones de brazo recto.
Flexión del Codo: Calculada como el ángulo sin signo entre los vectores del brazo superior y el antebrazo.
Pitch y Roll del Hombro: Derivados mediante funciones atan2 sobre componentes de vectores descompuestos para resolver cuadrantes y distinguir entre configuraciones de brazo frontal y posterior. El guiño (yaw) del hombro se mantiene fijo en una posición neutral.

Mapeo de Ángulos a NICO:
Los ángulos analíticos reconstruidos no son directamente compatibles con los sistemas de coordenadas de los motores de NICO. El sistema realiza un mapeo lineal para cada articulación, limitando el ángulo reconstruido a un intervalo analítico predeterminado $[\theta_{min}, \theta_{max}]$ y mapeándolo a las posiciones de los motores correspondientes $m(\theta_{min})$ y $m(\theta_{max})$ . Esto gestiona tanto el emparejamiento como las orientaciones de motor invertidas.

Contribuciones Clave

Flujo de Trabajo Analítico Basado Solo en RGB: El trabajo extiende los métodos basados en geometría analítica a un conjunto más amplio de gestos de brazos utilizando solo entrada RGB monocular, eliminando la necesidad de sensores de profundidad o sistemas de captura de movimiento.
Adaptación Cinemática: Las formulaciones geométricas están adaptadas específicamente a la cinemática del robot NICO, que difiere de otras plataformas (por ejemplo, NAO) al carecer de una articulación de rotación del antebrazo (elbow roll) pero requerir un manejo específico de la rotación del antebrazo y la flexión de la muñeca.
Integración de Hitos de la Mano: El sistema integra explícitamente los hitos de la mano de MediaPipe para mejorar la estimación de la flexión de la muñeca y la rotación del antebrazo, abordando las limitaciones encontradas al usar solo los hitos de la pose.
Sin Requisito de Entrenamiento: A diferencia de los métodos basados en aprendizaje, el enfoque propuesto no requiere una etapa de entrenamiento ni conjuntos de datos anotados.

Resultados Experimentales
El sistema fue evaluado con seis participantes de diversas estaturas realizando 11 poses de la parte superior del cuerpo simétricas en tres ángulos de visión diferentes ( $0^\circ, 30^\circ, 45^\circ$ ).

Precisión: El método logró una precisión de reconstrucción moderada para el pitch del hombro, la flexión del codo y la flexión de la muñeca, con Errores Absolutos Medios (MAE) de aproximadamente $10^\circ$ , $20^\circ$ y $23^\circ$ , respectivamente. El roll del hombro mostró una precisión menor ( $34^\circ$ MAE).
Limitación de la Rotación del Antebrazo: La rotación del antebrazo siguió siendo la principal fuente de error. El uso de solo los hitos de la pose resultó en un MAE de $67.1^\circ$ . La incorporación de hitos de la mano dedicados redujo esto a $50.1^\circ$ (una mejora de $\approx 25\%$ ), aunque el error sigue siendo significativamente mayor que para otras articulaciones.
Dependencia de la Muñeca: La precisión de la flexión de la muñeca dependió altamente de la orientación del antebrazo; los errores aumentaron notablemente en casos de flexión/extensión extrema de la muñeca donde la estimación de la rotación del antebrazo fue deficiente.
Factores de Robustez: La precisión de la reconstrucción no mostró una correlación clara con la altura del participante. Las variaciones de punto de vista ( $0^\circ$ – $45^\circ$ ) tuvieron un efecto relativamente pequeño en comparación con la variabilidad introducida por gestos específicos y la oclusión propia.
Desempeño: El flujo de trabajo demostró una alta eficiencia computacional, promediando 0.0017 segundos por cuadro (aprox. 590 FPS), con un peor caso de 0.0093 segundos (aprox. 108 FPS).

Significancia y Reivindicaciones
Los autores posicionan este trabajo como una "prueba de concepto" para la imitación de gestos analítica basada en RGB monocular. El artículo afirma que el enfoque logra producir movimientos imitativos significativos sin la carga computacional del aprendizaje profundo o el costo de hardware especializado. Sin embargo, los autores mantienen una postura modesta respecto a la robustez actual del sistema. Reconocen que, si bien el método funciona para varios de los brazos bajo condiciones controladas, la estimación de la rotación del antebrazo sigue siendo un desafío significativo. El documento concluye que el sistema aún no es una solución robusta para la imitación de gestos generalizada y requiere una mayor validación en conjuntos de datos más grandes y diversos, así como mejoras en la estimación de la rotación del antebrazo antes de un despliegue más amplio.

Más como este