Dance2Hesitate: A Multi-Modal Dataset of Dancer-Taught Hesitancy for Understandable Robot Motion

Este trabajo presenta "Dance2Hesitate", un conjunto de datos multimodal y de código abierto que captura demostraciones de movimientos hesitantes enseñados por bailarines y robots para mejorar la comprensión y seguridad en la colaboración humano-robot.

Lo esencial

Imagina que estás jugando a las "torres de Jenga" con un robot. De repente, el robot se acerca a la torre, pero en lugar de moverse con seguridad, empieza a dudar. Se detiene un poco, se mueve lento, como si pensara: "¿Debería hacerlo? ¿Se caerá todo?".

Esa duda, ese momento de "¿y si...?", es lo que los investigadores llaman hesitación. Y en este nuevo estudio, llamado "Dance2Hesitate" (que podríamos traducir como "Baila2Dudar"), un equipo de científicos ha creado un libro de instrucciones gigante para enseñar a los robots a dudar de una manera que los humanos entiendan perfectamente.

Aquí te explico cómo lo hicieron, usando analogías sencillas:

1. El Problema: Robots que hablan "robotés"

Imagina que un robot con forma humana (un androide) te dice "tengo miedo" moviendo sus manos. Es fácil de entender. Pero, ¿qué pasa si el robot es solo un brazo mecánico o una base móvil? Si ese brazo se detiene, ¿significa que está dudando, que se ha averiado o que simplemente está descansando?

Es como si dos personas hablaran idiomas diferentes. El robot intenta expresar inseguridad, pero el humano no sabe si debe tener miedo o si el robot se ha roto. Los robots actuales a menudo son demasiado precisos y rápidos, lo que los hace parecer fríos o incluso peligrosos cuando no lo son.

2. La Solución: ¡Invita a bailarines!

En lugar de programar al robot con fórmulas matemáticas aburridas, los investigadores hicieron algo genial: pidieron ayuda a bailarines.

¿Por qué bailarines? Porque los bailarines son expertos en contar historias con sus cuerpos. Saben exactamente cómo moverse para transmitir miedo, duda, alegría o tensión sin decir una sola palabra.

• La Metáfora: Imagina que quieres enseñar a un robot a sentirse "nervioso". En lugar de decirle "móvete al 50% de velocidad", los investigadores le dijeron a un bailarín: "Mueve tu brazo como si estuvieras a punto de tocar una estufa caliente, pero no te quemes". El bailarín lo hizo, y luego usaron esa "danza de la duda" para enseñarle al robot.

3. El Experimento: Dos Escenarios

El equipo creó un "cine" de datos con dos tipos de actores:

• El Robot (El Brazo Mecánico): Usaron un brazo robótico llamado Franka Emika Panda. Los bailarines tomaron el brazo del robot con sus propias manos (como si fuera una muñeca de trapo) y lo guiaron suavemente hacia una torre de Jenga. Lo hicieron tres veces:
  1. Duda leve: Como si pensara un segundo.
  2. Duda importante: Como si estuviera muy inseguro.
  3. Duda extrema: Como si estuviera a punto de soltarse o temblar.
• Los Humanos (Los Bailarines): Al mismo tiempo, los bailarines hicieron el mismo movimiento con su propio brazo (y a veces con todo su cuerpo) frente a cámaras especiales.

4. El Tesoro: El Dataset "Dance2Hesitate"

Todo esto se guardó en un archivo digital gigante y gratuito (un dataset) que cualquiera puede descargar. Es como una "biblioteca de dudas" que contiene:

• Videos: De los bailarines moviéndose.
• Datos del Robot: Los movimientos exactos que el robot hizo cuando los bailarines lo guiaron.
• Puntos 3D: Coordenadas matemáticas que describen exactamente dónde estaba cada parte del cuerpo en cada milisegundo.

5. ¿Para qué sirve esto? (La Magia)

Con este "diccionario de dudas", los científicos pueden hacer cosas increíbles en el futuro:

• Robots más seguros: Si un robot va a mover una herramienta pesada cerca de un humano, puede mostrar una "duda leve" en su movimiento. El humano verá eso y dirá: "Ah, el robot no está seguro, mejor me aparto un poco". Esto evita accidentes.
• Robots más amigables: Un robot que sabe dudar parece más inteligente y humano. No parece una máquina tonta que choca contra todo.
• Traducción de movimientos: Los investigadores pueden usar estos datos para enseñar a robots de diferentes formas (un brazo, un robot humanoide, un dron) a expresar la misma emoción de "duda" de la misma manera, aunque se vean muy diferentes.

En resumen

Este paper es como un curso de teatro para robots. Los investigadores tomaron a expertos en el lenguaje corporal (bailarines), les enseñaron a un robot a dudar, grabaron todo y lo compartieron con el mundo. El objetivo es que, en el futuro, cuando veas a un robot acercarse a ti, no tengas que adivinar si va a chocar contigo o si simplemente está pensando. Su movimiento te lo dirá claramente, como si te estuviera diciendo: "Oye, voy a tener cuidado".

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Dance2Hesitate: A Multi-Modal Dataset of Dancer-Taught Hesitancy for Understandable Robot Motion", presentado en la conferencia D-TUR '26.

1. Problema y Motivación

En la colaboración humano-robot (HRI), la capacidad del robot para expresar hesitación es un factor crítico que influye en la coordinación humana, la asignación de atención y los juicios de seguridad. Sin embargo, diseñar movimientos de robot que transmitan hesitación de manera generalizable es extremadamente difícil debido a dos dependencias principales:

• Dependencia de la Encarnación (Embodiment): Los humanos interpretan las señales no verbales de robots humanoides de forma natural, pero estas señales se vuelven ambiguas o malinterpretadas en robots no humanoides (como brazos manipuladores) debido a sus diferentes grados de libertad y restricciones cinemáticas.
• Dependencia del Contexto: La percepción de la hesitación varía según la tarea, el entorno y la dinámica de interacción. Lo que en un contexto parece precaución, en otro puede interpretarse como una falla o ineficiencia.

La falta de datos estandarizados que aíslen la "intención expresiva" de la hesitación mientras se mantiene constante el objetivo funcional dificulta el desarrollo de modelos robustos para robots.

2. Metodología

Para abordar estos desafíos, los autores crearon un conjunto de datos multimodal generado por bailarines, diseñando un experimento controlado que mantiene el objetivo funcional fijo (llegar a una torre de Jenga desde una configuración inicial canónica) mientras varía únicamente el nivel de hesitación.

Diseño Experimental

• Participantes: Se reclutaron 14 bailarines (2 hombres, 12 mujeres) con experiencia en Hip-Hop, Ballet, Contemporáneo y Jazz.
• Niveles de Hesitación: Se definieron tres niveles graduados:
  1. Ligera (Slight)
  2. Significativa (Significant)
  3. Extrema (Extreme)
• Modalidades de Captura:
  1. Enseñanza Cinestésica en Robot: Los bailarines guiaron físicamente un brazo robótico Franka Emika Panda (en modo de compensación de gravedad) desde una posición fija hasta la torre de Jenga. Se registraron los estados del robot (ángulos, velocidades, pares, posición y orientación del efector final).
  2. Captura de Movimiento Humano (RGB-D): Se utilizaron dos cámaras Intel RealSense para grabar a los bailarines realizando el mismo movimiento de alcance.
     • Condición de Brazo Superior: Grabada en los tres niveles de hesitación.
     • Condición de Cuerpo Completo: Grabada específicamente para el nivel de hesitación extrema para capturar señales posturales y de desplazamiento de peso.

Procesamiento de Datos

• Keypoints 2D: Se extrajeron usando el modelo OpenPose (BODY_25) con umbrales de confianza para filtrar detecciones erróneas.
• Keypoints 3D: Se calcularon mediante la alineación de frames de profundidad con las imágenes RGB y la retroproyección utilizando los parámetros intrínsecos de la cámara.
• Sincronización: Todos los datos (video, profundidad, keypoints, estados del robot) están sincronizados temporalmente.

3. Contribuciones Clave

El artículo presenta dos contribuciones principales:

1. Dataset Multi-Modal "Dance2Hesitate":

   • Un conjunto de datos abierto que incluye 66 trayectorias de enseñanza cinestésica en el robot Franka Panda.
   • 84 trayectorias de brazo superior humano (RGB-D) en los tres niveles de hesitación.
   • 70 trayectorias de cuerpo completo humano (RGB-D) para el nivel de hesitación extrema.
   • Los datos cubren la variabilidad entre diferentes bailarines, permitiendo el análisis de patrones cinemáticos consistentes.

2. Infraestructura de Benchmarking Reproducible:

   • Liberación unificada de datos en formatos estandarizados: archivos ROS bags, CSV (para series temporales de ángulos, velocidades, torques, etc.), NPZ (solo ángulos de articulaciones), videos MP4 y archivos de profundidad PNG de 16 bits.
   • Documentación detallada para facilitar la comparación entre modalidades robóticas y humanas.

4. Resultados y Datos Generados

El conjunto de datos resultante es robusto y está equilibrado:

• Cobertura de Niveles: Las trayectorias están distribuidas equitativamente entre los tres niveles de hesitación (aproximadamente un tercio para cada uno).
• Calidad de Datos: Se garantiza la consistencia mediante el uso de bailarines expertos, lo que reduce la variabilidad no deseada y permite una separación clara entre los niveles de hesitación.
• Accesibilidad: Los datos están disponibles públicamente en el repositorio del proyecto, facilitando su uso inmediato para investigación en aprendizaje automático y planificación de movimientos.

5. Significado e Impacto Futuro

Este trabajo es significativo por varias razones:

• Puente entre Humano y Robot: Proporciona la primera base de datos controlada que permite estudiar cómo la hesitación se manifiesta tanto en cuerpos humanos como en manipuladores robóticos bajo el mismo contexto de tarea.
• Avance en Expresividad Funcional: Permite a los investigadores ir más allá de la expresión de emociones (afecto) hacia la expresividad funcional, donde el robot comunica su incertidumbre y limitaciones operativas.
• Aplicaciones Futuras:
  • Robótica: Entrenamiento de controladores conscientes de la hesitación, reconocimiento supervisado de estados internos del robot y generación de movimientos mediante modelos generativos (ej. difusión) que interpolen niveles de hesitación.
  • HRI: Análisis de qué características cinemáticas correlacionan mejor con la percepción humana de incertidumbre.
  • Modelado Cruzado: Investigación de embeddings latentes compartidos que alineen las trayectorias humanas y robóticas sin necesidad de un redireccionamiento explícito.

En resumen, Dance2Hesitate establece un estándar reproducible para investigar y modelar la comunicación no verbal de incertidumbre en robots, mejorando la transparencia y la seguridad en la colaboración humano-robot.