RFM-HRI : A Multimodal Dataset of Medical Robot Failure, User Reaction and Recovery Preferences for Item Retrieval Tasks

Este trabajo presenta el conjunto de datos multimodal RFM-HRI, que registra las reacciones verbales y no verbales de los usuarios ante fallos en robots de asistencia médica durante tareas de recuperación de objetos, analizando cómo estos incidentes afectan la confianza y las preferencias de recuperación para mejorar la seguridad en entornos críticos.

Lo esencial

Imagina que tienes un robot camarero en un hospital muy ocupado. Su trabajo es simple: cuando un médico le pide un medicamento, el robot debe abrir el cajón correcto, encender una luz para señalarlo y decirte dónde está. Todo parece perfecto, hasta que... ¡bum! El robot se equivoca.

Aquí es donde entra este estudio. Los investigadores de la Universidad de Cornell crearon un gran archivo de video y datos (llamado RFM-HRI) para entender qué pasa en la mente y en el cuerpo de las personas cuando el robot falla.

🤖 La Historia: El Robot "Torpe" en el Hospital

Para hacer este estudio, los científicos usaron un truco de magia llamado "El Mago de Oz". Imagina que ves a un robot moverse solo, pero en realidad, hay un humano escondido detrás de una cortina controlando cada movimiento del robot con un mando a distancia.

Ellos hicieron que este robot "torpe" cometiera 4 tipos de errores específicos mientras ayudaba a buscar cosas en un carrito de emergencias:

1. Hablar mal (Speech): El robot dice: "Abre el cajón", pero no dice cuál cajón. ¡Como si te pidiera que adivines!
2. Tardar mucho (Timing): El robot tarda 3 segundos en responder. En una emergencia, eso se siente como una eternidad.
3. Buscar mal (Search): El robot enciende la luz en el cajón equivocado y te dice que el medicamento está ahí. ¡Es un error de dirección!
4. No entender (Comprehension): El robot dice: "No te entendí, repítelo", aunque lo que dijiste fue claro.

😲 ¿Qué sintieron las personas? (La Reacción Humana)

Los investigadores grabaron a 41 personas (doctores y gente normal) mientras interactuaban con el robot. Usaron cámaras para ver sus caras y grabaron sus voces.

El resultado fue muy claro:

• Cuando el robot fallaba: Las personas se sentían confundidas (como cuando intentas abrir una puerta que está cerrada), molestas y frustradas. Su sensación de control bajaba drásticamente. Era como si el robot les hubiera quitado las llaves del coche.
• Cuando el robot tenía éxito: Las personas sentían alivio y confianza. ¡Como cuando encuentras las llaves justo donde las dejaste!

Una analogía divertida:
Imagina que estás cocinando con un amigo que te ayuda.

• Si el robot falla, es como si tu amigo te pasara la sal cuando pediste pimienta, y luego te dijera: "¿Qué dijiste?". Te sentirías confundido al principio, pero si pasa mucho tiempo, te sentirías enfadado porque estás quemando la comida.
• El estudio descubrió que cuanto más veces fallaba el robot, más frustrada se volvía la gente, incluso si al principio solo estaban confundidos.

🛠️ ¿Qué querían las personas que hiciera el robot? (La Solución)

Cuando el robot se equivocaba, los investigadores preguntaron: "¿Qué te gustaría que hiciera el robot para arreglarlo?".

Aquí vino la sorpresa más grande:

• El 64% de las personas quería que el robot hablara. Querían que dijera: "¡Lo siento! Me equivoqué, el medicamento está en el cajón 4".
• A la gente no le gustaban las soluciones que solo usaban luces o gestos sin palabras. Querían transparencia verbal.
• Querían que el robot admitiera el error y diera una nueva instrucción clara, como un buen compañero de equipo que dice: "Ups, me equivoqué, vamos a intentarlo de nuevo así".

💡 ¿Por qué es importante esto?

Este estudio es como un manual de instrucciones para el futuro de los robots en hospitales.

1. Los robots van a fallar: No importa cuán inteligentes sean, a veces se equivocarán.
2. Sabemos cómo reaccionamos: Ahora sabemos que cuando un robot falla en una situación de estrés (como un hospital), nos sentimos mal y perdemos el control.
3. Sabemos cómo arreglarlo: Para recuperar la confianza, el robot no debe solo "arreglar" el error en silencio. Debe hablar, pedir disculpas y explicar qué pasó.

En resumen:
Este papel nos dice que para que los robots sean buenos compañeros en el hospital, no solo deben ser inteligentes, sino que también deben saber pedir perdón con palabras cuando se equivocan. Si un robot sabe admitir sus errores con claridad, las personas volverán a confiar en él, incluso después de un fallo. ¡Es la diferencia entre un robot que te hace sentir estúpido y uno que te ayuda a resolver el problema!

Resumen técnico

Resumen Técnico: RFM-HRI

1. Planteamiento del Problema

La integración de robots autónomos en entornos del mundo real, especialmente en el sector de la salud, conlleva la inevitabilidad de fallos de interacción. Aunque la investigación en Interacción Humano-Robot (HRI) ha explorado cómo los usuarios responden a los errores, existe una brecha significativa en la comprensión de estas respuestas (verbales y no verbales) en entornos de trabajo críticos y bajo estrés, como las salas de emergencia.

• El vacío actual: La mayoría de los conjuntos de datos existentes se centran en entornos sociales o conversacionales, o carecen de anotaciones emparejadas entre eventos de fallo y las preferencias de recuperación de los usuarios en tareas físicas y orientadas a la seguridad.
• El desafío específico: En la medicina de emergencia, el acceso rápido a suministros (a través de carros de paradas o crash carts) es vital. Los retrasos o errores en la localización de ítems pueden comprometer la atención al paciente. Se necesita entender cómo los fallos del robot afectan la confianza, el rendimiento y las reacciones emocionales en estos escenarios de alta presión.

2. Metodología

Los autores presentan RFM-HRI, un conjunto de datos multimodal diseñado para capturar interacciones diádicas entre humanos y robots en tareas de recuperación de ítems.

• Plataforma Robótica: Se utilizó un robot de carro de paradas semi-autónomo, equipado con tiras de LED direccionables (para pistas visuales), una interfaz de voz (TTS) y una cámara egocéntrica. El robot guía a los usuarios hacia los cajones correctos para recuperar suministros.
• Diseño del Estudio:
  • Participantes: 41 sujetos (29 en laboratorio, 12 en entorno hospitalario), incluyendo profesionales de la salud (enfermeras, residentes) y no expertos.
  • Protocolo: Estudio Wizard-of-Oz (WoZ). Un operador humano controlaba el robot en tiempo real mediante una interfaz GUI personalizada, manteniendo la ilusión de autonomía para el usuario.
  • Condiciones: Cada participante realizó 5 ensayos (orden aleatorio): 4 condiciones de fallo inducido y 1 condición de éxito (sin errores).
• Tipos de Fallos Inducidos (4 categorías):
  1. Fallo de Voz (Speech): Instrucciones incompletas o ambiguas (ej. "Abre el cajón" sin especificar cuál).
  2. Fallo de Tiempo (Timing): Retraso deliberado de 3 segundos antes de responder.
  3. Fallo de Búsqueda (Search): El robot indica el cajón incorrecto mediante voz y luces.
  4. Fallo de Comprensión (Comprehension): El robot indica que no entendió la solicitud y pide repetirla sin dar pistas.
• Recolección de Datos Multimodales:
  • Señales Visuales: Video egocéntrico procesado con MediaPipe para extrair unidades de acción facial (AU), pose de la cabeza, estimación de la mirada y puntos de referencia faciales (468 landmarks).
  • Audio/Texto: Transcripciones de voz (usando Whisper) de la interacción.
  • Autoinformes: Encuestas post-ensayo que miden reacciones emocionales (dominante y escala SAM: valencia, arousal, control) y preferencias de estrategias de recuperación.

3. Contribuciones Clave

El trabajo ofrece tres contribuciones principales a la comunidad HRI:

1. El Conjunto de Datos RFM-HRI: Un recurso público con 214 muestras de interacción, incluyendo señales sincrónicas de comportamiento facial, pose, transcripciones y preferencias de recuperación. Es el primer dataset centrado en la salud que combina fallos inducidos sistemáticamente con reacciones de usuarios expertos y no expertos.
2. Análisis de Respuestas a Fallos: Una caracterización empírica de cómo los usuarios reaccionan emocionalmente a diferentes tipos de fallos y qué estrategias de recuperación prefieren.
3. Escenario de Tarea Realista: Un escenario de recuperación de ítems en un carro de paradas que permite comparar sistemáticamente estrategias de recuperación en contextos críticos para la seguridad, más allá de las conversaciones puras.

4. Resultados Principales

El análisis de los datos reveló patrones significativos en las respuestas afectivas y conductuales:

• Impacto Emocional de los Fallos:
  • Los ensayos fallidos degradaron significativamente la valencia afectiva (haciéndola más negativa) y redujeron la percepción de control en comparación con los ensayos exitosos.
  • Emociones Dominantes en Fallos: Confusión (30.7%), Molestia (26.1%) y Frustración (19.1%).
  • Emociones Dominantes en Éxito: Sorpresa, Alivio y Confianza.
• Evolución Temporal:
  • La confusión disminuyó a lo largo de los ensayos repetidos, mientras que la frustración aumentó con el tiempo, sugiriendo que los usuarios pasan de la incertidumbre inicial a la irritación tras fallos repetidos.
• Preferencias de Recuperación:
  • Existe una fuerte preferencia por estrategias verbales (63.9% de las menciones), seguidas por estrategias no verbales (32.5%) y multimodales (3.6%).
  • Las estrategias más valoradas incluyen: pedir aclaración/repetición, reconocimiento del error ("lo siento, me equivoqué") y redirección específica (indicar explícitamente el cajón correcto).
  • Los usuarios prefieren la transparencia verbal y la guía accionable sobre simples disculpas o señales no verbales aisladas.
• Correlaciones: Se encontró una correlación negativa fuerte entre la valencia (desagradable) y la percepción de control, indicando que la pérdida de agencia en el robot genera malestar emocional.

5. Significado e Implicaciones

• Para el Diseño de Robots: Los resultados sugieren que los robots en entornos críticos no deben depender solo de señales físicas o silenciosas para recuperarse de errores. Deben priorizar la transparencia verbal y la guía explícita. Un robot debe admitir el error y ofrecer una solución clara y accionable.
• Para la Investigación en HRI: El dataset RFM-HRI permite el desarrollo y validación de algoritmos de detección de fallos basados en señales sociales (expresiones faciales, tono de voz) y sistemas de recuperación adaptativa que consideran el estado emocional del usuario.
• Seguridad Crítica: Al documentar cómo los fallos afectan la confianza y el rendimiento en tareas médicas, este trabajo proporciona una base para diseñar sistemas robóticos que minimicen el riesgo de errores humanos derivados de la frustración o la confusión causada por el robot.

En conclusión, RFM-HRI establece un nuevo estándar para la investigación de fallos en robótica médica, proporcionando tanto los datos necesarios como las primeras evidencias empíricas sobre cómo los humanos gestionan y esperan que los robots se recuperen de errores en situaciones de alta presión.