UGotMe: An Embodied System for Affective Human-Robot Interaction

Resumen Técnico: UGotMe

1. Problema Identificado
El artículo aborda los desafíos de "encarnación" (embodiment) al intentar implementar modelos de reconocimiento de emociones multimodales basados en visión en robots humanoides para interacciones reales. Se identifican dos obstáculos principales:

• Ruido Ambiental en Escenarios Multi-participante: En conversaciones grupales, la visión del robot a menudo captura objetos distractores (muebles, vehículos) y, más críticamente, hablantes inactivos o personas irrelevantes con expresiones faciales diferentes a las del hablante activo. Esto confunde a los modelos, impidiendo que se centren en las señales emocionales del interlocutor correcto.
• Requisitos de Tiempo Real: La latencia inherente a la transmisión de datos, el procesamiento de modelos profundos y las limitaciones de hardware dificulta que el robot responda en tiempo real, una característica esencial para una interacción fluida.

2. Metodología: El Sistema UGotMe
Los autores proponen UGotMe, un sistema de interacción afectiva diseñado específicamente para conversaciones multi-participante. El sistema se divide en tres fases: percepción multimodal a bordo del robot, modelado de visión-lenguaje-emoción en el borde (edge), y ejecución de expresiones faciales robóticas.

• Estrategias de Eliminación de Ruido (Denoising):

  • Extracción de Rostro: Para eliminar objetos distractores, el sistema extrae las imágenes de los rostros de las personas desde las imágenes RGB crudas capturadas por la cámara del robot.
  • Extracción de Rostro Activo Personalizada: Para filtrar a los hablantes inactivos, el robot ajusta su postura de cabeza y su cámara (ojo izquierdo) basándose en la dirección de llegada del sonido. Esto centra al hablante activo en el eje X de la imagen. Solo se procesa el rostro centrado.
  • Normalización Neutra Específica por Persona: Se aplica una normalización restando la imagen de "rostro neutro" de cada individuo (o el primer cuadro de la secuencia en despliegues reales) para manejar las diferencias individuales significativas.

• Modelo VL2E (Vision-Language to Emotion):

  • Es el núcleo de reconocimiento de emociones, diseñado para ser compatible con las estrategias de denoising.
  • Entrada: Recibe secuencias de rostros (visión) y transcripciones de texto (lenguaje).
  • Arquitectura: Utiliza un codificador visual (InceptionResnetv1) y un codificador de texto (SimCSE).
  • Contexto: Modela el contexto de la conversación considerando las últimas $k$ intervenciones y utiliza un mecanismo de prompt para diferenciar el turno actual del contexto.
  • Fusión: Emplea transformadores de auto-atención para interacciones intra-modales y transformadores cruzados (cross-modal) para fusionar características visuales y textuales.

• Transmisión de Datos Eficiente:

  • Para cumplir con los requisitos de tiempo real, las imágenes capturadas se transmiten en bytes desde el robot a un servidor local de forma continua en un hilo separado, bufferizando los últimos $T$ cuadros (640 cuadros, 25 FPS) para un consumo inmediato por parte del modelo.

• Ejecución:

  • El robot (Ameca) mapea la emoción reconocida directamente a una expresión facial predefinida (sistema de "empatía paralela", donde el robot refleja la misma emoción que el humano). Las emociones soportadas son: neutral, sorpresa, miedo, tristeza, alegría, asco y enojo.

3. Contribuciones Clave

1. Sistema UGotMe: Introducción de un sistema completo de interacción humano-robot afectivo que resuelve problemas de ruido ambiental y latencia en escenarios reales.
2. Modelo VL2E: Propuesta de un nuevo modelo multimodal que supera a los baselines existentes en el conjunto de datos MELD y está optimizado para integrarse en sistemas físicos con estrategias de filtrado de ruido.
3. Despliegue en el Mundo Real: Validación práctica del sistema en un robot humanoide físico (Ameca), demostrando capacidades de inferencia en tiempo real y utilidad en interacciones reales.

4. Resultados

• Rendimiento en Dataset (MELD): El modelo VL2E superó a todos los modelos de referencia (baselines) en la puntuación F1 ponderada, alcanzando un 67.29%. Esto representa mejoras significativas frente a modelos como DialogueRNN (+10.26%) y FacialMMT (+0.71%), a pesar de que muchos baselines utilizan tres modalidades (texto, visión, audio) mientras que VL2E se centra en texto y visión optimizada.
• Estudios de Ablación: Se demostró que la eliminación de la extracción de rostros o la normalización neutra reduce el rendimiento, confirmando la importancia de estas estrategias de denoising.
• Despliegue en el Mundo Real:
  • Precisión: UGotMe (con VL2E) logró una precisión de respuesta emocional del 77.29%, superando a la versión con el modelo TelME (50.63%) y a una versión sin extracción de rostros activa (59.08%).
  • Experiencia de Usuario: La puntuación de experiencia de usuario fue de 7.89/10, significativamente mayor que las comparaciones.
  • Caso de Éxito: Las pruebas mostraron que sin las estrategias de denoising, el robot fallaba al confundirse con las expresiones de hablantes inactivos, mientras que UGotMe identificaba correctamente la emoción del hablante activo.

5. Significado e Impacto
Este trabajo es fundamental porque cierra la brecha entre los modelos teóricos de reconocimiento de emociones y su implementación práctica en robots humanoides. Al abordar específicamente el problema del ruido visual en conversaciones grupales y la latencia de transmisión, UGotMe permite que los robots interactúen de manera más natural y fluida con humanos en entornos dinámicos. La demostración en el robot Ameca valida la viabilidad de sistemas de IA afectiva "encarnados" que pueden entender y responder a las emociones humanas en tiempo real, un paso crucial para aplicaciones en servicios, salud y asistencia personal.

Limitaciones Futuras:
Los autores reconocen que el sistema actual solo utiliza empatía paralela (reflejar la emoción) y no incorpora señales acústicas (tono de voz) en el modelo, áreas que planean explorar en trabajos futuros para mejorar la empatía reactiva y la comprensión emocional.