ERR@HRI 3.0 Challenge: Multimodal Detection of Errors and Anticipation in Human-Robot Interactions

Imagina que estás viendo a un robot intentar hacer un sándwich. A veces, el robot deja caer el pan. A veces, intenta meter la tostadora en la nevera. En el pasado, los científicos intentaron enseñar a los robots a notar estos errores dándoles una lista de verificación de "características" (como "¿está el pan en el suelo?") y pidiéndoles que observaran datos que ya habían sido limpiados y organizados. Pero los autores de este artículo dicen: "¡Un momento! Eso es como intentar aprender a montar en bicicleta mirando un diagrama de una bicicleta en un estudio perfectamente iluminado. ¡La vida real es desordenada!".

Este artículo presenta ERR@HRI 3.0, un desafío diseñado para ayudar a los robots a mejorar en la detección de sus propios errores e incluso a adivinarlos antes de que ocurran, observando las reacciones humanas reales y desordenadas.

Las dos grandes misiones

El desafío otorgó a los investigadores dos "niveles de videojuego" diferentes para resolver, utilizando grabaciones de webcam sin editar y en bruto de personas observando a robots (y humanos) fallar.

Nivel 1: El detector de "¡Ups!" (El conjunto de datos BAD)
Imagina a 45 personas sentadas frente a una pantalla, viendo videos donde un robot o un humano comete un error. El objetivo aquí es reactivo: ¿Puede una computadora mirar el rostro de la persona después de que ocurre el error y decir: "¡Oh, acaban de ver un fallo!"?

• El truco: Los videos son brutos. La iluminación cambia, los ángulos de cámara son extraños y las personas están sentadas en diferentes posiciones. Es el mundo real, no un laboratorio.
• Los datos: Hubo 46 diferentes escenarios de fallo y 1,645 clips de video en total. Los clips duran unos 15.5 segundos.
• El resultado: El desafío tuvo 3 equipos que presentaron modelos. Todos ellos hicieron mejor que el modelo "base" del propio artículo (que era básicamente una red neuronal estándar haciendo lo que podía). El modelo base obtuvo un F1 macro de 0.502 (una puntuación específica para qué tan bien equilibraba la detección tanto de fallos como de no fallos, en lugar de un simple porcentaje de precisión), pero los nuevos modelos lograron superar eso.

Nivel 2: El predictor de "¡Espera, eso es una mala idea!" (El conjunto de datos Bad Idea)
Esta es la parte más genial y astuta. Imagina a 29 personas viendo un video de un robot comenzando a hacer algo, pero el video se corta antes de que veamos si tiene éxito o falla. Las personas tienen que adivinar: "¿Esto va a terminar bien o mal?".

• El objetivo: ¿Puede una computadora mirar el rostro de la persona mientras está adivinando y decir qué cree que va a pasar? Esto es anticipatorio. Se trata de detectar el "oh, oh" antes del choque.
• Los datos: Hubo 30 escenarios y 865 clips. Estos clips son súper cortos, de solo 1.95 segundos.
• El resultado: Nuevamente, los 3 equipos que jugaron este nivel superaron al modelo base. El modelo base tuvo un puntaje AUC-ROC de 0.564 (una medida de qué tan bien puede un modelo distinguir entre una suposición "buena" y una "mala", donde 0.5 es el azar), lo que demuestra que predecir el futuro basándose en una expresión facial de un segundo es realmente, muy, muy difícil.

A lo que este artículo dice "No"

Los autores son muy claros sobre lo que no funciona bien para este problema, y descartaron explícitamente las formas antiguas de hacer las cosas:

1. Nada de "datos pre-limpiados": El artículo señala que la mayoría de los trabajos previos dependían de características pre-extraídas, lo que limitaba los tipos de métodos que los investigadores podían usar. Para solucionar esto, el desafío lanzó video en bruto. Esta elección de diseño no fue para prohibir la ingeniería de características, sino para permitir que los investigadores aplicaran métodos modernos de aprendizaje de extremo a extremo directamente sobre los píxeles y vieran si podían manejar el desorden de la vida real mejor que los enfoques antiguos.
2. Nada de "entornos de laboratorio perfecto": Rechazaron la idea de que los robots solo deban aprender en habitaciones controladas con iluminación perfecta. Querían el desorden de los datos de crowdsourcing reales (diferentes cámaras, ángulos extraños) porque eso es lo que los robots enfrentarán realmente en el mundo real.
3. Nada de "solo reaccionar": Argumentaron que esperar a que ocurra un error para luego arreglarlo es demasiado tarde. Presionaron por la anticipación: descubrir que algo anda mal antes de que ocurra por completo.

¿Qué tan seguros están?

El artículo no afirma que hayan resuelto el problema de la seguridad de los robots para siempre. En cambio, sugieren que sus nuevos conjuntos de datos y métodos son un mejor punto de partida.

• Midieron los resultados utilizando puntuaciones matemáticas específicas (como F1 macro y AUC-ROC) en un conjunto de prueba que los equipos nunca habían visto.
• Encontraron que, aunque los nuevos modelos son mejores que los antiguos baselines, la tarea de "anticipación" (Nivel 2) sigue siendo complicada. El modelo base tomó el 35.6% del tiempo del clip para siquiera empezar a detectar la señal, comparado con el 8.8% para la tarea reactiva. Esto sugiere que leer un rostro de "mala idea" es mucho más difícil que leer un rostro de "ups".
• Los autores afirman que tres equipos presentaron modelos válidos, y todos ellos superaron los baselines. No dicen que los modelos sean perfectos, solo que son un paso adelante.

La conclusión

Piensa en este artículo como los organizadores de una feria científica que dijeron: "Dejen de construir robots que solo funcionen en una caja de cristal. Veamos si pueden manejar el caos de una sala de estar real". Proporcionaron dos nuevos conjuntos de videos reales y desordenados y desafiaron a los programadores más inteligentes a construir modelos que puedan detectar el error de un robot o adivinar un desastre antes de que suceda. Los resultados muestran que, si bien es posible hacerlo mejor que con los métodos antiguos, la capacidad de "bola de cristal" para predecir errores es todavía un trabajo en progreso. Los autores esperan que estas herramientas ayuden a construir robots que sean más conscientes, más confiables y que estén listos para la desordenada realidad de la vida humana.