Resumen Técnico: REPAIR-Bench

Planteamiento del Problema

Aunque los robots se despliegan cada vez más en entornos de alto riesgo como los departamentos de emergencias, siguen siendo propensos a fallos causados por errores de percepción, presión temporal o incertidumbre ambiental. Caracterizar estos fallos y las respuestas de los usuarios es crítico para mantener la confianza y la finalización de las tareas. Sin embargo, los benchmarks actuales de Interacción Humano-Robot (HRI) sufren tres limitaciones principales:

1. Suposición de Independencia: Los trabajos previos suelen tratar los fallos como eventos independientes, sin modelar la historia entre ensayos ni la acumulación de la adaptación del usuario tras fallos repetidos.
2. Limitaciones Binarias: La mayoría de los conjuntos de datos solo admiten la detección binaria de fallos (éxito/fallo) en lugar de una categorización de fallos multiclasificación.
3. Recuperación Basada en Reglas: Las estrategias de recuperación suelen estar definidas por investigadores en lugar de ser predichas a partir del comportamiento del usuario, careciendo de un marco para inferir los métodos de recuperación preferidos por el usuario a partir del contexto de la interacción.

Existe una falta de marcos de benchmark integrados que conecten la detección de fallos, la comprensión y la toma de decisiones de recuperación dentro de un único entorno de evaluación.

Metodología

Los autores presentan REPAIR-Bench, un benchmark multimodal construido sobre el conjunto de datos RFM-HRI, que captura interacciones entre usuarios y un robot de carro de paradas médicas semiautónomo tanto en entornos de laboratorio como hospitalarios.

Conjunto de Datos y Preprocesamiento

• Fuente de Datos: 214 ensayos de interacción de 41 participantes que involucran cuatro tipos de fallos inducidos (habla, tiempo, comprensión, búsqueda) y una condición de éxito.
• Modalidades: El conjunto de datos incluye video, audio y transcripciones de tareas sincronizados.
• Extracción de Características:
  • Visual: Unidades de Acción (AUs) faciales, pose de la cabeza en 3D, estimaciones de la mirada y puntos de referencia faciales extraídos mediante Google MediaPipe.
  • Audio/Texto: Transcripciones de voz con marcas de tiempo mediante Whisper ASR.
  • Verdad de Terreno (Ground Truth): Encuestas post-interacción que capturan reacciones emocionales y estrategias de recuperación preferidas.
• Preprocesamiento: Los autores estandarizaron las anotaciones de los fallos con marcas de tiempo precisas de inicio/finalización. Las características visuales fueron filtradas (filtro Butterworth) y normalizadas. Las transcripciones se limpiaron para el modelado de la recuperación, eliminando las marcas de tiempo para centrarse en el contenido del diálogo.
• Conjunto Final: Tras excluir 30 muestras con transcripciones o marcas de tiempo inconsistentes, el conjunto de análisis consta de 184 muestras.

Tareas de Evaluación

REPAIR-Bench define tres tareas de evaluación novedosas:

1. Tarea 1: Detección Temporal de Fallos

   • Objetivo: Detectar el momento en que la respuesta de un robot falla basándose en las reacciones conductuales del usuario, teniendo en cuenta las dependencias entre ensayos.
   • Entrada: Características visuales secuenciales (AUs, puntos de referencia, pose, mirada) en ventanas deslizantes.
   • Arquitectura: Una Red Neuronal Recurrente Jerárquica (HRNN) de dos niveles utilizando celdas de Unidad Recurrente de Puerta (GRU). El modelo procesa características a nivel de ventana y mantiene un vector de historial a nivel de sesión actualizado después de cada ensayo para capturar la adaptación longitudinal del usuario.
   • Salida: Etiquetas binarias de pre/post-fallo por ventana y una estimación del momento de transición temporal.

2. Tarea 2: Clasificación de Fallos

   • Objetivo: Distinguir entre categorías específicas de fallos (comprensión, habla, tiempo, búsqueda) y el éxito utilizando señales visuales.
   • Arquitectura: Un modelo temporal consciente de la sesión que combina una LSTM bidireccional para la codificación por fotograma y una GRU unidireccional para procesar los embeddings de los ensayos en orden cronológico.
   • Salida: Etiqueta de tipo de fallo multiclasificación.

3. Tarea 3: Predicción de Estrategia de Recuperación

   • Objetivo: Predecir las estrategias de recuperación preferidas por el usuario (por ejemplo, disculpa, guía paso a paso) basándose en las transcripciones de la interacción y el contexto del fallo.
   • Arquitectura: Modelos de Lenguaje Pequeños (SLMs) ajustados mediante Adaptación de Bajo Rango Cuantizada (QLoRA). Los modelos evaluados incluyen Mistral-7B y Gemma-9B.
   • Formulación: Un problema de ranking generativo restringido donde el modelo produce una lista separada por comas de estrategias de un conjunto de candidatos predefinido.

Resultados Clave

Tarea 1: Detección de Fallos

• La HRNN de dos niveles con ventanas de 3 segundos logró un F1 macro estricto de 0.80, superando a los baselines de GRU de sesión única (0.68) y a los baselines planos.
• Localización: El modelo logró un error absoluto mediano de 2.97 segundos y un error con signo medio de -0.51 segundos (lo que indica una ligera tendencia a predecir un poco antes).
• El enfoque jerárquico mejoró el rendimiento al modelar el historial entre sesiones, demostrando que la adaptación del usuario a través de fallos repetidos es un factor significativo.

Tarea 2: Clasificación de Fallos

• La HRNN logró un F1 macro de 0.44, superando a un baseline BiLSTM-GRU (0.38) con el mismo número de parámetros.
• El rendimiento fue más fuerte para la clase de Éxito (F1 = 0.93) y los fallos de Habla, mientras que los fallos de Comprensión y Tiempo resultaron más difíciles de distinguir.
• El análisis estadístico confirmó una asociación modesta pero significativa entre la emoción autoinformada y las condiciones de fallo específicas.

Tarea 3: Predicción de Estrategia de Recuperación

• Modelos Base: Mistral-7B superó a Gemma-9B base, lo que resalta la necesidad de un ajuste de instrucciones para obtener una salida estructurada. El modelo Gemma-9B base se desempeñó cerca del azar.
• Ajuste Fino (Fine-Tuning): El ajuste fino mediante QLoRA mejoró significamente el rendimiento. Para Mistral-7B, el Hit@5 aumentó de 0.68 a 0.76, y el F1@5 aumentó de 0.30 a 0.32.
• El Gemma-9B ajustado logró un rendimiento comparable al de Mistral-7B ajustado, demostrando que el ajuste fino eficiente en parámetros es crítico para alinear los LLM generalistas con tareas específicas de predicción de recuperación.

Significancia y Contribuciones

El artículo afirma que REPAIR-Bench es el primer benchmark de HRI que aborda conjuntamente la clasificación de fallos, la localización y la predicción de la recuperación. Sus principales contribuciones son:

1. Marco Unificado: Proporciona un marco estandarizado para evaluar el ciclo de vida completo del fallo en HRI, yendo más allá de la detección aislada para incluir la toma de decisiones de recuperación.
2. Modelado Longitudinal: Demuestra que el modelado del historial entre ensayos (mediante arquitecturas jerárquicas) mejora la precisión de la detección de fallos en comparación con el tratamiento de las sesiones como eventos independientes.
3. Recuperación Centrada en el Usuario: Desplaza la selección de la estrategia de recuperación de sistemas basados en reglas hacia predicciones basadas en datos de las preferencias del usuario, lo cual es esencial para construir sistemas confiables en dominios de seguridad crítica como la atención médica.
4. Recurso para la Comunidad: Ofrece a las comunidades de HRI y de HRI Médica un conjunto de datos con señales multimodales sincronizadas y verdad de terreno anotada para fallos y recuperación, facilitando la investigación en comportamientos robóticos adaptativos y transparentes.

Los autores señalan limitaciones, incluyendo el tamaño de muestra relativamente pequeño para la predicción de la recuperación (184 muestras) y el uso de un conjunto predefinido de estrategias de recuperación, sugiriendo que el trabajo futuro debería expandir el conjunto de datos e incorporar señales multimodales más ricas.