How Users Understand Robot Foundation Model Performance through Task Success Rates and Beyond

Resumen Técnico: Cómo los usuarios comprenden el rendimiento de los modelos fundacionales de robótica a través de las tasas de éxito de tareas y más allá

Declaración del problema
Los Modelos Fundacionales de Robótica (RFM, por sus siglas en inglés) prometen una robótica doméstica de propósito general capaz de realizar tareas arbitrarias. Sin embargo, existe una brecha crítica en cómo los usuarios no expertos interpretan las métricas de rendimiento al solicitar tareas novedosas —tareas para las cuales el RFM no fue entrenado o evaluado explícitamente—. Si bien la Tasa de Éxito de la Tarea (TSR) es la métrica estándar para evaluar los RFM, no está claro si los novatos interpretan estos datos probabilísticos según lo previsto. Además, el alto costo del fallo en entornos físicos exige que los usuarios comprendan no solo si un robot tendrá éxito, sino cómo podría fallar. Las evaluaciones actuales suelen carecer de transparencia respecto a los modos de fallo, lo que puede derivar en fallos inesperados y la erosión de la confianza. Este artículo investiga cómo los no especialistas en robótica interpretan la información de rendimiento de los RFM, centrándose específicamente en la TSR, las descripciones de casos de fallo y la interacción entre los datos históricos reales y las estimaciones internas de rendimiento.

Metodología
Los autores llevaron a cabo un estudio de dos partes para evaluar la interpretación de los usuarios sobre los datos de rendimiento de los RFM:

1. Estudio en línea (n=112): Los participantes fueron presentados con datos de evaluación reales de tres proyectos de investigación de RFM publicados (OpenVLA, Baku y Multimodal Diffusion Transformer) que involucraban 16 tareas de manipulación distintas. El estudio empleó un diseño intra-sujeto donde los usuarios evaluaron las capacidades del robot basándose en cuatro tipos de información presentados en diversas permutaciones:

   • Tasa de Éxito de la Tarea Estimada (ETSR): La estimación interna del robot sobre la probabilidad de éxito para la tarea solicitada.
   • Caso de Fallo Estimado (EFC): Una descripción en lenguaje natural del modo de fallo más probable para la tarea solicitada.
   • Tarea Relacionada - Tasa de Éxito de la Tarea (RT-TSR): Datos históricos de TSR de una tarea considerada "similar" a la solicitud del usuario.
   • Tarea Relacionada - Caso de Fallo (RT-FC): Descripciones históricas de fallos de tareas similares.

   Los participantes calificaron su confianza, comodidad e suficiencia de información antes y después de ver videos de las tareas (los cuales fueron muestreados para reflejar las tasas reales de éxito/fallo).

2. Estudio presencial (n=14): Para examinar el efecto de la corporeidad (embodiment), los participantes observaron a un robot Kinova Gen3 Lite intentando de forma autónoma una tarea de colocación de una lata de sopa en un vestíbulo universitario. Se les proporcionaron los mismos cuatro tipos de información y se les pidió que evaluaran la utilidad y fiabilidad del robot en un entorno doméstico.

Contribuciones Clave
El artículo realiza tres contribiones principales:

1. Validación de la interpretación de la TSR: El estudio valida empíricamente que los usuarios no expertos interpretan la TSR de manera consistente con las expectativas de los expertos. Existe una correlación positiva robusta entre los valores de TSR reportados y la confianza y seguridad reportadas por el usuario en el sistema.
2. Valor de la información de fallo: Los autores demuestran que las descripciones en lenguaje natural de los casos de fallo son altamente valoradas por los no expertos. Estas descripciones ayudan a los usuarios a comprender los riesgos y prepararse para posibles fallos, lo que sugiere la necesidad de estandarizar el reporte de casos de fallo en las evaluaciones de los RFM.
3. Necesidad dual de datos reales y estimaciones: La investigación destaca que los usuarios desean tanto datos históricos reales de tareas similares (basados en la realidad) como las propias estimaciones del robot para tareas novedosas. Esto sugiere que los RFM deben desplegarse con acceso a amplios historiales de evaluaciones y poseer la capacidad de estimar con precisión el rendimiento en tareas no probadas.

Resultos

• Suficiencia de la información: La presencia de cualquier tipo de información aumentó significativamente la percepción de suficiencia de información de los usuarios. Sin embargo, las tasas de éxito (TSR) tuvieron un tamaño de efecto mayor en la suficiencia percibida que los casos de fallo.
• Comodidad y Confianza: La comodidad y la confianza del usuario fueron fuertemente predichas por altas tasas de éxito (tanto ETSR como RT-TSR). Por el contrario, la presencia de descripciones de casos de fallo (EFC y RT-FC) no aumentó significativamente la comodidad reportada, aunque los usuarios aún las calificaron como útiles.
• Clasificación de Utilidad: La mayoría de los usuarios encontraron útiles todos los tipos de información. El análisis cuantitativo mostró que la ETSR fue reportada como más útil que la EFC, y la RT-TSR fue más útil que la RT-FC. Sin embargo, la ETSR no fue significativamente más útil que todos los demás tipos combinados.
• Precisión de Predicción: Solo la ETSR mejoró significativamente la capacidad de los usuarios para predecir correctamente los resultados binarios de éxito/fallo (61.9% de precisión), lo que indica que es la métrica más informativa para la predicción inmediata del resultado.
• Percepciones Cualitativas: Los usuarios emplearon diversas estrategias, tales como el uso de umbrales (por ejemplo, rechazar tareas con ETSR < 70%) o la triangulación de estimaciones con datos reales. Muchos expresaron escepticismo hacia las estimaciones sin evidencia corroborante del mundo real.
• Efectos de la Corporeidad: El estudio presencial corroboró en gran medida los hallazgos en línea. No obstante, las interacciones corporales suscitaron preocupaciones más específicas sobre la seguridad física (por ejemplo, daños a suelos u objetos) y restricciones prácticas como la velocidad y los requisitos del espacio de trabajo.

Significancia y Reivindicaciones
El artículo sostiene que, si bien la TSR es una métrica necesaria, es insuficiente por sí sola para el despliegue seguro y efectivo de los RFM en entornos domésticos. Los autores abogan por un cambio hacia evaluaciones centradas en el usuario e interpretables que incluyan:

• Reporte estandarizado de casos de fallo (tanto escenarios comunes como los peores casos).
• Provisión tanto de datos históricos reales como de estimaciones de rendimiento fiables para tareas novedosas.
• Mecanismos para que los RFM se comporten de manera predecible o puedan pronosticar su comportamiento en nuevas tareas.

Los autores enfatizan que los usuarios informados están mejor equipados para colaborar, enseñar y confiar apropiadamente en los robots. Al cerrar la brecha entre las métricas de evaluación de los expertos y la comprensión del usuario, este trabajo pretende informar los futuros estándares de evaluación y estrategias de despliegue de los RFM, asegurando que los usuarios puedan tomar decisiones informadas sobre cuándo supervisar, enseñar o evitar tareas específicas del robot. El artículo señala modestamente que, aunque estos hallazgos se derivan de dominios de tareas específicos (tareas domésticas, manipulación), los principios de transparencia de la información probablemente se generalicen a diferentes morfologías y tipos de tareas robóticas.