💻 computer science

Evaluating Uncertainty and Quality of Visual Language Action-enabled Robots

Este artículo propone y valida empíricamente un conjunto de métricas de incertidumbre y calidad para robots de Visión-Lenguaje-Acción (VLA), demostrando a través de un estudio a gran escala que estas métricas se correlacionan bien con los juicios de expertos humanos y ofrecen una evaluación más matizada de la ejecución de tareas que las tasas de éxito binarias tradicionales.

Autores originales: Pablo Valle, Chengjie Lu, Shaukat Ali, Aitor Arrieta

Publicado 2026-07-22

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pablo Valle, Chengjie Lu, Shaukat Ali, Aitor Arrieta

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde los robots no son solo máquinas sin mente que siguen una lista estricta de "si esto, entonces aquello", sino que son más bien asistentes curiosos y superinteligentes que pueden ver el mundo, entender tus palabras habladas y descubrir cómo mover sus propios cuerpos para ayudarte. Este es el emocionante frente de los robots de Visión-Lenguaje-Acción (VLA). Piensa en ellos como los definitivos "mayordomos inteligentes" que pueden mirar una habitación desordenada, escucharte decir: "Por favor, pon la taza roja en la cesta", y luego realmente hacerlo. Pero aquí está el truco: el hecho de que un robot haga la tarea no significa que haya hecho un buen trabajo. Podría haber tirado otras tres tazas, dejado caer la roja dos veces, o tambaleado tanto que parecía que estaba teniendo un ataque de pánico antes de finalmente tener éxito.

Durante mucho tiempo, los científicos han juzgado a estos robots con un simple interruptor binario: ¿Tuvo éxito? Sí o No. Es como calificar el ensayo de un estudiante solo con una marca de verificación para "terminado" y sin ningún comentario sobre si la letra era desordenada o la ortografía era terrible. Este artículo argumenta que este sistema de "aprobado/suspenso" está roto. Es como decir que un chef es excelente solo porque te sirvió una hamburguesa, incluso si la hamburguesa se quemó, se cayó al suelo y fue reensamblada con un tenedor. Para solucionar esto, los investigadores necesitaban una forma de medir no solo si el robot terminó el trabajo, sino cómo se sintió mientras lo hacía: ¿fue suave y seguro, o tembloroso e inseguro?

El "Medidor de Pánico" y el "Puntaje de Suavidad" del Robot

En este estudio, los investigadores decidieron dejar de preguntar a los robots "¿Lo hiciste?" y empezar a preguntar: "¿Qué tan seguro estabas y qué tan elegante fuiste?". Trataron el cerebro del robot como un estudiante nervioso tomando un examen. Introdujeron dos nuevas formas de calificar al robot: Incertidumbre (qué tan seguro estaba el robot de sus elecciones) y Calidad (qué tan suave y segura fue el movimiento).

Para medir la Incertidumbre, observaron el "monólogo interno" del robot. Imagina que el robot está tratando de decidir si agarrar una taza. Un robot seguro piensa: "¡Estoy 99% seguro de que eso es una taza, y la agarraré justo aquí!". Un robot confundido, sin embargo, podría estar pensando: "¿Es eso una taza? ¿O una lata? Tal vez debería agarrarla aquí... no, ¿tal vez allá? ¡Oh no, no estoy seguro!". Los investigadores crearon ocho "medidores de pánico" diferentes para capturar esta confusión. Algunos de estos medidores escuchaban los pensamientos digitales del robot (verificando qué tan dispersas estaban sus apuestas de probabilidad), mientras que otros observaban sus movimientos físicos. Si el brazo de un robot empezaba a sacudirse, temblar o hacer correcciones repentinas y bruscas, los medidores lo marcaban como "alta incertidumbre", lo que significaba que el robot estaba luchando por decidir qué hacer.

Para medir la Calidad, observaron sus movimientos de danza. Utilizaron cinco diferentes "puntajes de suavidad" para ver si el robot se movía como una bailarina elegante o un niño torpe. Verificaron cosas como sacudidas repentinas, aceleraciones extrañas o si el robot tuvo que retroceder y replanificar su ruta. Una ejecución de alta calidad era como un movimiento fluido y constante donde el robot sabía exactamente hacia dónde iba. Una de baja calidad estaba llena de paradas, arranques y encuentros cercanos fallidos.

La Gran Prueba de Realidad para los Robots

El equipo no solo conjeturó; puso esto a prueba con un experimento masivo. Tomaron tres de los cerebros robóticos más inteligentes y avanzados disponibles (llamados OpenVLA, SpatialVLA y $\pi_0$ ) y les pidieron que realizaran 908 tareas diferentes, como recoger objetos, moverlos cerca de otros objetos, apilar cosas o poner artículos dentro de contenedores.

Aquí está la gran sorpresa que encontraron: los robots que "pasaron" la prueba a menudo fallaron la prueba de "calidad".

Cuando analizaron los resultados, vieron que un robot podía completar con éxito una tarea (como recoger una taza) pero hacerlo de una manera que era terrible. Por ejemplo, un modelo de robot ( $\pi_0$ ) era muy bueno en lograr el trabajo, pero cuando los expertos humanos observaron los videos, se dieron cuenta de que el robot a menudo era torpe, dejaba caer las cosas o se movía de forma temblorosa e incierta. De hecho, para algunas tareas, más de la mitad de los intentos "exitosos" fueron en realidad etiquetados como de "baja calidad" por los expertos. Esto demostró que la vieja prueba de "aprobado/suspenso" nos estaba mintiendo. Un robot podía pasar la prueba por suerte o por fuerza bruta, incluso si no estaba haciendo realmente un buen trabajo.

Lo que los Medidores les Dijeron

Los investigadores luego verificaron si sus nuevos "medidores de pánico" y "puntajes de suavidad" podían realmente predecir lo que pensaban los expertos humanos.

La Buena Noticia: Varios de sus nuevos métricos funcionaron sorprendentemente bien. Específicamente, los métricos que medían la Inestabilidad de la Velocidad de Acción (cuánto cambiaba repentinamente la velocidad del robot) y la Inestabilidad de la Aceleración de Acción (qué tan bruscos eran los movimientos) mostraron un fuerte vínculo con las opiniones de los humanos. Si el robot era errático, los humanos decían que era de baja calidad. Si el robot era suave, los humanos estaban de acuerdo. Esto sugiere que podemos usar estas fórmulas matemáticas para determinar automáticamente si un robot está haciendo un buen trabajo sin necesidad de que un humano vea cada uno de los videos.
El Truco de "¿Te Moviste?": También encontraron una forma ingeniosa de detectar fallos totales. Utilizaron un métrico llamado Diferencia de Trayectoria Óptima (OT), que básicamente pregunta: "¿Se está acercando el robot a la meta?". Si el robot está estancado o no se ha movido en absoluto, este métrico sabe instantáneamente que es un fallo. Esta fue la mejor herramienta para distinguir entre un robot que tuvo éxito y uno que falló por completo.
La Mala Noticia: Un métrico, llamado Variabilidad de Ejecución (EV), que intentaba medir la incertidumbre ejecutando el cerebro del robot múltiples veces para ver si daba respuestas diferentes, era demasiado lento y costoso para usarse en la vida real. Requería demasiada potencia de cómputo, lo que lo hacía poco práctico para el uso en tiempo real. Además, descubrieron que algunos métricos no podían distinguir entre un robot que estaba "bien" (calidad media) y uno que falló por completo, lo que sugiere que a medida que los robots empeoran, comienzan a parecerse más a fallos totales.

La Conclusión

La lección principal de este artículo es que debemos dejar de juzgar a los robots como un simple examen de aprobado o suspenso. El hecho de que un robot termine una tarea no significa que sea seguro, eficiente o confiable. Los investigadores demostraron que, al usar estos nuevos puntajes de "confianza" y "suavidad", podemos obtener una imagen mucho más clara de cómo se están desempeñando realmente los robots.

Sugieren que, en el futuro, deberíamos usar estos métricos para construir mejores "oráculos de prueba" (las reglas que deciden si un robot aprueba). En lugar de solo verificar si la taza está en la cesta, deberíamos verificar si el robot llegó allí de manera suave y segura. Esto es crucial para el futuro, porque si queremos que los robots trabajen en nuestros hogares o en los hospitales, necesitamos saber que no tienen suerte, sino que deben ser consistentemente buenos, suaves y seguros de sí mismos. El artículo concluye que, si bien tenemos las herramientas para medir esto ahora, debemos empezar a usarlas para asegurar que nuestros futuros ayudantes robóticos estén realmente listos para el mundo real.

Resumen Técnico: Evaluación de la Incertidumbre y la Calidad en Robots Habilitados para Visión-Lenguaje-Acción

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) representan un avance significativo en el control robótico, integrando la percepción visual, la comprensión del lenguaje natural y la planificación de acciones para permitir la ejecución autónoma de tareas. Sin embargo, la evaluación de estos sistemas sufre actualmente de una limitación crítica: la dependencia de tasas de éxito binarias (es decir, si se completó una tarea o no) como el principal oráculo de prueba. Este enfoque, ejemplificado por marcos como VLATest, captura la corrección funcional pero no logra evaluar la calidad de la ejecución de la tarea (por ejemplo, suavidad, seguridad, eficiencia) o la confianza del robot en sus decisiones. En consecuencia, un robot puede ser etiquetado como "exitoso" a pesar de exhibir comportamientos de baja calidad, tales como colisiones, trayectorias inestables o movimientos ineficientes, lo que genera una falsa sensación de fiabilidad en despliegues del mundo real.

Metodología

Para abordar esta brecha, los autores proponen un marco de evaluación integral que consta de ocho métricas de incertidumbre y cinco métricas de calidad, específicamente adaptadas para la manipulación robótica habilitada por VLA.

1. Adaptación de Métricas

Métricas de Incertidumbre (8 en total): Cuantifican la confianza del modelo y la consistencia de las acciones generadas.
- Basadas en tokens (4): Adaptadas de los Grandes Modelos de Lenguaje (LLM) para medir la incertidumbre en las probabilidades de tokens discretos de la salida del modelo VLA. Estas incluyen Probabilidad de Token (TB-TP), Puntuación de Confianza de Predicción (TB-PCS), DeepGini (TB-D) y Entropía (TB-E).
- Basadas en acción (4): Miden la incertidumbre directamente desde los vectores de acción continuos generados por la política, capturando inconsistencias temporales. Incluyen Inestabilidad de Posición de Acción (A-PI), Inestabilidad de Velocidad de Acción (A-VI), Inestabilidad de Aceleración de Acción (A-AI) y Variabilidad de Ejecución (EV).
Métricas de Calidad (5 en total): Evalúan las características de la trayectoria ejecutada y la progresión de la tarea.
- Inestabilidad de Posición de Trayectoria (TCP-PI), Inestabilidad de Velocidad de Trayectoria (TCP-VI) e Inestabilidad de Aceleración de Trayectoria (TCP-AI): Adaptadas de las medidas de suavidad de la robótica clásica (por ejemplo, métricas basadas en jerk) para evaluar la estabilidad del movimiento.
- Inestabilidad de Trayectoria (TI): Una métrica de jerk de Raíz Cuadrática Media (RMS) para cuantificar la suavidad general del movimiento.
- Diferencia de Trayectoria Óptima (OT): Mide la proximidad espacial del efector final al objetivo, evaluando el comportamiento orientado a metas.

2. Configuración del Estudio Empírico

Los autores realizaron un estudio empírico a gran escala que involucró:

Modelos: Tres modelos VLA de vanguardia: OpenVLA, SpatialVLA y $\pi_0$ .
Tareas: Cuatro tareas de manipulación representativas: Recoger (Pick Up), Acercar (Move Near), Poner sobre (Put On) y Poner dentro (Put In).
Embodiments (Encarnaciones): Dos plataformas robóticas: el Robot de Google (Everyday Robot) y el robot WidowX.
Datos: 908 ejecuciones de tareas exitosas fueron etiquetadas manualmente por tres expertos en el dominio en categorías de calidad Alta, Media y Baja.
Análisis: El estudio analizó la correlación entre las métricas propuestas y los juicios de los expertos (correlación de rango de Spearman) y evaluó la capacidad de las métricas para discriminar entre tareas exitosas y fallidas (prueba U de Mann-Whitney y tamaño del efecto Vargha-Delaney $\hat{A}_{12}$ ).

Contribuciones Clave

Marco de Evaluación: El diseño de un marco unificado que integra ocho métricas de incertidumbre y cinco de calidad adaptadas para robots habilitados por VLA.
Guías de Calidad: La propuesta de guías específicas para que los expertos humanos evalúen la calidad de la ejecución de tareas VLA, yendo más allá del éxito binario.
Análisis Empírico a Gran Escala: Un estudio riguroso a través de tres modelos VLA, cuatro tareas y dos encarnaciones robóticas, que involucra 908 ejecuciones etiquetadas por expertos.
Paquete de Replicación: La publicación de un paquete de replicación completo que incluye código, archivos de configuración y resultados experimentales para facilitar la reproducibilidad.

Resultados

Limitaciones de las Tasas de Éxito: El estudio confirmó que las tasas de éxito por sí solas son insuficientes. Por ejemplo, aunque el modelo $\pi_0$ alcanzó altas tasas de éxito, una parte significativa de sus ejecuciones "exitosas" fueron etiquetadas como de baja calidad por expertos humanos (por ejemplo, >50% de baja calidad en tareas de "Recoger"). Por el contrario, SpatialVLA demostró una mayor calidad de ejecución general a pesar de las variaciones en las tasas de éxito.
Correlación con el Juicio del Experto:
- Incertidumbre: Las métricas A-VI (Inestabilidad de Velocidad de Acción) y A-AI (Inestabilidad de Aceleración de Acción) mostraron correlaciones moderadas a fuertes con las evaluaciones de calidad humana en múltiples modelos y tareas. Notablemente, las variantes basadas en orientación de estas métricas a menudo correlacionaron mejor que las posicionales, sugiriendo que la incertidumbre de la orientación es crítica para la calidad percibida.
- Calidad: TCP-VI (Inestabilidad de Velocidad de Trayectoria) surgió como la métrica de calidad más consistente, mostrando una fuerte correlación a través de modelos y tareas.
Capacidades de Discriminación:
- La Trayectoria Óptima (OT) fue la métrica más efectiva para distinguir entre tareas exitosas y fallidas en todos los modelos, actuando como un indicador de fallo agnóstico al modelo.
- La mayoría de las métricas pudieron distinguir eficazmente las ejecuciones de alta calidad de los fallos. Sin embargo, distinguir las tareas exitosas de calidad media/baja de los fallos totales resultó más difícil, ya que las ejecuciones exitosas de baja calidad exhibieron patrones de comportamiento similares a los fallos.
Sobrecarga Computacional:
- La Variabilidad de Ejecución (EV) incurrió en una alta sobrecarga debido a la necesidad de múltiples inferencias del modelo, lo que la hace poco práctica para el uso en tiempo real.
- La Trayectoria Óptima (OT) está limitada principalmente a entornos de simulación debido a la dificultad de definir trayectorias óptimas en escenarios complejos del mundo real.
- Las métricas restantes (basadas en tokens, basadas en IA, basadas en TCP, TI) introdujeron una sobrecarga insignificante, lo que las hace adecuadas para el monitoreo en tiempo de ejecución.

Significancia y Reivindicaciones

El artículo argumenta que las prácticas de evaluación actuales para robots habilitados por VLA son inadecuadas porque dependen de oráculos de éxito binarios que ignoran la calidad del comportamiento y la confianza del modelo. Los autores afirman que sus métricas propuestas ofrecen una evaluación más matizada y fiable del rendimiento del robot.

Más allá de las Pruebas Binarias: Los hallazgos desafían la suficiencia de las tasas de éxito, demostrando que las altas tasas de éxito pueden ocultar una pobre calidad de ejecución y una débil corrección de comportamiento.
Monitoreo en Tiempo de Ejecución: El estudio sugiere que métricas específicas (como A-VI, A-AI y TCP-VI) pueden servir como oráculos de tiempo de ejecución efectivos para monitorear el comportamiento del robot, detectar anomalías e identificar posibles fallos sin depender de comprobaciones simbólicas de finalización de tareas.
Direcciones Futuras: El trabajo sienta las bases para la próxima generación de oráculos de prueba que incorporen la calidad del comportamiento, apoya el testeo basado en búsqueda y el fuzzing al proporcionar funciones objetivas para la degradación de la calidad, y permite la mejora adaptativa de sistemas robóticos mediante el monitoreo de la incertidumbre en tiempo real.

Los autores mantienen una postura modesta, reconociendo que la efectividad de las métricas depende de la política subyacente específica y que se requiere una validación adicional para el despliegue en el mundo real, particularmente con respecto a la brecha de simulación-a-realidad y el manejo de la orientación de los objetos en tareas específicas.