💻 computer science

ValueFormer: A Causal Transformer Value Function with Stage-Aware Labels for Semi-Autonomous Vision-Language-Action Policies

ValueFormer aborda el fallo silencioso de las políticas de visión-lenguaje-acción basadas en el aprendizaje por imitación mediante la introducción de un transformador causal compacto que genera etiquetas de valor densas y conscientes de la etapa por cada fotograma para permitir una detección de errores y una estimación de ventaja efectivas, mejorando así significativamente las tasas de finalización de tareas en tareas de manipulación con robots reales sin requerir un costoso aprendizaje por refuerzo.

Autores originales: Inkyu Sa, Konstantin Stulov, Rajat Bhageria

Publicado 2026-08-05

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Inkyu Sa, Konstantin Stulov, Rajat Bhageria

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde los robots están aprendiendo a hacer tareas domésticas no mediante la programación de reglas rígidas, sino observando a los humanos y copiándolos, de forma muy similar a como un niño pequeño aprende a atarse los cordones observando a sus padres. Este campo se llama Visión-Lenguaje-Acción (VLA), donde un robot utiliza sus "ojos" (cámaras) y su "cerebro" (modelos de lenguaje) para decidir qué hacer a continuación. El gran problema con este enfoque es que el robot a menudo aprende solo de ejemplos exitosos. Es como intentar aprender a montar en bicicleta viendo solo vídeos de personas que nunca se han caído. Si el robot empieza a tambalearse o a soltar el manillar, no sabe que está fallando hasta que todo el asunto se desastre. No tiene un "sentimiento interno" o una "intuición" para decirle: "¡Oye, lo estás haciendo genial!" o "¡Detente! ¡Estás a punto de soltar ese sándwich!".

Este artículo aborda ese sentimiento de intuición faltante. Los investigadores quisieron construir un segundo cerebro, más pequeño, para el robot que actúe como una barra de progreso. En lugar de limitarse a esperar a que el robot termine una tarea para luego decir "Buen trabajo" o "Fallo", este nuevo sistema observa al robot en tiempo real, fotograma a fotograma. Intenta responder: "¿Qué tan cerca estamos de la meta en este momento?" y "¿Acabamos de cometer un error?". El objetivo es hacer que los robots semiautónomos sean más seguros y útiles, de modo que un operador humano no tenga que mirar fijamente una pantalla esperando a que ocurra un desastre.

La "Barra de Progreso" del Robot que Sabe Cuándo Estás Atascado

Conozcan a ValueFormer, una nueva herramienta diseñada para dar a los robots un sentido de progreso. Imaginen a un robot intentando hacer un sándwich. Tiene que poner el pan de abajo, añadir una carne, queso, tomate, lechuga y, finalmente, el pan de arriba. Si el robot se queda atascado con la lechuga, un robot estándar entrenado solo con historias de éxito podría simplemente seguir intentando agarrar la lechuga para siempre, o peor aún, saltársela y poner el pan de arriba sobre una carne desnuda, pensando que todo está bien. No tiene idea de que está en problemas.

Los autores de este artículo se dieron cuenta de que el mayor obstáculo no era construir un nuevo y sofisticado cerebro robótico, sino descubrir cómo enseñarle al robot qué significa "hacerlo bien" en cada segundo.

El Problema de las Etiquetas de "Todo o Nada"

Imagina que estás calificando el examen de matemáticas de un estudiante. Si solo le das una nota al final, no sabes cuándo se quedó atascado. ¿Falló en la primera pregunta o en la última?

La forma antigua: La mayoría de los robots son entrenados con un interruptor simple de "Éxito/Fallo" al final de la tarea. Si el sándwich está hecho, es un 1. Si es un desastre, es un 0.
El defecto: Esto es demasiado disperso. Si un robot comete un error a mitad de camino pero sigue adelante, el "0" al final no le dice al robot qué parte estuvo mal. Es como decirle a un corredor: "Perdiste la carrera", sin decirle que tropezó en la milla 2.

Los investigadores probaron un enfoque diferente. Querían una etiqueta densa, una puntuación que se actualice cada fracción de segundo, mostrando exactamente qué tan cerca está el robot de la meta. Pero aquí está la parte difícil: si simplemente le dices al robot "Fallaste, así que tu puntuación es 0" durante todo el intento fallido, el robot se confunde. Ve los primeros segundos (donde lo estaba haciendo bien) y piensa: "Espera, lo estaba haciendo genial, ¿pero me dices que estoy fallando? ¡Debo estar fallando desde el principio!". Esto confunde al robot y hace que su rendimiento sea deficiente incluso en intentos buenos.

La Solución "Éxito-Luego-Decaimiento"

El principal avance del artículo es una forma ingeniosa de etiquetar los errores llamada "Conciencia de Etapa, Éxito-Luego-Decaimiento" (Stage-Aware, Success-Then-Decay).

Imagina que el robot está escalando una montaña (haciendo un sándwich).

La Escalada: A medida que escala, su "puntuación de progreso" sube suavemente.
El Resbalón: Si resbala y cae (comete un error), la puntuación no baja instantáneamente a cero. En su lugar, se mantiene alta para las partes que sí hizo bien (el pan de abajo y la carne) y luego decae lentamente a medida que se da cuenta de que está en problemas.
El Resultado: Esto le enseña al robot que la primera mitad del intento fue realmente buena, pero el final fue malo. Preserva el "crédito parcial" por el trabajo realizado antes del error.

Los autores probaron esto contra otras cuatro formas de etiquetar errores (como dejar caer la puntuación instantáneamente a cero, o escalar toda la puntuación hacia abajo). Descubrieron que su método de "decaimiento suave" fue el único que no confundió al robot. Permitió que el robot aprendiera que un intento fallido todavía tenía valor al principio, evitando que "colapsara" sus predicciones en intentos exitosos más adelante.

Dos Cabezas, Un Cerebro

ValueFormer es un modelo pequeño y eficiente que se ejecuta junto al cerebro principal del robot. Tiene un diseño de "doble cabeza" único, como un robot con dos tipos diferentes de ojos:

El Ojo Suave ( $V_{mc}$ ): Este proporciona una puntuación de progreso continua y suave (0 a 1). Le dice al operador: "Estamos al 60% de terminar" o "Nos estamos estancando". Es ideal para rastrear el progreso general.
El Ojo Agudo ( $V_{bin}$ ): Esta es una alarma binaria. Salta a "¡Peligro!" en el momento en que ocurre un error. Está diseñado para detectar errores rápidamente, como cuando el robot suelta la lechuga, para que un humano pueda intervenir antes de que todo el sándwich se arruine.

El artículo muestra que, al entrenar con 1,427 episodios reales de robots de preparación de sándwiches, este sistema aprendió a reconocer cuatro patrones distintos:

Éxito Limpio: La puntuación sube constantemente hasta la cima.
Éxito con Reintento: La puntuación baja cuando el robot comete un error (como dejar caer una carne) pero vuelve a subir una vez que lo corrige.
Colapso Temprano: La puntuación sube, luego baja y se mantiene baja porque el robot cometió un error temprano.
Atascado en Movimientos Inútiles: La puntuación se mantiene baja porque el robot solo está dando vueltas sin avanzar.

Resultados en el Mundo Real

Cuando los investigadores usaron esta "barra de progreso" para ayudar al robot a aprender, los resultados fueron prometedores. Al usar la propia "intuición" del robot para ponderar sus datos de entrenamiento (diciéndole que prestara más atención a las partes donde estaba teniendo dificultades), mejoraron la tasa de éxito del robot del 70% al 85% en una tarea de preparación de sándwiches. También lograron eliminar un mal hábito específico en el que el robot seguía intentando recoger un ingrediente que ya había colocado con éxito (un error de "repetición de recogida").

Sin embargo, los autores advierten cuidadosamente que, aunque la mejora es real, el tamaño de la muestra (20 sándwiches en la prueba final) es pequeño, por lo que los resultados son "sugestivos" más que un problema resuelto y garantizado. También descubrieron que el sistema necesita un poco de tiempo para reaccionar, unos 5 a 10 segundos, porque analiza un historial corto de lo que sucedió antes de emitir un juicio.

Haciéndolo lo Suficientemente Rápido para Ejecutarse

Finalmente, el equipo tuvo que asegurarse de que esta nueva "barra de progreso" no ralentizara al robot. Ejecutar dos cerebros en un solo chip de computadora es difícil. Descubrieron que el costo principal no era la parte del pensamiento, sino la parte de "ver" (procesar las imágenes de la cámara). Al optimizar la forma en que se procesaban las imágenes (usando una técnica de "lote" y un formato matemático específico llamado "bf16"), redujeron el tiempo que tomaba verificar el progreso de 3 a 5 veces. Esto permitió que el sistema se ejecutara sin problemas a 2 Hz (dos veces por segundo) en el mismo chip de computadora que el cerebro principal del robot, sin causar ningún retraso.

En resumen, ValueFormer le da a los robots una forma de decir: "Lo estoy haciendo bien, pero acabo de soltar el queso y necesito ayuda", en lugar de simplemente fallar silenciosamente al final. Convierte una imitación ciega en un compañero semiautónomo que sabe cuándo está en problemas.

Resumen Técnico: ValueFormer

Planteamiento del Problema

Las políticas de Visión-Lenguaje-Acción (VLA) entrenadas mediante clonación de comportamiento (por ejemplo, la familia $\pi_0$ ) suelen fallar de forma silenciosa. Debido a que el aprendizaje por imitación no proporciona una noción intrínseca de progreso, un robot que realiza un progreso limpio y uno que se ha estancado o fallado pueden producir flujos de acciones y salidas visuales idénticos. Aunque el Aprendizaje por Refuerzo (RL) podría teóricamente proporcionar una señal de valor, resulta poco práctico para tareas de robótica real que involucran objetos deformables (como comida) debido al alto coste de la recolección de datos y a la incapacidad de los simuladores actuales para reproducir fielmente las interacciones físicas.

Las alternativas existentes, como los bits de éxito/fallo terminales, sufren de una extrema escasez. Un solo bit al final de un episodio de dos minutos no puede informar a un operador cuándo ocurrió un error, ni puede proporcionar la señal densa requerida para la estimación de la ventaja o el filtrado de seguridad en línea. Además, los esquemas de etiquetado denso simples (por ejemplo, asignar un valor de 0 a todos los fotogramas de un episodio fallido) son activamente perjudiciales; enseñan al modelo que las observaciones de las etapas tempranas en un despliegue fallido son inherentemente "malas", causando que el modelo prediga el fallo incluso en éxitos limpios durante el despliegue.

Metodología

El artículo propone ValueFormer, un transformador causal compacto y agnóstico a la política que emite dos señales por fotograma desde un único paso hacia adelante (forward pass): un valor de Monte Carlo suave ( $V_{mc}$ ) para el seguimiento del progreso y un valor binario nítido ( $V_{bin}$ ) para la detección de errores.

1. Etiquetado Sensible a la Etapa, de Éxito-luego-Decaimiento

La contribución técnica central es un novedoso esquema de etiquetado para episodios fallidos que aborda el problema del "etiquetado con forma incorrecta":

Pre-Fallo: Los fotogramas que preceden al fallo en un episodio fallido se etiquetan de forma idéntica a los episodios exitosos, siguiendo una curva de Monte Carlo ascendente ( $V \approx \gamma^{N-1-k}$ ). Esto preserva el crédito parcial para las etapas completadas antes del error.
Post-Fallo: En lugar de una caída brusca a cero (un "acantilado"), la etiqueta decae suavemente desde el valor en el punto de fallo ( $V_{fail} = V_{succ}(k_{fail}) \cdot \gamma^{k-k_{fail}}$ ). Esto codifica la intuición de que un robot que falla tarde en una tarea todavía merece más crédito que uno que falla temprano.
Detección Binaria: Un segundo objetivo, $V_{bin}$ , se genera a partir de intervalos de error basados en segmentos $(t_{start}, t_{end})$ en lugar de un único punto de fallo. Esto permite al modelo aprender de errores transitorios en ejecuciones que de otro modo serían exitosas (por ejemplo, un agarre fallido que se recupera).

2. Arquitectura

ValueFormer es un transformador causal ligero (aprox. 3.5M de parámetros entrenables) construido sobre un backbone DINOv3 ViT-L/16 congelado.

Entrada: Procesa una ventana temporal corta y fija (8 segundos, 16 fotogramas) de seis vistas: tres imágenes de cámara completas y tres recortes de Región de Interés (ROI) (regiones de la pinza y la muñeca). También ingiere estados de las articulaciones y características de tiempo.
Diseño Causal: El transformador utiliza una máscara causal, asegurando que el valor en el tiempo $t$ dependa solo de los fotogramas pasados y presentes, lo que lo hace válido para la inferencia en línea.
Salida de Doble Cabezal:
- Cabezal $V_{mc}$ : Un MLP de 3 capas que produce un valor suave en $[0, 1]$ , supervisado por las etiquetas de Monte Carlo sensibles a la etapa.
- Cabezal $V_{bin}$ : Un MLP de 2 capas que produce una probabilidad nítida de fallo, supervisada por los intervalos de error.

3. Entrenamiento y Supervisión

El modelo se entrena conjuntamente en ambos cabezales utilizando la Entropía Cruzada Binaria (BCE). Para escalar el etiquetado, los autores utilizan banderas de intervención de humanos en el bucle (HIL) de las sesiones de teleoperación. Cuando un operador toma el control de una ejecución fallida, el intervalo de intervención se trata como un segmento de error, proporcionando una supervisión densa y económica que aumenta las anotaciones manuales.

Resultados Clave

El método fue evaluado en una tarea de ensamblaje de sándwich bimanual con un robot real con 1,427 episodios (1,249 éxitos de expertos, 178 ejecuciones autónomas).

Eficacia del Etiquetado: Un estudio de ablación comparando cinco formas de etiquetado demostró que el esquema propuesto "MC-smooth" (éxito-luego-decaimiento) superó significativamente a las alternativas (escalado por resultado, acantilado, mezcla lineal, divergencia tardía). Logró el menor error de pérdida BCE de validación y el MAE de ejecución más bajo, evitando el "escape de resultado" (predecir el fallo en $t=0$ basado en el resultado final) visto en otros esquemas.
Firmas Cualitativas: ValueFormer reprodujo con éxito cuatro firmas de ejecución canónicas en datos no vistos:
1. Curvas que ascienden suavemente para éxitos limpios.
2. Caídas y recuperaciones para éxitos con reintentos.
3. Patrones de ascenso-luego-caída para colapsos tempranos.
4. Perfiles planos-bajos para episodios de estancamiento o rascado.
Detección de Fallos: Al combinar anotaciones manuales con segmentos derivados de intervenciones, el cabezal binario alcanzó una Precisión Media (AP) de 0.82 en la detección de fallos en datos no vistos (comparado con 0.38 solo con etiquetas manuales), detectando el 95% de los errores antes de que el operador interviniera.
Mejora de la Política (Test A/B): En un experimento con robot real, el uso del crítico para derivar pesos de entrenamiento por fotograma para la política VLA mejoró la finalización de la tarea del 70% al 85% (dentro del ruido estadístico con $n=20$ ) y eliminó un modo de fallo específico de "repetición de recogida" que persistía bajo la línea base de solo bandera.
Eficiencia de Despliegue: Mediante la codificación por lotes y el autocast BF16 en el codificador congelado, el coste de servicio en vivo se redujo de 3 a 5 veces, permitiendo que el crítico se ejecute a 2 Hz junto con la política en una sola GPU sin detener el bucle de control.

Significado y Reivindicaciones

El artículo argumenta que el etiquetado, no la arquitectura, es el cuello de botella crítico para aprender funciones de valor para la clonación de comportamiento. La contribución principal es la demostración de que una etiqueta densa, correctamente formada y sensible a la etapa es esencial para aprender una señal de valor útil.

Densidad de Supervisión: Pasar de un bit terminal a un objetivo por fotograma es necesario pero insuficiente; la forma de ese objetivo determina el éxito. Una etiqueta densa con la forma incorrecta (por ejemplo, un cero plano para todos los fallos) es peor que no tener ninguna etiqueta porque el modelo la ajusta fielmente, aprendiendo asociaciones incorrectas.
Agnosticismo de la Política: ValueFormer opera junto a una VLA congelada, sin requerir modificaciones en el bucle de entrenamiento de la política o en su formato de entrada, lo que lo convierte en un módulo plug-and-play para la familia $\pi_0$ .
Diseño de Doble Objetivo: La separación de un valor suave (para la estimación del progreso) y una señal binaria nítida (para abortos de seguridad) permite que un solo modelo sirva tanto para la necesidad del operador de una "barra de progreso" como para la necesidad del sistema de un "abortar" inmediato.

Los autores concluyen que, aunque la aplicación específica fue el ensamblaje de sándwiches, el patrón de diseño —un cabezal de valor pequeño de doble salida con objetivos diseñados que comparten un backbone— ofrece un camino generalizable hacia robots semi-autónomos que pueden detectar sus propios fallos antes de que sea necesaria la intervención humana.