🤖 AI

FurnitureVLA: Learning Long-Horizon Bimanual Furniture Assembly with Vision-Language-Action Model

Este artículo presenta FurnitureVLA, un modelo de Visión-Lenguaje-Acción que permite el ensamblaje de muebles bimanual de escala real y de largo horizonte mediante el aprovechamiento de una arquitectura mejorada por progreso y demostraciones teleoperadas de alta calidad para lograr mejoras significativas en la tasa de éxito sobre los modelos base tanto en simulación como en la validación del mundo real.

Autores originales: Chenyang Ma, Yue Yang, Radu Corcodel, Siddarth Jain, Andrew Wu, Chiori Hori, Diego Romeres

Publicado 2026-07-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chenyang Ma, Yue Yang, Radu Corcodel, Siddarth Jain, Andrew Wu, Chiori Hori, Diego Romeres

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar construir un mueble complejo, como una silla de IKEA, pero en lugar de usar tus manos, controlas dos brazos robóticos gigantes. Ahora, imagina hacer esto sin un manual, solo mirando un video e intentando adivinar el siguiente movimiento. Ese es el desafío que aborda este artículo.

Los investigadores crearon un nuevo sistema llamado FurnitureVLA para enseñar a los robots cómo ensamblar muebles de tamaño real usando dos brazos a la vez. Así es como lo hicieron, desglosado en conceptos simples:

1. El Problema: El problema de la "memoria larga" de un robot

La mayoría de los robots son buenos en tareas cortas, como recoger una taza y ponerla en su lugar. Pero construir un mueble es una tarea de "largo horizonte". Es como intentar escribir una novela entera en un solo aliento. Si el robot comete un pequeño error en el paso 1 (como colocar una pata ligeramente torcida), ese error se vuelve cada vez más grande para el paso 10, causando que todo el conjunto colapse.

Los intentos previos solo funcionaban con muebles diminutos, de juguete, o con un solo brazo robótico. Este artículo es el primero en intentar con muebles de tamaño real y con dos brazos trabajando juntos.

2. La Solución: Dividir la película en escenas

Para evitar que el robot se confunda, los investigadores no le enseñaron a construir toda la silla de una sola vez. En su lugar, dividieron el trabajo en "escenas" o subtareas pequeñas y manejables, como el guion de una película.

Escena 1: Recoger la pata izquierda.
Escena 2: Insertar la pata izquierda.
Escena 3: Retroceder.

Utilizaron un Sistema de Teleoperación de RV para recolectar los datos. Piensa en esto como un humano jugando un videojuego donde usa un visor de realidad virtual y controla dos brazos robóticos con sus propias manos. Esto les permitió recolectar "demostraciones" de alta calidad sobre cómo un experto humano construiría el mueble.

3. El Ingrediente Secreto: El "Medidor de Progreso"

La mayor innovación es algo que llaman VLA Mejorado por el Progreso.

Imagina que estás conduciendo un coche en un viaje largo. Si solo le dices al coche "Conduce a Nueva York", podría perderse después de 50 millas. Pero si le dices "Conduce a la próxima gasolinera", luego "Conduce al siguiente pueblo", se mantendrá en el camino.

Los investigadores le dieron al robot un medidor de progreso continuo (una señal que va del 0% al 100% para cada paso).

A medida que el robot trabaja, verifica constantemente su progreso.
Cuando el medidor llega al 100%, el robot sabe automáticamente: "Bien, he terminado este paso. Ahora paso a la siguiente instrucción".
Esto evita que el robot se quede atascado o confundido sobre qué parte del ensamblaje está realizando en ese momento.

4. El Campo de Entrenamiento: Un Sandbox Digital

Antes de probar en brazos de metal reales, construyeron un pipeline de simulación masivo.

Crearon un mundo digital donde podían generar miles de construcciones "expertas" perfectas utilizando algoritmos informáticos.
Probaron tres piezas de mobiliario diferentes: una mesa lateral pequeña (fácil), un estante (medio) y una silla compleja (difícil).
La tarea de la silla fue la más difícil, requiriendo 1,550 pasos de control individuales (como 1,550 movimientos diminutos) para terminar.

5. Los Resultados: Del Fracaso al Éxito

Sin su nuevo método: El robot fallaba casi el 100% de las veces con la silla compleja. Era como un estudiante tratando de resolver un problema de cálculo sin saber matemáticas básicas.
Con FurnitureVLA: Aumentaron la tasa de éxito del 48% al 80% en la simulación.
Prueba en el Mundo Real: Lo probaron en un robot real en un laboratorio. Incluso con el mundo real desordenado (iluminación, fricción, errores leves), el robot solo perdió aproximadamente un 16% de rendimiento en comparación con la simulación. Ensambló con éxito la silla compleja la mayor parte de las veces.

6. ¿Qué lo hizo funcionar? (El Ajuste Fino)

Los investigadores también probaron diferentes "perillas" para ver qué hacía al robot más preciso:

Más Cámaras: Añadir una cámara en la parte trasera ayudó al robot a ver partes que estaban ocultas desde el frente.
Suavizado del Movimiento: Descubrieron que promediar los movimientos planeados del robot a lo largo de unos segundos (como suavizar un video tembloroso) le ayudó a manejar muebles pesados mejor.
Mayor Resolución: Darle al robot ojos más agudos (mayor calidad de imagen) le ayudó a alinear perfectamente los pequeños agujeros y los imanes.

Resumen

En resumen, el artículo presenta un robot que puede construir muebles reales mediante:

El aprendizaje de demostraciones humanas realizadas en RV.
La división del gran trabajo en pasos diminutos y manejables.
El uso de un "medidor de progreso" para saber exactamente cuándo cambiar al siguiente paso.
El ajuste fino de su visión y movimiento para ser lo suficientemente preciso como para encajar las piezas sin romperlas.

Es un paso importante hacia la enseñanza de tareas domésticas complejas de múltiples pasos que requieren dos manos y mucha paciencia.

Resumen Técnico: FurnitureVLA

Planteamiento del Problema

El ensamblaje de muebles representa un desafío significativo para la robótica debido a su naturaleza de largo horizonte y sus requisitos geométricos de alta precisión. Un ensamblaje exitoso exige la manipulación secuencial estricta de partes interdependientes, donde los errores tempranos se propagan en fallos en cascada. Estos desafíos se amplifican en entornos bimanuales de escala real: los componentes grandes y pesados requieren un control coordinado de doble brazo para respetar los límites de alcanzabilidad y evitar singularidades cinemáticas.

Aunque trabajos previos han abordado el ensamblaje de muebles, se han centrado principalmente en entornos de escala de juguete o en la manipulación de un solo brazo. Los modelos de Visión-Lenguaje-Acción (VLA) existentes suelen tener dificultades con tareas de largo horizonte debido al desplazamiento de la distribución (distribution drift) y a los errores acumulativos, y frecuentemente carecen de la precisión requerida para el alineamiento geométrico ajustado en escenarios del mundo real. Este artículo presenta FurnitureVLA, el primer estudio sistemático del ensamblaje bimanual de muebles a escala real utilizando VLAs.

Metodología

1. Infraestructura del Sistema

Los autores desarrollaron un sistema de dos componentes para facilitar la generación de datos y la evaluación:

Pipeline de Simulación Escalable: Construido sobre Isaac Gym, este pipeline genera demostraciones expertas mediante planificación de movimiento a través de diversos tipos de muebles (mesa lateral LACK, estantería KALLAX, silla IVAR). Valida la viabilidad de las tareas bajo restricciones cinemáticas y sirve como un banco de pruebas a gran escala.
Sistema de Teleoperación VR: Para recolectar datos de alta calidad del mundo real, se construyó un sistema VR personalizado utilizando un visor Meta Quest 3 y robots de doble brazo Kinova Gen3. Los principios de diseño clave incluyen:
- Control desacoplado: Manejo separado de traslación y rotación para mayor estabilidad.
- Primitivas de agarre predefinidas: Ajustes de orientación discretos para asegurar agarres consistentes.
- Modo bimanual sincronizado: Comandos espejados para la elevación y rotación coordinada de piezas pesadas.

2. Formalización de la Tarea

Las tareas consisten en ensamblar muebles de IKEA con complejidad creciente (de 4 a 7 subtareas, de 650 a 1550 pasos de control).

Supuestos: El estudio omite el proceso de atornillado mediante el uso de imanes para la fijación, centrándose en el alineamiento e inserción. Las piezas se inicializan con perturbaciones aleatorias (3 cm de posición, 5° de orientación).
Criterios de Éxito: El ensamblaje se considera exitoso solo si el error de pose relativa de todas las partes respecto a una pieza base está dentro de umbrales estrictos (1–2 cm de traslación, ~4° de rotación).

3. Política VLA Mejorada por Progreso

Para abordar la fragilidad de la ejecución de largo horizonte, los autores proponen un VLA Mejorado por Progreso:

Descomposición de Subtareas: Las tareas se descomponen en subtareas semánticamente fundamentadas (por ejemplo, "agarrar", "alinear", "insertar", "retirarse").
Señal de Progreso Continua: En lugar de etiquetas de subtareas discretas, la política se ajusta para predecir conjuntamente las acciones del robot y una señal de progreso continua ( $p_t \in [0, 1]$ ). Esta señal se deriva de primitivas de acción (por ejemplo, recoger, colocar, retirarse) y se define sobre estados post-retirada (después de que el brazo se aleja del punto de contacto). Esta elección de diseño asegura que las transiciones de subtareas ocurran en estados libres de contacto, reduciendo el desplazamiento de la distribución y evitando la amplificación de errores.
Mecanismo de Inferencia: Durante la inferencia, el modelo predice acciones y progreso simultáneamente. Una transición de subtarea se activa automáticamente cuando el progreso predicho supera un umbral ( $\tau_p$ ), siempre que la señal sea persistente (filtrada para evitar picos espurios).

4. Factores de Diseño de Precisión

El estudio evalúa sistemáticamente los factores clave que afectan la precisión del ensamblaje:

Ensamblaje Temporal: Suavizado de las predicciones de acción sobre un búfer rodante para reducir el ruido.
Horizonte de Acción: Determinación del número óptimo de pasos a ejecutar antes de replanificar.
Percepción: El impacto de los puntos de vista de la cámara (incluyendo una cámara trasera para mitigar la oclusión) y la resolución de la imagen.

Resultados Clave

Rendimiento en Simulación

Comparación con el Baseline: FurnitureVLA supera significativamente a un VLA ajustado monolítico (que utiliza una única instrucción global sin descomposición de subtareas).
- Tasa de Éxito Promedio: Mejoró del 48% (baseline monolítico) al 80% (FurnitureVLA).
- Ganancias Específicas: La tarea más desafiante (silla IVAR) vio un aumento en la tasa de éxito del 41% al 56%.
Impacto de los Factores de Diseño: El estudio de los factores de percepción y control produjo una ganancia adicional del 21% en las tasas de éxito.
- Ensamblaje Temporal: Crucial para la estabilidad, siendo el mejor el valor $\lambda = -0.1$ (enfatizando las predicciones recientes).
- Punto de Vista: La inclusión de una cámara trasera mejoró significativamente el rendimiento al reducir la oclusión.
- Resolución: Resoluciones de imagen más altas se correlacionaron consistentemente con un mejor éxito.

Validación en el Mundo Real

Plataforma: Validado en una plataforma real de doble brazo Kinova Gen3 ensamblando la silla IVAR.
Rendimiento: El sistema logró una tasa de éxito de ensamblaje completo del 40% en la tarea más difícil. Esto representa solo una caída del 16% respecto al rendimiento en simulación (56%), demostando una transferencia sim-to-real robusta.
Comportamientos Emergentes: La política exhibió comportamientos de autocorrección aprendidos de la teleoperación, como el re-agarre para un mejor contacto y el alineamiento fino de imanes.

Estudios de Ablación

Señal de Progreso: Un esquema de supervisión de progreso discreto falló completamente (0% de éxito), confirmando la necesidad de una señal continua para manejar la ambigüedad visual entre los estados de "casi ensamblado" y "ensamblado".
Escala de Datos: El rendimiento mejoró con más demostraciones, aunque la ganancia marginal disminuyó después del 50% del presupuesto de datos, sugiriendo un equilibrio entre costo y rendimiento.

Significancia y Reivindicaciones

El artículo afirma presentar el primer estudio sistemático del ensamblaje de muebles bimanual a escala real utilizando VLAs. Sus principales contribuciones son:

Marco Sistemático: Un pipeline completo que comprende un entorno de simulación escalable y un sistema de teleoperación VR diseñado a medida para la recolección de datos de alta calidad.
Innovación Algorítmica: Un VLA mejorado por progreso que permite una ejecución estable de largo horizonte mediante transiciones de subtareas automáticas impulsadas por una señal de progreso continua, mitigando el desplazamiento de la distribución.
Perspectivas Empíricas: Un análisis enfocado de los factores de diseño (ensamblaje temporal, puntos de vista, resolución) que son críticos para lograr la precisión geométrica requerida en el ensamblaje del mundo real.

Los autores posicionan este trabajo como un paso hacia el despliegue de los VLAs en tareas de manipulación desafiantes del mundo real, reconociendo limitaciones como la configuración de base fija (que limita el espacio de trabajo) y el uso de imanes en lugar de tornillos (el uso de herramientas sigue siendo un desafío abierto).