🤖 AI

Thinking in Text and Images: Interleaved Vision--Language Reasoning Traces for Long-Horizon Robot Manipulation

Este artículo introduce el Razonamiento Intercalado Visión-Lenguaje (IVLR), un marco de políticas que genera trazas explícitas que alternan entre subobjetivos textuales y fotogramas clave visuales para habilitar la manipulación robótica robusta a largo plazo al combinar la coherencia lógica con la anclaje geométrico, logrando tasas de éxito de vanguardia en benchmarks desafiantes.

Autores originales: Jinkun Liu, Haohan Chi, Lingfeng Zhang, Yifan Xie, YuAn Wang, Long Chen, Hangjun Ye, Xiaoshuai Hao, Wenbo Ding

Publicado 2026-05-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jinkun Liu, Haohan Chi, Lingfeng Zhang, Yifan Xie, YuAn Wang, Long Chen, Hangjun Ye, Xiaoshuai Hao, Wenbo Ding

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a limpiar una cocina desordenada. La tarea no es solo "recoger la cuchara". Es una historia larga: "Primero, mueve el plato sucio al fregadero, luego agarra la esponja, frota la encimera y, finalmente, vuelve a colocar la esponja".

Los cerebros de los robots actuales (llamados políticas de Visión-Lenguaje-Acción) son como actores que son excelentes en la siguiente línea de diálogo, pero terribles recordando todo el guion. Miran el fregadero, ven un plato y lo agarran. Pero si la tarea requiere que agarren una taza antes que el plato, podrían confundirse, agarrar lo incorrecto o olvidar por qué están allí en primer lugar. Son "miopes": solo ven el siguiente paso inmediato.

Este artículo presenta una nueva forma de pensar para los robots, llamada IVLR (Razonamiento Intercalado Visión-Lenguaje). Así es como funciona, usando analogías simples:

1. El Problema: El "Actor Amnésico"

Piensa en un robot estándar como un actor al que se le da un guion pero que debe memorizarlo línea por línea mientras actúa. Si la obra es corta, está bien. Pero si la obra es larga (una tarea de "horizonte largo"), olvidan la trama.

Planes solo de texto son como un guion que dice "Recoge la taza". Le dice al robot qué hacer, pero no dónde exactamente ni cómo debería verse la escena. Es como una receta sin imágenes.
Planes solo visuales son como una bobina de película del futuro. Le muestra al robot cómo se ve la escena, pero sin palabras, el robot podría no entender por qué está la taza allí o en qué orden ocurrieron las cosas.

2. La Solución: El "Director de Guion Gráfico"

Los autores le dan al robot un Guion Gráfico. Antes de que el robot mueva un solo músculo, se detiene y crea una "película" completa de toda la tarea en su cabeza. Este guion gráfico se llama Rastro-IVLR.

Este rastro es especial porque mezcla dos cosas, alternando como un cómic:

Paneles de Texto: "Recoge la taza blanca". (La lógica/orden causal).
Paneles de Imagen: Una imagen de la taza blanca sentada exactamente donde necesita ir. (La meta visual).

El robot genera este guion gráfico completo una sola vez al principio. Es como un director diciendo: "Bien, aquí está toda la película. Escena 1: Recoge la taza. Escena 2: Coloca en el plato. Escena 3: Recoge la taza amarilla...".

3. Cómo lo Usa el Robot: El "GPS con un Mapa"

Una vez hecho el guion gráfico, el robot no sigue ciegamente las imágenes como un personaje de videojuego. En su lugar, mantiene el guion gráfico "en caché" (guardado en su memoria a corto plazo) mientras trabaja.

El Bucle: En cada momento, el robot mira el mundo real (lo que ve ahora mismo) y lo compara con el guion gráfico (lo que planeó ver).
La Analogía: Imagina que conduces a una fiesta. Tienes un mapa (el guion gráfico) que muestra la ruta y el destino. Pero también tienes ojos (la cámara en vivo). Si tomas una dirección equivocada, tus ojos te dicen: "Oye, ¡esa no es la calle del mapa!". Entonces corriges la dirección.
El robot hace esto constantemente. Usa el guion gráfico para recordar el orden de los eventos y la meta visual, pero usa sus ojos en vivo para asegurarse de no chocar contra una silla que no estaba allí cuando hizo el plan.

4. Cómo Enseñaron al Robot (La "Pseudo-Supervisión")

Los robots reales no vienen con guiones gráficos; solo vienen con videos de personas haciendo tareas. Los autores tuvieron que enseñar al robot cómo hacer sus propios guiones gráficos.

Tomaron videos de robots haciendo tareas y usaron una IA inteligente para cortar el video en "escenas" (etapas).
Luego, usaron otra IA para escribir una descripción para cada escena (por ejemplo, "La pinza se mueve hacia la taza") y seleccionar un "cuadro clave" (una foto representativa de ese momento).
Alimentaron estos guiones gráficos inventados al robot como datos de entrenamiento. Es como darle a un estudiante un libro de texto con las respuestas llenas, para que pueda aprender a resolver los problemas por sí mismo más tarde.

5. Los Resultados: Por Qué Importa

El artículo probó esto en simulaciones por computadora donde los robots tenían que realizar tareas largas y de múltiples pasos (como apilar bloques o mover tazas).

Sin el guion gráfico: El robot falló a menudo, especialmente en tareas largas (solo alrededor del 37% de éxito). Se perdió en medio de la historia.
Solo con texto o solo con imágenes: Lo hizo mejor, pero no genial (alrededor del 60-68%).
Con el guion gráfico completo (Texto + Imágenes): El robot tuvo éxito el 92.4% de las veces en las tareas más difíciles.

El hallazgo clave es que necesitas ambos. Necesitas el texto para recordar el orden (causalidad) y las imágenes para recordar la ubicación (geometría). Uno sin el otro no es suficiente.

6. El Problema (Limitaciones)

El artículo es honesto sobre las desventajas:

Tiempo de Pensamiento: El robot tiene que "pensar" durante unos 10 segundos antes de empezar a moverse para crear el guion gráfico. Esto está bien para una tarea lenta y cuidadosa, pero es demasiado lento para un robot que necesita esquivar una pelota en movimiento rápido.
Planes Obsoletos: Si el mundo cambia después de que el robot hace el plan (por ejemplo, alguien mueve la taza mientras el robot está pensando), el guion gráfico se vuelve incorrecto. El robot podría intentar seguir un plan para un mundo que ya no existe.
Solo Simulación: Lo probaron en una simulación por computadora, no en un robot real en una cocina real.

Resumen

Este artículo propone que, en lugar de obligar a un robot a adivinar el siguiente paso basándose solo en lo que ve ahora mismo, deberíamos permitirle escribir un "cómic" de toda la tarea primero. Al mezclar palabras (el plan) e imágenes (la meta) en un solo "rastro", el robot puede recordar la imagen general mientras sigue reaccionando al mundo inmediato. Es un cambio de "reaccionar" a "planificar y reaccionar".

1. Enunciado del Problema

La manipulación robótica de largo horizonte requiere políticas que satisfagan dos requisitos conflictivos: coherencia causal (mantener el orden lógico de los subobjetivos) y anclaje geométrico (posicionamiento espacial preciso).

Limitaciones de los Métodos Actuales:
- Políticas VLA Estándar (Visión-Lenguaje-Acción): Ocultan típicamente la planificación en estados latentes. A menudo sufren de "miopía temporal", fallando en mantener el estado sobre secuencias largas o ejecutando pasos fuera de orden.
- Cadena de Pensamiento (CoT) Solo Texto: Codifica bien el orden causal pero carece de la pose espacial específica, la geometría de contacto y los detalles de colocación del objetivo requeridos para el control de bajo nivel.
- Predicción Visual/Modelos del Mundo: Proporcionan pistas geométricas pero a menudo permanecen locales y semánticamente subrestringidas, lo que lleva a futuros visuales plausibles pero incorrectos para la tarea.
La Brecha: Existe una falta de una representación intermedia explícita que capture simultáneamente la lógica semántica (texto) y el estado geométrico (visión) a lo largo de todo el horizonte de la tarea.

2. Metodología: Razonamiento Interleaved Visión-Lenguaje (IVLR)

Los autores proponen IVLR, un marco centrado en el IVLR-Trace, una representación intermedia explícita que alterna subobjetivos textuales con fotogramas clave visuales.

A. Representación Central: IVLR-Trace

La traza es una secuencia de etapas $z = [(c^{(1)}, k^{(1)}), \dots, (c^{(N)}, k^{(N)})]$ , donde:

$c^{(i)}$ : Un subobjetivo textual (descripción) que describe el papel causal de la etapa.
$k^{(i)}$ : Un fotograma clave visual (imagen RGB) que ancla el estado espacial previsto para esa etapa.
Esto crea un "storyboard de horizonte completo" que hace visible y ablatable el razonamiento del robot.

B. Arquitectura

El sistema utiliza un transformador multimodal nativo único (inicializado desde Show-o2 1.5B) con dos fases distintas:

Fase de Razonamiento (t=0):
- Entrada: Observación inicial ( $o_0$ ) e instrucción de tarea ( $I$ ).
- Proceso: El modelo genera la IVLR-Trace completa.
- Mecanismo: El texto se decodifica autoregresivamente mediante una cabeza de lenguaje; los fotogramas clave visuales se generan mediante una cabeza de ajuste de flujo (prediciendo campos vectoriales para transportar ruido a latentes objetivo).
Fase de Ejecución (t>0):
- Entrada: Observación actual ( $o_t$ ), instrucción original ( $I$ ) y la traza en caché ( $z$ ).
- Proceso: Un decodificador de acciones de bucle cerrado predice acciones continuas ( $a_t$ ).
- Mecanismo: El token de acción atiende a toda la traza en caché y a la observación en vivo, permitiendo que el modelo seleccione dinámicamente las partes relevantes del plan basándose en el estado actual sin un puntero de etapa codificado en hardware.

C. Pipeline de Pseudo-Supervisión

Dado que los conjuntos de datos robóticos estándar carecen de trazas interleaved, los autores construyeron un pipeline para generar pseudo-trazas para el entrenamiento:

Segmentación: Usar el Descompositor Visual Universal (UVD) para dividir las trayectorias de demostración en etapas basadas en rupturas de monotonicidad en los embebidos visuales.
Selección de Fotograma Clave: El último fotograma de cada segmento se convierte en el fotograma clave visual ( $k^{(i)}$ ).
Descripción (Captioning): Un Modelo de Lenguaje-Visión (Qwen3-VL) genera una descripción de texto estructurada ( $c^{(i)}$ ) que describe la interacción pinza-objeto y las relaciones espaciales para cada etapa.

D. Objetivo de Entrenamiento

La pérdida total combina tres componentes:

$L_{text}$ : Entropía cruzada de siguiente token para las descripciones.
$L_{flow}$ : Pérdida de ajuste de flujo para los fotogramas clave visuales.
$L_{action}$ : Pérdida L1 para la predicción de acciones continuas.
Robustez: Se aplica ruido aleatorio en la traza y enmascaramiento dinámico de contexto durante el entrenamiento para prevenir la sobredependencia en trazas perfectas.

3. Contribuciones Clave

IVLR-Trace Explícito: Formulación de una secuencia interleaved de horizonte completo de texto y fotogramas clave RGB que sirve como interfaz semántico-geométrica para el control VLA.
Arquitectura Unificada: Implementación en un único transformador multimodal nativo que genera el plan una vez y condiciona la ejecución de bucle cerrado en la traza en caché.
Construcción Escalable de Pseudo-Trazas: Un pipeline que utiliza UVD y VLMs para adaptar demostraciones robóticas no estructuradas con supervisión multimodal por etapas.
Validación Empírica: Demostración de que las trazas interleaved superan significativamente a los baselines unimodales en tareas de largo horizonte y son robustas a desviaciones moderadas de ejecución y corrupción de trazas.

4. Resultados Experimentales

El método fue evaluado en LIBERO (manipulación simulada) y SimplerEnv-WidowX (desplazamiento de distribución visual).

Rendimiento Principal (LIBERO):
- IVLR: Logró un 95.5% de éxito promedio.
- LIBERO-Long (Largo horizonte): Logró un 92.4%, superando significativamente a CoT-VLA (69.0%) y VLA-0 (87.6%).
- SimplerEnv-WidowX: Logró un 59.4% de éxito general, superando a SpatialVLA (42.7%).
Estudios de Ablación (La Necesidad de Interleaving):
- Sin Traza: El éxito cae al 37.7% en LIBERO-Long.
- Traza Solo Texto: 62.0% (Buena para el orden, carece de anclajes espaciales).
- Traza Solo Visión: 68.4% (Buena para la geometría, carece de secuencia semántica).
- IVLR Completo: 92.4% (Prueba que el texto y la visión son complementarios, no intercambiables).
Pruebas de Estrés de Robustez:
- Perturbación de Ejecución: Con un desplazamiento aleatorio de 2 cm del efector final, el éxito disminuyó solo moderadamente (95.5% $\to$ 92.1%), mostrando que la naturaleza de bucle cerrado puede recuperarse de pequeños deslizamientos.
- Corrupción de Traza: Enmascarar el 30% de los tokens de texto o visuales resultó en una degradación moderada (a ~90-92%), indicando que el sistema tolera contenido local faltante.

5. Significado y Limitaciones

Significado:

Razonamiento Explícito: Cambia el paradigma de la planificación latente implícita al razonamiento multimodal explícito, inspeccionable y controlable.
Escalabilidad: Demuestra que las trazas pseudo-supervisadas pueden entrenar eficazmente políticas para tareas complejas y multi-etapa sin planes simbólicos etiquetados por humanos.
Complementariedad: Valida que combinar la lógica semántica (texto) con el anclaje geométrico (visión) es crítico para el éxito de largo horizonte.

Limitaciones:

Latencia: Generar la traza completa toma ~10 segundos (en una GPU H20) antes de que comience la ejecución, lo cual es un cuello de botella para entornos dinámicos.
Suposición Estática: El método asume un espacio de trabajo totalmente observado y estático en $t=0$ . Si la escena cambia drásticamente (ej. eliminación de objetos, oclusión) después de la planificación, la traza en caché queda obsoleta.
Solo Simulación: Los resultados están actualmente limitados a benchmarks simulados; el despliegue en robots reales requiere mayor validación.

Futuras Direcciones:
Los autores sugieren explorar planificación asíncrona mientras se actúa (generando etapas futuras de la traza mientras se ejecutan las actuales) y replanificación auto-disparada para manejar cambios dinámicos en la escena.