🤖 AI

Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress

Este artículo presenta $\text{R}^2$ VLM, un modelo de visión y lenguaje con razonamiento recurrente que estima el progreso de tareas corporales a largo plazo mediante el procesamiento iterativo de fragmentos de video y un contexto global de razonamiento, superando las limitaciones computacionales y de razonamiento de los métodos existentes para lograr un nuevo estado del arte.

Autores originales: Yuelin Zhang, Sijie Cheng, Chen Li, Zongzhao Li, Yuxin Huang, Yang Liu, Wenbing Huang

Publicado 2026-03-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuelin Zhang, Sijie Cheng, Chen Li, Zongzhao Li, Yuxin Huang, Yang Liu, Wenbing Huang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que estás enseñando a un robot a cocinar una cena compleja, como hacer una lasaña. El robot no solo necesita saber qué hacer, sino también entender cuánto le falta para terminar.

Aquí tienes la explicación de este paper (R2VLM) como si fuera una historia, usando analogías sencillas:

🍳 El Problema: El Robot que se Olvida de lo que Hizo

Imagina que le pides a un robot: "Hazme una lasaña".
El robot empieza a cocinar. Pone la carne, luego el queso, luego la salsa. Pero, ¿cómo sabe el robot si ya terminó el 50% o el 90%?

Los robots actuales (los modelos de IA viejos) tienen dos grandes problemas:

Se vuelven locos con videos largos: Si intentas mostrarle al robot todo el video de la cocina desde el principio hasta el final de una sola vez, su cerebro se satura. Es como intentar leer un libro entero en un solo segundo; se le olvida el principio antes de llegar al final.
No piensan, solo miran: Muchos robots solo "ven" la imagen y adivinan. No tienen una "conversación interna" para razonar: "Espera, ya puse la carne, pero aún no he puesto el queso, así que estoy a la mitad".

💡 La Solución: R2VLM (El Chef con Cuaderno)

Los autores proponen un nuevo modelo llamado R2VLM. Imagina que este robot tiene dos superpoderes:

1. El "Cuaderno de Notas" (Chain of Thought)

En lugar de solo mirar la cámara, el robot lleva un cuaderno mental (llamado Chain of Thought o Cadena de Pensamiento).

Cómo funciona: Cada vez que el robot hace una acción (ej. "poner la carne"), escribe en su cuaderno: "Ya terminé la carne. Me falta el queso y la salsa".
La magia: Cuando pasa al siguiente paso, no olvida lo anterior. Lee su cuaderno, lo actualiza y escribe: "Ahora tengo la carne y el queso. Me falta la salsa".
Analogía: Es como un detective que va anotando pistas en una pizarra. No necesita recordar todo el crimen de memoria; solo necesita leer lo que anotó antes para entender el caso actual.

2. El "Relevo de Video" (Reasoning Recurrente)

En lugar de ver la película completa de la cocina de una sola vez (lo cual es lento y caro), el robot ve el video en pequeños trozos (como si fueran fotos rápidas o "snippets").

Cómo funciona:
1. Mira un trozo de video (ej. 4 segundos).
2. Lee su cuaderno (lo que pasó antes).
3. Actualiza el cuaderno con lo nuevo.
4. Calcula el progreso.
5. Espera al siguiente trozo de video.
Analogía: Es como jugar a un juego de "teléfono descompuesto" pero al revés. En lugar de distorsionar el mensaje, cada jugador (cada trozo de video) le pasa la historia actualizada al siguiente, manteniendo la coherencia sin necesidad de escuchar toda la conversación desde el principio.

🚀 ¿Para qué sirve esto en la vida real?

El paper no solo dice "el robot sabe más", sino que muestra tres usos geniales:

El Robot que Aprende Mejor (Política de Aprendizaje):
Si el robot sabe exactamente en qué porcentaje está (ej. "estoy al 60%, me falta el queso"), puede aprender más rápido. Es como si un entrenador le dijera a un atleta: "No solo corras, sé que llevas el 60% del entrenamiento, así que acelera en la recta final".
El "Ángel de la Guarda" que da Puntos (Recompensas):
En el entrenamiento de robots, a veces no saben si hicieron algo bien. Este modelo actúa como un árbitro que le da puntos al robot en tiempo real.
- Robot: "Puse la carne".
- Modelo R2VLM: "¡Bien! +10 puntos. Pero cuidado, olvidaste la sal, así que no te doy puntos extra hasta que la pongas".
  Esto hace que el robot aprenda mucho más rápido y sin errores.
El Asistente Proactivo (Ayuda Humana):
Imagina que eres una persona mayor cocinando y el robot te vigila.
- Si te detienes, el robot no solo te ve, sino que lee su cuaderno y dice: "Hola, veo que ya cortaste las verduras (paso 1), pero parece que olvidaste encender el fuego (paso 2). ¿Necesitas ayuda?".
- Esto es útil para ayudar a personas con discapacidades o en situaciones de emergencia.

🏆 El Resultado Final

El paper demuestra que este método es más rápido, más barato y más inteligente que los anteriores.

Antes: El robot intentaba ver todo el video de golpe y se confundía.
Ahora: El robot ve trocitos, lee su cuaderno y razona paso a paso.

En resumen: R2VLM es como darle a un robot un cuaderno de notas inteligente y enseñarle a mirar la vida en pequeños fragmentos, permitiéndole entender no solo qué está pasando, sino cuánto le falta para terminar la tarea, todo mientras mantiene la calma y no se satura de información. ¡Una gran evolución para los robots que viven entre nosotros!

1. El Problema

La estimación precisa del progreso de una tarea es fundamental para que los agentes corporales (robots o agentes de IA) puedan planificar y ejecutar tareas complejas que requieren múltiples pasos y un horizonte temporal largo. A pesar de los avances recientes, los métodos existentes basados en Modelos Visión-Lenguaje (VLM) presentan dos limitaciones críticas:

Subutilización del razonamiento: La mayoría de los enfoques actuales se basan principalmente en la capacidad de comprensión de video de los VLM, ignorando su potencial para el razonamiento complejo necesario para entender las dependencias temporales entre sub-tareas.
Inviabilidad computacional: Procesar trayectorias de video completas y largas con VLMs es computacionalmente prohibitivo para implementaciones en tiempo real, debido al alto costo de procesamiento de tokens visuales y la latencia.

2. Metodología: R2VLM

Los autores proponen R2VLM (Recurrent Reasoning Vision-Language Model), un marco diseñado para estimar el progreso de tareas corporales de largo alcance de manera eficiente y precisa.

Arquitectura y Funcionamiento

R2VLM introduce un marco de razonamiento recurrente que procesa el video de manera incremental en lugar de analizar el video completo de una sola vez.

Entrada por Fragmentos (Snippets): En lugar de procesar todo el video, el modelo recibe secuencias cortas de video (fragmentos locales) en cada iteración temporal.
Cadena de Pensamiento (CoT) Evolutiva: El núcleo de la innovación es una Cadena de Pensamiento (CoT) que se actualiza recursivamente.
- En cada iteración $t$ , el modelo toma el fragmento de video actual $v_t$ y la CoT histórica $c_{t-1}$ (que contiene el descomposición de la tarea, los pasos clave y su estado de completitud).
- El modelo genera una CoT actualizada $c_t$ que integra la nueva observación visual con el contexto histórico.
- Finalmente, estima el progreso $p_t$ (un valor entre 0 y 100) basado en la proporción de pasos completados registrados en la CoT.
Ventajas: Este diseño evita el costo computacional de procesar videos largos completos, mantiene el contexto global a través de la memoria textual (CoT) y permite al modelo corregir o ajustar la descomposición de la tarea dinámicamente si la ejecución real difiere del plan inicial.

Construcción del Dataset

Dado que existen pocos datos etiquetados con CoT para este propósito, los autores desarrollaron una tubería de generación automática de datos:

Fuentes: Utilizaron demostraciones de expertos de los datasets ALFRED (simulación) y Ego4D (mundo real).
Procesamiento: Dividieron los videos en fragmentos cortos y generaron etiquetas de progreso basadas en la proporción de pasos completados (no solo en el tiempo transcurrido).
Generación de CoT: Utilizaron LLMs grandes para generar cadenas de pensamiento de alta calidad que describen la descomposición de la tarea, el análisis de pasos observados vs. no observados y la estimación del progreso.
Tareas Distractoras: Para mejorar la robustez, generaron descripciones de tareas "distractoras" que coinciden con los primeros pasos pero divergen después, obligando al modelo a razonar sobre la estructura de la tarea y no solo a memorizar patrones visuales.

Estrategia de Entrenamiento

El entrenamiento se realiza en dos etapas:

Ajuste Fino Supervisado (SFT): El modelo aprende patrones de razonamiento, descomposición de tareas y estimación de progreso a partir de los datos generados.
Aprendizaje por Refuerzo (RL): Se utiliza un algoritmo PPO (Proximal Policy Optimization) con un diseño de recompensas específico para refinar el razonamiento recurrente:
- Recompensa de Formato: Asegura que la salida siga la estructura CoT.
- Recompensa de Bins (Intervalos): Premia si el progreso estimado cae en el intervalo correcto de pasos completados.
- Recompensa MAE: Fomenta la precisión numérica.
- Recompensa de Mejora: Crucial para el RL multi-turno; premia si el error de la iteración actual es menor que el de la iteración anterior, incentivando la autocorrección.
- Recompensa de Finalización: Evalúa la capacidad de detectar cuándo la tarea ha terminado completamente.

3. Contribuciones Clave

R2VLM: Un nuevo modelo que combina la comprensión visual con un razonamiento recurrente basado en CoT para tareas de largo alcance.
Eficiencia Computacional: La estrategia de procesamiento por fragmentos con memoria de contexto permite una inferencia en tiempo real sin sacrificar la comprensión global, superando las limitaciones de las ventanas de contexto de los VLMs tradicionales.
Pipeline de Datos Automatizado: Una metodología escalable para generar datasets masivos de entrenamiento con CoT y etiquetas de progreso densas a partir de demostraciones de expertos.
Diseño de Recompensas para RL: Una formulación de recompensas que guía específicamente al modelo hacia el razonamiento iterativo y la corrección de errores en múltiples pasos.

4. Resultados Experimentales

El modelo fue evaluado en los datasets ALFRED y Ego4D, comparándose con modelos API (GPT-5, Gemini), modelos de código abierto (Qwen, InternVL) y métodos específicos anteriores (ROVER, GVL).

Rendimiento Superior: R2VLM alcanzó el estado del arte (SOTA) en todas las métricas.
- En ALFRED, logró un error absoluto medio (pMAE) de 2.19, superando drásticamente a los modelos base (Qwen2.5-VL-7B: 27.87) y a modelos masivos de 72B parámetros.
- Logró una precisión de finalización de tarea (acc) del 98.8% en ALFRED.
Generalización: El modelo demostró una fuerte capacidad de generalización, incluso en el dataset del mundo real (Ego4D), aunque el rendimiento fue ligeramente inferior debido a la mayor complejidad y ruido del entorno real.
Eficiencia: El enfoque de fragmentos redujo significativamente el tiempo de inferencia en comparación con el procesamiento de video completo, manteniendo una precisión estable a medida que aumentaba la duración de la tarea.

5. Aplicaciones y Significado

El artículo demuestra que R2VLM no solo estima el progreso, sino que habilita aplicaciones downstream críticas:

Aprendizaje de Políticas Corporales Mejorado: Al usar las estimaciones de progreso de R2VLM como señal de supervisión (en lugar de basarse en el tiempo), los agentes aprenden políticas más eficientes, mejorando las tasas de éxito en tareas de navegación y manipulación.
Modelado de Recompensas para RL Online: R2VLM puede proporcionar señales de recompensa densas y precisas para el aprendizaje por refuerzo de agentes, resolviendo el problema de la recompensa dispersa en tareas de largo alcance. Los agentes entrenados con estas recompensas mostraron una mejora consistente en la ejecución de tareas.
Asistencia Proactiva Paso a Paso: El modelo puede monitorear la ejecución de tareas en tiempo real y proporcionar resúmenes estructurados de pasos completados, en progreso y pendientes, útil para asistencia humana, educación y accesibilidad.

Conclusión:
R2VLM representa un avance significativo en la interacción entre agentes corporales y modelos de lenguaje. Al integrar el razonamiento recursivo con la eficiencia del procesamiento de video incremental, ofrece una solución práctica, escalable y de alta precisión para la estimación de progreso, un componente esencial para la autonomía de los agentes en entornos complejos y dinámicos.