🤖 AI

FoMoVLA: Bridging Visual Foresight and Motion Guidance for Vision-Language-Action Models

FoMoVLA es un marco novedoso que mejora los modelos de Visión-Lenguaje-Acción mediante el aprendizaje conjunto de la previsión de características futuras y el seguimiento de puntos 2D dispersos para cerrar la brecha entre la predicción de objetivos y la guía de movimiento continuo, logrando un rendimiento de vanguardia y una fuerte generalización zero-shot en múltiples bancos de pruebas robóticos.

Autores originales: Wei Li, Peijin Jia, Yuan Ma, Xuefeng Jiang, Titong Jiang, Sheng Sun, Yujian Li, Xin Wen, Han Hong, Zhikang Liu, Bailin Li, Kun Zhan

Publicado 2026-07-17

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wei Li, Peijin Jia, Yuan Ma, Xuefeng Jiang, Titong Jiang, Sheng Sun, Yujian Li, Xin Wen, Han Hong, Zhikang Liu, Bailin Li, Kun Zhan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a hacer un sándwich. Le muestras una foto de los ingredientes y le dices: "Hazme un club de pavo". Un cerebro de robot estándar podría mirar la foto, adivinar el siguiente movimiento, agarrar el pan y esperar lo mejor. Es como jugar a un juego de "caliente o frío" donde solo reaccionas a lo que está sucediendo en este preciso segundo. Pero la vida real es una película, no una presentación de diapositivas. Para realizar tareas complejas, necesitas imaginar el futuro: "Si agarro el pavo ahora, el pan se deslizará y tendré que atraparlo". Este es el desafío de los modelos de Visión-Lenguaje-Acción (VLA). Estos son los cerebros inteligentes que intentan convertir lo que un robot ve y oye en movimientos físicos. La gran pregunta que los científicos se hacen es: ¿Cómo enseñamos a un robot no solo a reaccionar, sino a prever? ¿Cómo hacemos que entienda no solo a dónde debe ir un objeto, sino cómo llega allí?

Entra en escena FoMoVLA, un nuevo marco de trabajo que actúa como una "bola de cristal" para los cerebros de los robots. Los investigadores argumentan que los métodos existentes están perdiendo una pieza crucial del rompecabezas. Algunos métodos intentan predecir toda la imagen futura píxel por píxel, lo cual es como intentar predecir cada una de las gotas de lluvia en una tormenta: es demasiada información y es demasiado lento. Otros simplemente adivinan el destino final, como decir "el sándwich estará en el plato", pero olvidando el accidentado viaje para llegar allí. FoMoVLA soluciona esto enseñando al robot dos habilidades complementarias a la vez: Previsión Visual (imaginar el estado final de la escena) y Guía de Movimiento (rastrear el camino específico que recorren los objetos para llegar allí). Piensa en esto como enseñar a un robot a mirar un destino en un mapa (la previsión) mientras observa simultáneamente un punto de GPS trazando el camino sinuoso para llegar allí (el movimiento). Al combinar ambos, el robot aprende una comprensión mucho más clara y física de cómo moverse, lo que conduce a un mejor rendimiento en tareas complicadas como apilar bloques o recoger objetos, todo ello sin ralentizar al robot cuando está trabajando realmente.

El Problema: Robots que no pueden ver el futuro

La mayoría de los cerebros de los robots actuales son increíblemente reactivos. Ven una taza, la agarran. Ven una puerta, la empujan. Pero tienen dificultades con las preguntas de "¿qué pasaría si...?". Si un robot intenta mover una caja pesada, necesita saber que la caja podría volcarse antes de que se vuelque. Los métodos actuales intentan resolver esto ya sea prediciendo todo el video futuro fotograma a fotograma (lo cual es computacionalmente pesado y lleno de detalles estáticos inútiles como la pared del fondo) o simplemente prediciendo el estado final del objetivo (lo que le dice al robot a dónde ir, pero no cómo llegar allí).

Los autores de este artículo sugieren que estos dos enfoques son, en realidad, mejores amigos que deben ser presentados. Necesitas el "objetivo" (la imagen final) y el "camino" (el movimiento). Si solo tienes el objetivo, el robot no conoce la física del viaje. Si solo tienes el camino, el robot podría perderse sin un destino.

La Solución: El enfoque de dos vertientes de FoMoVLA

FoMoVLA (Foresight and Motion VLA) es un marco de entrenamiento que enseña a un robot a hacer ambas cosas simultáneamente. No cambia el cerebro del robot de forma permanente; en su lugar, añade un "modo de entrenamiento" especial donde el robot aprende dos cosas adicionales junto con su tarea principal de moverse.

La Bola de Cristal (Predicción de Características Futuras): Se le enseña al robot a imaginar cómo se verá la escena después de terminar su tarea. En lugar de intentar redibujar toda la imagen futura (que es difícil), aprende a predecir la "vibra" o las características clave del estado futuro. Es como mirar un rompecabezas y predecir cómo será la imagen final sin dibujar cada una de las piezas.
El Rastreador de GPS (Seguimiento de Puntos Dispersos): Simultáneamente, el robot aprende a rastrear puntos específicos en los objetos a medida que se mueven. Imagina poner una pequeña pegatina en una taza y observar cómo se desliza por la mesa. El robot aprende a predecir exactamente dónde estará esa pegatina en los próximos segundos. Esto le enseña al robot el "cómo" del movimiento: el flujo continuo de la acción.

La Fórmula Secreta: Conectando los Puntos

La verdadera magia ocurre en cómo estas dos habilidades se comunican entre sí. En muchos intentos anteriores, los robots aprendían estas habilidades por separado, como dos estudiantes estudiando en habitaciones diferentes. FoMoVLA los obliga a colaborar utilizando un módulo especial llamado FCCA (Atención Cruzada Condicionada por el Futuro).

Así es como funciona: La "Bola de Cristal" (la predicción del futuro) le dice al "Rastreador de GPS" (la predicción del movimiento) cómo es el destino. El rastreador utiliza entonces esa información para determinar el mejor camino para llegar allí. Es como un conductor (el rastreador) que sabe el destino (la previsión) y puede navegar mucho mejor que un conductor que solo está adivinando hacia dónde girar. El artículo muestra que cuando estos dos se vinculan, las predicciones del robot se vuelven mucho más precisas y consistentes.

Los Resultados: Robots más inteligentes, sin coste adicional

Los investigadores probaron FoMoVLA en varias tareas robóticas desafiantes, incluyendo la suite LIBERO (una colección de tareas como apilar bloques y mover objetos) y el conjunto de datos RoboCasa (que simula un entorno doméstico con un robot humanoide).

Rendimiento: FoMoVLA logró resultados de vanguardia, superando a otros modelos robóticos de alto nivel. Por ejemplo, en las tareas de horizonte "Largo" en LIBERO (que requieren planificar varios pasos por adelantado), FoMoVLA alcanzó una tasa de éxito del 97.6%, superando significativamente a los métodos anteriores.
Generalización Zero-Shot: Incluso cuando el robot fue probado en situaciones completamente nuevas que nunca había visto antes (como diferentes iluminaciones o ángulos de cámara), funcionó increíblemente bien, logrando una tasa de éxito del 80.5% en el benchmark LIBERO-Plus.
Eficiencia: ¿Lo mejor de todo? Todo este "pensamiento" extra ocurre solo durante el entrenamiento. Cuando el robot está trabajando en el mundo real, no necesita ejecutar la bola de cristal ni el rastreador de GPS. Simplemente utiliza el conocimiento que absorbió. Esto significa que el robot funciona tan rápido como antes, con casi ningún coste adicional de memoria o tiempo (añadiendo solo unos 9.4 ms de latencia).

Lo que el artículo descarta

Los autores tienen cuidado en señalar qué es lo que no funciona bien. Encontraron que simplemente predecir los píxeles futuros (la imagen completa) es demasiado caótico y redundante. También descubrieron que si le enseñas al robot a predecir el futuro y a rastrear el movimiento por separado sin dejar que se comuniquen, los resultados son solo ligeramente mejores que no hacer nada. La sinergia —la conversación entre el "qué" y el "cómo"— es lo que marca la diferencia.

La Conclusión

FoMoVLA sugiere que para construir robots verdaderamente capaces, necesitamos enseñarles a imaginar el futuro y a comprender la trayectoria del movimiento simultáneamente. Al combinar una visión "orientada al objetivo" con una visión "orientada al movimiento", los robots pueden aprender a manipular el mundo de forma más natural y fiable. Aunque el sistema actual todavía depende del seguimiento en 2D y aún no comprende completamente la geometría 3D, representa un paso significativo hacia la creación de robots que no solo reaccionan, sino que realmente anticipan.

Resumen Técnico: FoMoVLA

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han demostrado un fuerte rendimiento en el aprendizaje de políticas visuomotoras, pero siguen siendo fundamentalmente reactivos. Mapean las observaciones actuales e instrucciones de lenguaje directamente a acciones sin una predicción explícita de la dinámica del mundo. Si bien investigaciones recientes han intentado mejorar la previsión de los VLA mediante la supervisión predictiva del futuro, los enfoques existentes sufren de dos limitaciones primarias:

Redundancia y Sobrecarga: La predicción densa de píxeles de los fotogramas futuros preserva información rica de la escena pero captura una gran cantidad de contenido estático irrelevante para el control, lo que genera altos costos de modelado.
Falta de Guía de Movimiento: Las representaciones compactas a nivel de fotogramas clave (keyframes) mejoran la eficiencia, pero típicamente solo caracterizan el estado objetivo (a dónde ir) sin capturar la trayectoria de movimiento continua (cómo llegar allí) necesaria para alcanzarlo.

Los autores argumentan que la previsión accionable debe codificar no solo el estado futuro, sino también la dinámica de movimiento temporal continua que conduce hacia él.

Metodología: FoMoVLA

FoMoVLA es un marco de entrenamiento únicamente que aumenta un modelo VLA de base con supervisión espacio-temporal explícita mediante el aprendizaje conjunto de la predicción de características futuras y el seguimiento de puntos 2D dispersos. La arquitectura consta de tres ramas complementarias:

1. Rama de Seguimiento de Puntos (Guía de Movimiento)

Esta rama fundamenta las representaciones de tokens de imagen en un movimiento espacial explícito.

Mecanismo: El modelo predice trayectorias de puntos 2D que abarcan todo el bloque de acción (action chunk). Para asegurar que el modelo comprenda el movimiento relevante para la tarea, la secuencia de entrada se reordena de modo que los tokens de texto precedan a los de imagen, permitiendo que los tokens de imagen atiendan a la instrucción de lenguaje completa.
Supervisión: Un rastreador de puntos (tracker) preentrenado y congelado (CoTracker-v3) actúa como profesor, generando objetivos de desplazamiento de puntos y etiquetas de visibilidad dispersos para una cuadrícula de puntos.
Salida: Cabezales de proyección ligeros predicen los desplazamientos de los puntos y la visibilidad, optimizados mediante regresión de desplazamiento, clasificación de visibilidad y pérdidas de suavidad de la trayectoria.

2. Rama de Predicción de Características Futuras (Estado Objetivo)

Esta rama proporciona una representación compacta del estado objetivo final.

Mecanismo: El modelo añade $K$ tokens <Foresight> aprendibles a la secuencia de entrada. Estos tokens son entrenados para codificar las características visuales del fotograma final ( $t+T$ ) del bloque de acción.
Supervisión: Un profesor de Media Móvil Exponencial (EMA) proporciona características visuales estables. Un decodificador MAE ligero reconstruye las características objetivo desde el cuello de botella compacto de $K$ tokens.
Objetivo: Una pérdida de similitud de coseno asegura que los tokens capturen cambios globales a nivel de escena en lugar de detalles temporales finos.

3. Atención Cruzada Condicionada por el Futuro (FCCA)

Para garantizar la consistencia entre el estado anticipado y la trayectoria de movimiento, los dos objetivos se acoplan.

Mecanismo: Un módulo de atención cruzada ligero condiciona la predicción de movimiento (seguimiento de puntos) sobre la representación de la previsión (foresight).
Diseño: El módulo utiliza atención de múltiples cabezales donde las características de visión son las consultas (queries), y los tokens de previsión son las claves (keys) y valores (values). La proyección de salida está inicializada en cero, lo que permite que el módulo actúe como un mapeo de identidad al inicio del entrenamiento y aprenda gradualmente a inyectar información futura en los tokens espaciales.
Efecto: Esto ancla la estimación de la trayectoria local a una prioridad de previsión global, asegurando que el movimiento predicho sea consistente con el estado futuro predicho.

Entrenamiento e Inferencia

Entrenamiento: La pérdida total combina la pérdida de predicción de acción (Flow Matching) con las pérdidas auxiliares de previsión y seguimiento. Los profesores (rastreador de puntos y EMA) están congelados y no reciben gradientes.
Inferencia: Todas las ramas auxiliares (cabezales de seguimiento, decodificador MAE, FCCA) se descartan. Solo los $K$ tokens de <Foresight> permanecen en la secuencia de entrada. Esto resulta en cero sobrecarga de parámetros y un aumento de latencia insignificante (9.4 ms) durante el despliegue.

Contribuciones Clave

Marco Novedoso: Introducción de FoMoVLA, que aumenta las representaciones latentes de VLA con supervisión espacio-temporal explícita mediante el aprendizaje conjunto de la predicción de características futuras compactas y el seguimiento de puntos 2D dispersos.
Módulo FCCA: Un mecanismo de atención cruzada condicionado por el futuro que acopla los tokens de previsión con el seguimiento de puntos temporal, asegurando la consistencia entre los estados visuales anticipados y la dinámica de movimiento geométrica.
Rendimiento de Vanguardia: El método logra resultados de estado del arte en los benchmarks LIBERO y RoboCasa GR-1 Tabletop, con una fuerte generalización zero-shot en LIBERO-Plus.

Resultados Experimentales

El artículo evalúa FoMoVLA a través de tres benchmarks:

LIBERO: El modelo completo (con FCCA) logra una tasa de éxito promedio del 98.8% en cuatro suites de tareas (Spatial, Object, Goal, Long), superando a baselines competitivos incluyendo GR00T-N1.5, $\pi_0$ y X-VLA. El estudio de ablación confirma que el módulo FCCA proporciona ganancias significativas, particularmente en tareas de largo horizonte (LIBERO-Long), donde el entrenamiento multitarea independiente no logra alcanzar la sinergia.
RoboCasa GR-1 Tabletop: FoMoVLA logra una tasa de éxito del 56.9%, una mejora del 9.1% sobre el backbone StarVLA-GR00T, demostrando efectividad en una plataforma humanoide con observaciones egocéntricas.
LIBERO-Plus (Zero-Shot): El modelo logra un éxito general del 80.5% en datos perturbados (punto de vista, estado del robot, lenguaje, iluminación, etc.) sin ajuste fino, superando significativamente al base StarVLA (+6.4%) y igualando el rendimiento de Abot-M0.

Significado y Reivindicaciones

Los autores afirman que FoMoVLA logra cerrar la brecha entre la previsión visual y la guía de movimiento. Al tratar la predicción de características futuras y el seguimiento de puntos dispersos como objetivos complementarios, el modelo aprende a codificar tanto el estado objetivo como la trayectoria de movimiento continua hacia él.

Las afirmaciones clave respecto a su importancia incluyen:

Fundamentación Espacio-Temporal: El marco permite al modelo aprender acciones que son tanto orientadas al futuro como físicamente restringidas, yendo más allá de los mapeos reactivos.
Eficiencia: El enfoque introduce supervisión espacio-temporal explícita sin aumentar el costo de inferencia, ya que todos los componentes auxiliares son solo para entrenamiento.
Generalización: El método demuestra una fuerte generalización zero-shot, sugiriendo que la supervisión espacio-temporal explícita mejora la capacidad del VLM para representar la estructura visual y la dinámica, lo cual se identifica como un cuello de botella primario en el control incorporado (embodied control).

El artículo reconoce limitaciones, señalando que los modelos de supervisión de seguimiento actuales ven el movimiento dependiente de la vista en el espacio de imagen 2D y no capturan la geometría 3D. Se sugiere como trabajo futuro complementar el seguimiento 2D con la predicción de movimiento 3D.