💬 NLP

EmbodiedMidtrain: Bridging the Gap between Vision-Language Models and Vision-Language-Action Models via Mid-training

El artículo presenta EmbodiedMidtrain, un enfoque que cierra la brecha entre los modelos visión-idioma (VLM) y los modelos visión-idioma-acción (VLA) mediante un proceso de "mid-training" con un motor de datos curados que selecciona muestras alineadas con la robótica, mejorando significativamente el rendimiento en tareas de manipulación robótica.

Autores originales: Yiyang Du, Zhanqiu Guo, Xin Ye, Liu Ren, Chenyan Xiong

Publicado 2026-04-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yiyang Du, Zhanqiu Guo, Xin Ye, Liu Ren, Chenyan Xiong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que quieres enseñarle a un robot a cocinar, limpiar o armar muebles. Para ello, necesitas un cerebro muy inteligente que pueda ver el mundo, entender lo que le dices y, lo más importante, saber cómo mover sus brazos para hacer las cosas.

Este paper, titulado "EmbodiedMidtrain", trata sobre cómo mejorar ese "cerebro" del robot para que no solo sea un experto en hablar y ver, sino también en actuar.

Aquí te lo explico con una analogía sencilla:

1. El Problema: El Chef que nunca ha tocado una sartén

Imagina que tienes un chef increíblemente famoso (llamémosle VLM). Este chef ha leído millones de libros de cocina, ha visto millones de fotos de comida y puede describirte un plato con palabras preciosas. Es un experto en teoría.

Pero, si le pides que entre a tu cocina y cocine un huevo frito, probablemente se caiga. ¿Por qué? Porque su entrenamiento fue en libros y fotos, no en cocinas reales con fuego y sartenes.

En el mundo de la robótica, pasa lo mismo:

Los modelos actuales (VLAs) toman al "chef experto" (el modelo de visión y lenguaje) y le piden que mueva un brazo robótico.
El problema es que el chef está acostumbrado a hablar de comida, no a tocarla. Hay una "brecha" (un abismo) entre lo que sabe el modelo general y lo que necesita saber para actuar en el mundo real.

2. La Solución: El "Entrenamiento de Puente" (Mid-training)

Los autores proponen una solución genial llamada EmbodiedMidtrain. No es volver a entrenar al chef desde cero (lo cual sería muy caro y lento), ni tampoco es simplemente darle instrucciones finales.

Es como un curso de "inmersión" o "ponte al día" antes de que el chef empiece a cocinar de verdad.

¿Cómo funciona este curso?

Imagina que tienes una biblioteca gigante con millones de libros (datos de entrenamiento). La mayoría son libros de historia, poesía o ciencia, que al chef le sirven para ser culto, pero no para cocinar.

El Detector de Olores (Estimador de Proximidad):
Los autores crean un pequeño "detective" o "olfato" (un algoritmo ligero). La tarea de este detective es revisar la biblioteca gigante y decir: "¡Oye! Este libro sobre cómo se ve un huevo al romperse es muy útil para un chef. Pero este libro de poesía sobre un atardecer... bueno, no ayuda tanto a cocinar".

El detective no elige libros enteros; elige páginas específicas (muestras de datos) que huelen a "acción real" y "espacio físico".
La Selección de Datos:
En lugar de leer todos los libros al azar, el detective selecciona solo las páginas más relevantes: aquellas que hablan de objetos, espacios, manos, herramientas y cómo interactuar con ellos.
El Entrenamiento (Mid-training):
El chef (el modelo de visión) pasa unas semanas estudiando solo esas páginas seleccionadas. No aprende a cocinar todavía, pero su cerebro se "reconfigura". Ahora, cuando ve una foto de una cuchara, su cerebro no solo piensa "es un objeto brillante", sino que piensa "es algo que puedo agarrar y mover".
El Resultado:
Cuando finalmente le piden al chef que entre a la cocina a cocinar (el entrenamiento final del robot), ya no empieza desde cero. Empieza con una ventaja enorme. Sabe cómo moverse porque su "curso de puente" le enseñó a pensar como un robot, no solo como un lector.

3. ¿Qué lograron? (Los Resultados)

El paper demuestra que este método es un éxito por tres razones principales:

Eficiencia: Con un modelo pequeño (el chef "junior") y este entrenamiento especial, logran resultados tan buenos como los "grandes maestros" (modelos gigantes) que han estudiado mucho más tiempo y con más recursos. Es como si un estudiante brillante, con el método de estudio correcto, superara a uno que estudió 10 años sin rumbo.
Transferencia: Lo que aprende el detective para un tipo de robot, sirve para otros. Es como si el "olfato" para detectar datos útiles fuera universal.
Mejora desde el primer día: Al empezar el entrenamiento final, el modelo ya es mejor. No tarda en "calentarse"; su ventaja está ahí desde el primer paso y sigue creciendo.

En resumen

EmbodiedMidtrain es como un traductor de contexto. Toma un modelo inteligente que sabe mucho del mundo (pero solo en teoría) y le da un "choque de realidad" selectivo. Le enseña a filtrar la información para enfocarse en lo que realmente importa para moverse y actuar en el mundo físico, cerrando la brecha entre saber y hacer.

Es una forma inteligente y económica de preparar a la inteligencia artificial para que deje de ser solo un "chatbot" y se convierta en un robot capaz de trabajar.

1. El Problema: La Brecha de Distribución entre VLM y VLA

Los Modelos Visión-Lenguaje-Acción (VLA) son fundamentales para el control robótico generalista, ya que unifican la percepción visual, la comprensión del lenguaje y la generación de acciones. La mayoría de los VLA actuales se construyen utilizando Modelos Visión-Lenguaje (VLM) preentrenados como columna vertebral (backbone).

Sin embargo, existe una brecha fundamental de distribución de datos:

VLM: Se entrenan con datos generales (descripción de imágenes, VQA, comprensión de documentos) que cubren un espectro amplio y diverso.
VLA: Se entrenan con trayectorias de manipulación robótica, que requieren razonamiento espacial, comprensión de affordances (posibilidades de acción) e interacción física.

El problema central es que los VLM "de caja" (off-the-shelf) no están adaptados al dominio corporal (embodied). Aunque poseen fuertes capacidades visuales y lingüísticas, sus representaciones internas no están alineadas con las necesidades de razonamiento para la generación de acciones. Simplemente hacer fine-tuning (ajuste fino) de un VLM en datos robóticos no es suficiente, ya que el modelo parte de un punto de inicialización mal alineado, lo que limita el rendimiento final.

2. Metodología: EmbodiedMidtrain

Los autores proponen EmbodiedMidtrain, un marco de trabajo que cierra esta brecha mediante un proceso de entrenamiento intermedio (mid-training) antes del ajuste fino específico para VLA. La metodología consta de tres etapas principales:

A. Análisis de la Brecha de Distribución

Los autores primero caracterizan la diferencia entre los datos de VLM y VLA en un espacio de representación compartido (usando los estados ocultos finales de un VLM).

Hallazgo: Los datos de VLA forman clústeres compactos y separados de la distribución general y dispersa de los datos de VLM.
Heterogeneidad: No todos los datos de VLM son igualmente irrelevantes; existe una subsección de datos de VLM que está intrínsecamente más alineada con el dominio de VLA (por ejemplo, datos que requieren razonamiento espacial).

B. Motor de Datos Basado en Proximidad

En lugar de entrenar con todos los datos de VLM disponibles, el sistema selecciona una subsección curada.

Estimador de Proximidad (Proximity Estimator): Se entrena un clasificador binario ligero sobre las características congeladas de un VLM. Este clasificador aprende a distinguir entre muestras de datos VLA (positivas) y VLM (negativas).
Puntuación y Selección: El clasificador asigna una puntuación de "proximidad" a cada muestra del gran pool de datos VLM. Las muestras con mayor puntuación (las que más se parecen a los datos de VLA) se seleccionan.
Mezcla Curada: Se construye un conjunto de datos de entrenamiento intermedio que preserva la diversidad de los datos generales de VLM, pero con una distribución desplazada hacia el dominio de VLA.

C. Entrenamiento Intermedio y Ajuste Fino

Mid-training: El VLM se entrena (mid-train) en esta mezcla curada de datos seleccionados.
Fine-tuning de VLA: El modelo resultante se utiliza como inicialización para el ajuste fino final en tareas de VLA específicas.

3. Contribuciones Clave

Pipeline de Mid-training Basado en Proximidad: Introducen EmbodiedMidtrain, un motor de datos que aprende un estimador de proximidad para puntuar y seleccionar muestras de VLM que son más compatibles con el dominio de VLA, creando una inicialización superior.
Mejoras Consistentes en el Rendimiento: Demuestran que esta estrategia mejora el rendimiento en múltiples benchmarks de manipulación robótica y con diferentes arquitecturas de VLM (backbones), superando a modelos mucho más grandes entrenados con presupuestos de datos más amplios.
Análisis de la Inicialización: Revelan que el entrenamiento intermedio proporciona una inicialización fundamentalmente mejor. Las ventajas se manifiestan desde los primeros pasos del ajuste fino y se amplían a lo largo del entrenamiento, no siendo solo una ventaja transitoria.
Transferibilidad: La selección de datos basada en las características de un modelo (ej. InternVL3.5-1B) también mejora el rendimiento de otros modelos (ej. Qwen3VL-2B), indicando que la alineación capturada es generalizable.

4. Resultados Experimentales

Los experimentos se realizaron en tres benchmarks de manipulación simulada: Calvin ABC-D, SimplerEnv Bridge y Libero-10.

Rendimiento Superior con Menos Recursos: Un modelo InternVL3.5-1B (1.1B de parámetros) con EmbodiedMidtrain superó a modelos expertos de VLA (como OpenVLA de 7.7B y $\pi_0$ de 3.1B) en tareas de Calvin, y rindió a la par de modelos mucho más grandes (como Qwen3VL-8B) en SimplerEnv y Libero, utilizando solo una fracción de los datos de entrenamiento.
Comparativa con Selección Aleatoria: El uso de selección aleatoria de datos para el mid-training resultó inferior, confirmando que la ganancia proviene de la selección inteligente basada en la alineación con el dominio, no simplemente de la cantidad de datos adicionales.
Métricas de Proximidad: El estimador de proximidad aprendido superó consistentemente a métricas heurísticas manuales como la distancia en el espacio de características o la perplejidad delta.
Análisis de Datos Seleccionados: El sistema aprendió a priorizar muestras que requieren razonamiento espacial y referencia a objetos (ej. "¿Qué objeto está frente a ti?") sobre tareas centradas en el texto (ej. reconocimiento de texto en portadas de libros), preservando al mismo tiempo la diversidad general de los datos de VLM.

5. Significado e Impacto

El trabajo de EmbodiedMidtrain es significativo porque cambia el paradigma de cómo se adaptan los modelos fundacionales a la robótica:

Eficiencia: Demuestra que la calidad de la alineación de los datos de entrenamiento intermedio es más crítica que el simple aumento de la escala del modelo o la cantidad de datos.
Generalización: Ofrece una solución escalable que no requiere arquitecturas complejas ni grandes cantidades de datos robóticos costosos para la fase de pre-alineación.
Fundamento para la Inteligencia Corporal: Proporciona una metodología robusta para preparar los backbones de visión-lenguaje para la inteligencia corporal, asegurando que las representaciones internas estén listas para el razonamiento espacial y la acción física antes de comenzar el entrenamiento específico de la tarea.

En resumen, EmbodiedMidtrain demuestra que un "puente" de datos intermedio, seleccionado inteligentemente, es esencial para transformar un modelo de lenguaje visual generalista en un agente robótico efectivo.