🤖 AI

EXIMO: VLM Guided Exploration of VLA Policies

Este artículo presenta EXIMO, un algoritmo de tres etapas que combina un planificador de Modelo de Visión y Lenguaje (VLM) para la descomposición de tareas y la recolección de datos con el aprendizaje por imitación y el aprendizaje por refuerzo residual subsiguientes para ajustar eficientemente políticas de Visión-Lenguaje-Acción (VLA) de gran escala para nuevas tareas robóticas.

Autores originales: Bhavya Sukhija, Oliver Groth, Mohit Shridhar, Tim Hertweck, Michael Bloesch, Markus Wulfmeier, Abbas Abdolmaleki, Martin Riedmiller

Publicado 2026-08-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Bhavya Sukhija, Oliver Groth, Mohit Shridhar, Tim Hertweck, Michael Bloesch, Markus Wulfmeier, Abbas Abdolmaleki, Martin Riedmiller

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots han luchado durante mucho tiempo por aprender nuevas tareas sin que un humano esté parado justo a su lado, guiando cada movimiento. Durante años, el enfoque más exitoso ha sido mostrarle a un robot miles de horas de demostraciones humanas, enseñándole a copiar esos movimientos específicos. Esto funciona bien para trabajos simples y repetitivos, pero falla cuando un robot se enfrenta a una situación que nunca ha visto antes, como descubrir cómo poner una fruta específica en un tazón basándose en un acertijo sobre lo que le gusta comer a un mono. La alternativa, dejar que un robot aprenda mediante ensayo y error, suele ser demasiado lenta y peligrosa para el mundo real, ya que el robot podría necesitar millones de intentos para tener éxito. El desafío para los científicos es encontrar una manera de dar a los robots la capacidad de reflexionar sobre un problema y aprender rápidamente, sin necesidad de que un humano registre cada uno de los pasos.

Un equipo de investigadores de Google DeepMind ha desarrollado un nuevo método llamado Eximo para resolver este problema. Comenzaron con un robot que ya sabía realizar habilidades básicas, como recoger un plátano o colocar una taza, pero que no podía descubrir cómo combinar estas habilidades para metas complejas de varios pasos. Para cerrar esta brecha, introdujeron un segundo programa informático altamente inteligente que actúa como un planificador estratégico. Este planificador, conocido como un modelo de visión y lenguaje, puede observar el entorno del robot y comprender el objetivo general, como "pon el plato y el tazón en el estante". En lugar de intentar mover los brazos del robot directamente, este planificador descompone el gran objetivo en una serie de instrucciones sencas en lenguaje natural, como "recoge el plato azul con tu mano izquierda", y se las pasa al robot.

El proceso ocurre en tres etapas distintas. Primero, los investigadores permitieron que el robot y el planificador trabajaran juntos para explorar nuevas tareas. El planificador observa el progreso del robot a través de una transmisión de cámara y actualiza constantemente sus instrucciones, guiando al robot a través de los pasos que debe seguir para tener éxito. Cuando el robot completa una tarea con éxito, el equipo guarda esa secuencia de eventos. En la segunda etapa, utilizan estos éxitos guardados para enseñar al robot directamente. Toman el cerebro original del robot y lo ajustan utilizando los ejemplos exitosos, mostrándole efectivamente cómo resolver el problema por su cuenta sin necesidad de que el planificador le susurre instrucciones al oído. Finalmente, en la tercera etapa, dejan que el robot practique la tarea nuevamente, esta vez utilizando un método de aprendizaje que le permite realizar pequeños ajustes en sus movimientos para volverse aún más preciso y confiable.

Los resultados de este enfoque fueron probados en un entorno simulado con veintidós tareas diferentes, que iban desde colocar platos en un estante hasta clasificar herramientas en compartimentos específicos. Los investigadores descubrieron que el robot, cuando era guiado por el planificador durante la exploración inicial, era capaz de resolver estas tareas complejas con mucha más frecuencia que un robot que intentara resolverlas por sí solo. Más importante aún, después de que el robot fuera enseñado utilizando los ejemplos exitosos del planificador, se volvió significativamente mejor en la tarea que incluso los robots más avanzados disponibles actualmente. El robot aprendió a resolver problemas que requerían razonamiento, como identificar un objeto por su descripción en lugar de su nombre, y lo hizo con muchos menos intentos de los que requerirían los métodos tradicionales.

Este trabajo demuestra que combinar las habilidades físicas de un robot con un poderoso programa informático de pensamiento puede crear un aprendiz mucho más capaz. La clave de la idea es que el robot no necesita mantener el programa de pensamiento funcionando para siempre; en cambio, puede aprender de la guía del programa y luego realizar la tarea de forma independiente. Al utilizar este método, los investigadores demostraron que los robots pueden ser enseñados a realizar comportamientos nuevos y complejos de manera rápida y eficiente, acercándose un paso más a máquinas que puedan adaptarse a la naturaleza impredecible del mundo real sin necesidad de una supervisión humana constante.

Resumen Técnico: Eximo: Exploración Guiada por VLM de Políticas VLA

Planteamiento del Problema

El artículo aborda el desafío de ajustar de manera eficiente las políticas robóticas para aprender nuevas tareas complejas sobre la marcha sin depender de la costosa teleoperación humana. Si bien las políticas de manipulación robótica de vanguardia se basan en el aprendizaje de clonación de comportamiento (LBC) a gran escala de modelos de Visión-Lenguaje-Acción (VLA), estos modelos tienen dificultades con tareas de largo horizonte, compositivas o que requieren mucho razonamiento que se encuentran fuera de su distribución de entrenamiento.

Dos enfoques existentes presentan limitaciones:

Aprendizaje por Refuerzo (RL): Aunque es capaz de la auto-mejora, el RL es notoriamente ineficiente en muestras, particularmente para tareas de largo horizonte donde la exploración es difícil. Aplicar RL directamente a modelos VLA masivos se complica aún más por su tamaño y diseño arquitectónico (por ejemplo, cabezales de difusión).
Clonación de Comportamiento basada en Teleoperación: La recopilación de nuevos conjuntos de datos de teleoperación para cada nueva tarea requiere cientos de horas de costosa mano de obra humana y no logra capturar la diversidad completa de los escenarios del mundo real.

Los autores proponen un escenario donde una política VLA preentrenada, condicionada por lenguaje, se adapta a nuevas tareas especificadas únicamente mediante objetivos de lenguaje natural y un detector de éxito, con el objetivo de lograr eficiencia de muestras sin teleoperación adicional.

Metodología: Eximo

Los autores proponen Eximo, un algoritmo de tres etapas diseñado para cerrar la brecha entre la comprensión semántica y el control motor. El proceso consta de Explorar, Imitar y Optimizar.

1. Explorar: Recopilación de Datos Guiada por VLM

En esta fase, el sistema aprovecha un Modelo de Lenguaje-Visión (VLM) de vanguardia para actuar como un planificador de alto nivel y orquestador para el VLA.

Mecanismo: Se le proporciona al VLM (específicamente Gemini) el historial visual del entorno y el objetivo de lenguaje natural. Este descompone la meta compleja de largo horizonte en una secuencia de subobjetivos o instrucciones de corto horizonte que sean tratables.
Interacción: El VLM opera en un bucle cerrado, proporcionando instrucciones de lenguaje natural paso a paso al la política VLA (por ejemplo, "levanta el plato azul con tu mano izquierda"). El VLA ejecuta estas instrucciones.
Filtrado de Datos: El sistema ejecuta estas políticas orquestadas. Solo los episodios que completan con éxito la tarea (verificada por un detector de éxito de verdad fundamental) se almacenan en un búfer de datos. Los intentos fallidos se filtran.
Objetivo: Recopilar trayectorias de alta calidad y diversas para nuevas tareas sin intervención humana, aprovechando el conocimiento del mundo del VLM para la exploración semántica.

2. Imitar: Ajuste Fino Supervisado (SFT)

Las trayectorias exitosas recopiladas se utilizan para destilar el conocimiento de orquestación del VLM de vuelta al VLA.

Proceso: El VLA se ajusta mediante clonación de comportamiento supervisada sobre el conjunto de datos filtrado.
Destilación: Crucialmente, el VLA es entrenado para predecir acciones condicionadas directamente al objetivo de la tarea original ( $g$ ), en lugar de las instrucciones intermedias proporcionadas por el VLM. Esto permite que el VLA internalice el razonamiento de múltiples pasos y el encadenamiento de habilidades demostrado por el VLM.
Resultado: La política resultante se convierte en un agente independiente capaz de ejecutar la nueva tarea sin requerir consultas de VLM en línea, eliminando así la latencia y reduciendo la carga computacional durante el despliegue.

3. Optimizar: RL Residual en Línea

La etapa final refina aún más la política utilizando Aprendizaje por Refuerzo (RL) en línea.

Desafío: Entrenar VLAs grandes directamente mediante RL es difícil debido a su tamaño y a la escasez de recompensas en tareas de largo horizonte.
Enfoque: Los autores emplean una arquitectura de política residual. Una política residual más pequeña ( $\pi_{ref}$ ) aprende a producir un término de corrección ( $\Delta a$ ) basado en el estado actual, el objetivo y la acción predicha por el VLA ajustado ( $a_{VLA}$ ). La acción final ejecutada es $a = a_{VLA} + \Delta a$ .
Entrenamiento: La política residual se entrena utilizando RL fuera de la política (específicamente el algoritmo MPO) para maximizar la probabilidad de éxito. El VLA pre-ajustado proporciona una inicialización sólida, haciendo que la exploración para la política residual sea más eficiente en muestras.

Contribuciones Clave

Marco de Trabajo Eximo: Un novedoso flujo de trabajo de tres etapas (Explorar-Imitar-Optimizar) que combina la exploración guiada por VLM con el ajuste fino de VLA y el RL residual.
VLM como Orquestador: Demostrar que los VLMs pueden orquestar eficazmente las políticas VLA en lenguaje natural para resolver tareas complejas de largo horizonte sin requerir un anclaje explícito a APIs robóticas o conjuntos de habilidades predefinidos.
Destilación de Conocimiento: Mostrar que la destilación estratégica de las trayectorias guiadas por VLM hacia el VLA mediante SFT mejora significativamente el rendimiento y la eficiencia de muestras del VLA base, creando una política independiente que supera tanto al VLA base como al VLA orquestado por VLM durante la inferencia.
Integración de RL Residual: Integración exitosa de RL en línea con el ajuste fino de VLA mediante una política residual, logrando mayores ganancias de rendimiento mientras se mantiene la eficiencia de muestras.

Resultados Experimentales

Los autores evaluaron Eximo en 22 tareas de manipulación en simulación utilizando la plataforma robótica ALOHA. Las tareas incluyeron colocación de platos, selección de objetos basada en razonamiento (por ejemplo, "la fruta que le gusta al mono") y razonamiento espacial (por ejemplo, compartimentos izquierdo vs. derecho).

Eficiencia de Exploración: La orquestación por VLM aumentó significamente la tasa de éxito del VLA base (GROD) y redujo la longitud de los episodios en comparación con el VLA base solo, demostando una recolección de datos más eficiente.
Ganancias de Ajuste Fino: El ajuste fino supervisado (SFT) sobre los datos orquestados por VLM mejoró drásticamente el rendimiento del VLA base. El VLA ajustado superó al VLA orquestado por VLM en el momento de la inferencia, probando el éxito del proceso de destilación.
Rendimiento de RL: Cuando se aplicó RL en línea, la configuración "GROD + SFT + RL" alcanzó las tasas de éxito más altas y la convergencia más rápida. Superó significativamente al modelo base GROD incluso cuando el modelo base fue entrenado durante muchos más pasos del entorno.
Ablación: El artículo confirma que las tres etapas contribuyen al rendimiento final. Específicamente, destilar el comportamiento del VLM en el VLA es superior a mantener al VLM como un orquestador en línea durante la evaluación.

Significancia y Reivindicaciones

El artículo afirma que Eximo establece un nuevo paradigma para el entrenamiento de VLAs. Al combinar el conocimiento general del mundo de los VLMs con las habilidades sensoriomotoras de los VLAs, el enfoque permite que los robots adquieran nuevas habilidades sin las costosas horas de teleoperación.

Los autores enfatizan que este método permite:

Eficiencia de Muestras: Reducir drásticamente los datos requeridos para aprender nuevas tareas en comparación con el RL puro o la teleoperación pura.
Autonomía: Crear un bucle de aprendizaje totalmente autónomo donde el robot puede adaptarse a nuevas tareas que requieren razonamiento, especificadas únicamente mediante lenguaje natural.
Viabilidad de Despliegue: Producir una política independiente que no depende del orquestador VLM de alta latencia durante la ejecución, lo que la hace adecuada para el control en tiempo real.

El trabajo sugiere que los sistemas futuros pueden aprovechar los VLMs no solo como planificadores, sino como herramientas para la auto-destilación, permitiendo que los VLAs expandan continuamente sus capacidades a través de datos de alta calidad generados por sí mismos.