🤖 machine learning

VLCP: Vision Language Control Policy Closed-Loop Code Replanning for Robot Manipulation

VLCP introduce una política de manipulación robótica libre de entrenamiento que mantiene congelado un modelo de visión y lenguaje y permite el control de bucle cerrado al hacer que este reescriba dinámicamente su propio código de control en Python cada $K$ pasos basándose en observaciones multivista, logrando una mejora de diez veces en la tasa de éxito respecto a las líneas base de bucle abierto mediante la recuperación de fallos durante el episodio.

Autores originales: Dhia Naouali, Minghan Wu, Claudia Wong, Abhinav Puthran, Omar G. Younis

Publicado 2026-08-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dhia Naouali, Minghan Wu, Claudia Wong, Abhinav Puthran, Omar G. Younis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la robótica, existe una brecha persistente entre lo que una computadora puede entender y lo que realmente puede hacer. Durante años, los científicos han intentado cerrar esta brecha enseñando a los robots a hablar el lenguaje del movimiento, obligando a los potentes modelos de inteligencia artificial a aprender un nuevo vocabulario especializado de comandos motores. Este enfoque requiere cantidades masivas de datos de entrenamiento y a menudo despoja al robot de su capacidad de razonar, dejándolo en un estado de memorización de acciones específicas en lugar de comprender la situación. Una idea más reciente sugiere que, en lugar de enseñarle a un robot un nuevo lenguaje, deberíamos dejar que hable el que ya conoce mejor: el código de computadora. Al pedirle a una IA que escriba un programa corto que le diga al robot cómo moverse, los investigadores pueden mantener intacto el razonamiento de la IA. Sin embargo, un fallo importante de este método ha sido que el programa se escribe una sola vez, antes de que el robot comience a moverse. Si el robot falla un agarre o choca con algo, el programa sigue ejecutándose ciegamente, arrastrando ese error hasta el final de la tarea sin posibilidad de corregirlo.

Un nuevo estudio introduce un sistema llamado VLCP, que cambia las reglas al permitir que el robot reescriba sus propias instrucciones mientras todavía está trabajando. Los investigadores construyeron un marco de trabajo donde un modelo de inteligencia artificial preentrenado y congelado actúa como supervisor. En lugar de enviar un único conjunto de comandos al principio, el sistema hace una pausa cada cincuenta pasos para observar la situación actual del robot a través de cámaras y sensores. Luego, le pide a la IA que escriba una función de Python nueva y corta para gestionar los siguientes cincuenta pasos basándose en lo que acaba de ver. Si el robot falló al recoger un objeto en la fase anterior, la IA nota el fallo en las imágenes, escribe un nuevo fragmento de código para corregir el acercamiento e intenta de nuevo, todo dentro del mismo intento. Esto crea un bucle cerrado donde el propio software de control es editado en tiempo real, en lugar de que solo se ajusten los movimientos del robot.

Los investigadores probaron este sistema en un entorno simulado que contenía cincuenta y siete tareas diferentes, que iban desde el simple recogida de objetos hasta secuencias complejas en entornos de cocina y sala de estar. Compararon su método contra una versión del mismo sistema que escribía el código solo una vez al principio y nunca miraba atrás. La diferencia fue contundente. El sistema que reescribía su código sobre la marcha tuvo éxito en el treinta y cinco por ciento de las tareas, mientras que el que se ciñó a su plan original tuvo éxito en solo el tres por ciento. Esta mejora de diez veces se mantuvo constante en cada tipo de escena que probaron. La clave de este éxito no fue solo que el robot pudiera ver sus errores, sino que pudiera cambiar las mismas instrucciones que los causaron. En casi el treinta por ciento de los casos en los que el robot falló inicialmente al agarrar un objeto, el sistema detectó el error, reescribió el enfoque y logró levantar el artículo con éxito más tarde en el mismo intento. Sin esta capacidad de editar el código a mitad de la tarea, esos fallos habrían sido permanentes.

Para asegurar que este proceso fuera práctico, el equipo midió cuánta potencia de cómputo requería. Debido a que la IA estaba reutilizando la mayor parte de la misma información de fondo para cada comprobación, el sistema solo necesitaba procesar una pequeña cantidad de datos nuevos cada vez. Esto permitió que el robot hiciera una pausa, pensara y reescribiera sus instrucciones aproximadamente diez veces durante una sola tarea sin volverse demasiado lento o costoso de ejecutar. El estudio también demostró que este método no dependía de que el robot memorizara frases o instrucciones específicas. Cuando los investigadores cambiaron la redacción de las descripciones de las tareas, el rendimiento del sistema se mantuvo estable, mientras que otros modelos que dependían de los datos de entrenamiento tuvieron dificultades significativas cuando el lenguaje cambió ligeramente. Esto sugiere que el sistema está comprendiendo verdaderamente el objetivo en lugar de simplemente coincidir con patrones.

Los investigadores señalaron cuidadosamente que sus resultados provienen de una simulación por computadora, no de un robot físico en una habitación real. El sistema actualmente depende de información digital perfecta sobre la ubicación de los objetos, algo que las cámaras del mundo real no siempre pueden proporcionar con tal certeza. Además, el tiempo que tarda la IA en generar un nuevo código significa que este enfoque es más adecuado para tareas que no requieren reacciones de milisegundos. A pesar de estas limitaciones, el estudio demuestra un camino claro hacia adelante: al mantener a la IA en el lenguaje del código y permitirle corregir sus propios errores a medida que ocurren, los robots pueden volverse mucho más capaces sin necesidad de ser reentrenados con miles de demostraciones humanas. El trabajo sugiere que el futuro del control robótico puede no residir en enseñar a las máquinas nuevas formas de moverse, sino en darles la libertad de editar sus propios planes a medida que aprenden.

Resumen Técnico: VLCP (Política de Control de Visión y Lenguaje)

Planteamiento del Problema
Los enfoques actuales para desplegar Modelos de Visión-Lenguaje (VLM) de frontera en robótica suelen depender de modelos de Visión-Lenguaje-Acción (VLA). Estos requieren el ajuste fino (fine-tuning) de VLM preentrenados para emitir tokens de acción de bajo nivel (por ejemplo, posiciones de las articulaciones o tokens motores especializados) que el modelo nunca encontró durante su preentrenamiento. Esta adaptación conlleva el riesgo de descartar las capacidades de razonamiento inherentes del modelo y requiere grandes conjuntos de datos de demostración. Además, los métodos existentes de "Código como Política" (Code-as-Policy) generan código de control una sola vez antes de que comience la ejecución. Si ocurre un fallo durante la ejecución (por ejemplo, un agarre fallido), estos sistemas de lazo abierto no pueden recuperarse porque la política es fija. Por el contrario, los métodos de lazo cerrado existentes que sí reaccionan a las observaciones suelen operar al nivel de la tarea o del lenguaje (reseleccionando subtareas o reintentando políticas fijas) en lugar de reescribir el código de control subyacente que causó el fallo.

Metodología
VLCP propone un marco de trabajo de lazo cerrado libre de entrenamiento que mantiene el VLM congelado y lo utiliza para generar una función de control de Python de horizonte corto. La innovación central es cerrar el lazo al nivel del propio código de control dentro de un mismo episodio.

Representación de Código como Política: En lugar de emitir tokens motores, el VLM congelado escribe una función de Python control(obs, J) que toma como entrada observaciones RGB de múltiples vistas, el estado propioceptivo y el Jacobiano del efector final. Esta función devuelve un diccionario de objetivos de posición de articulación para el controlador PD del simulador.
Replanteamiento de Lazo Cerrado: El episodio se divide en bloques de $K$ $K$ pasos (por defecto $K=50$ $K = 50$ ). Al inicio de cada bloque, se consulta al VLM para generar una nueva función de control basada en el estado actual.
- Observación: El VLM recibe imágenes RGB de múltiples vistas sincronizadas, estado numérico (pose del efector final, posiciones de las articulaciones, poses de los objetos) y un delta de estado explícito.
- Reescritura: Si el bloque anterior falló (por ejemplo, un intento de agarre fallido), el VLM observa la firma del fallo en las nuevas imágenes y reescribe la función de control para corregir el acercamiento para el siguiente bloque. Esto permite la recuperación durante el episodio, no solo entre ensayos.
Biblioteca de Habilidades: Los módulos auxiliares (habilidades) escritos durante cualquier replanteamiento se guardan en un directorio compartido en disco. Estos se reinyectan textualmente en el prompt del sistema de los replanteamientos subsecuentes (tanto dentro del mismo episodio como a través de episodios), permitiendo que la política acumule y reutilice habilidades sin necesidad de ajuste fino.
Ingeniería de Prompts: El prompt está estructurado para maximizar el almacenamiento en caché de tokens. Incluye un prefijo estático (documentación, API, ejemplos), una biblioteca de habilidades dinámica y un "pin de objetivo" (goal pin) (descripción de la tarea) que sobrevive a la truncación del contexto. Las imágenes solo se incluyen en el turno de usuario en vivo para evitar la saturación del contexto.

Contribuciones Clave

Marco VLCP: Un sistema de manipulación de lazo cerrado libre de entrenamiento que consulta nuevamente al VLM congelado cada $K$ pasos para reescribir la función de control basándose en observaciones en vivo y deltas de estado.
Biblioteca de Habilidades Trans-episodio: Un mecanismo donde los módulos auxiliares generados durante los replanteamientos se persisten y se reinyectan en futuros prompts, permitiendo la acumulación de habilidades sin reentrenamiento.
Ablación Controlada (El Lazo): Una comparación rigurosa contra un caso degenerado de lazo abierto ( $K=T$ , donde el VLM se consulta solo una vez por episodio). Esto aísla la contribución del bucle de replanteamiento dentro del episodio, manteniendo constantes el simulador, la API, el modelo y el conjunto de tareas.
Recuperación Cuantificada: Medición directa de la recuperación dentro del episodio, demostrando que el sistema puede detectar y corregir agarres fallidos a mitad del episodio.
Análisis de Viabilidad: Una demostración de que el enfoque es computacionalmente asequible mediante el almacenamiento en caché de prompts, requiriendo solo $\sim10$ llamadas al VLM por episodio con altas tasas de acierto en la caché.

Resultados
Evaluado en un barrido de 57 tareas a través de tres familias de escenas (Recogida de Objetos, Escenas de Cocina, Escenas de Sala de Estar) en MuJoCo/RoboVerse:

Tasa de Éxito: El VLCP de lazo cerrado ( $K=50$ ) logró una tasa de éxito combinada del 35.1%. En contraste, el sistema idéntico ejecutándose en modo de lazo abierto ( $K=T$ ) logró solo un 3.5%. Esto representa una mejora de diez veces con intervalos de confianza del 95% no superpuestos en todas las familias de escenas.
Mecanismo de Recuperación: El análisis de los registros reveló que el 27.3% de los agarres fallidos fueron recuperados con éxito mediante un replanteamiento posterior. La variante de lazo abierto tuvo una tasa de recuperación del 0% por construcción.
Generalización: Bajo el reencuadre de instrucciones (cambiar la redacción de las instrucciones de la tarea), VLCP mantuvo un rendimiento estable (40.0% tanto en la condición original como en la modificada), mientras que una línea base VLA ajustada (VLA-0) mostró un colapso de rendimiento significativo en tareas específicas cuando se refraseaban las instrucciones.
Eficiencia: El sistema logró una tasa de acierto de caché de tokens de entrada mediana del 84%. Un episodio requirió un promedio de 10 llamadas de replanteamiento, con una latencia mediana de 18.8 segundos por replanteamiento. Los 778 bloques de control generados se analizaron y compilaron con éxito (100% de validez).

Significancia y Reivindicaciones
El artículo afirma que VLCP demuestra que cerrar el lazo al nivel del código de control es una frontera distinta y efectiva para la manipulación robótica.

Preservación del Razonamiento: Al mantener el VLM congelado y utilizarlo para escribir código (un lenguaje en el que es fluido) en lugar de realizar un ajuste fino para acciones, el método preserva las capacidades de razonamiento de preentrenamiento del modelo.
El Lugar de la Corrección: Los autores argumentan que los métodos anteriores fallan porque reintentan políticas fijas o escalan hacia planificadores sin solucionar la causa raíz (el código de control). VLCP es uno de los pocos métodos que reescribe el artefacto fallido a mitad del episodio.
Viabilidad Sin Entrenamiento: Los resultados sugieren que un enfoque de cero demostraciones y libre de entrenamiento puede lograr un sólido rendimiento absoluto (35.1%) en tareas de manipulación complejas, siempre que el sistema pueda autocorregirse mediante la reescritura de código.
Sustrato de Aprendizaje Continuo: La biblioteca de habilidades trans-episodio ofrece un camino natural para el aprendizaje continuo, donde la competencia se acumula a través de los episodios sin reentrenamiento.

Los autores reconocen limitaciones, señalando que la implementación actual depende de las poses de los objetos proporcionadas por el simulador (evitando el ruido de percepción) y está limitada por la latencia de inferencia del VLM, lo que la hace adecuada para tareas de manipulación más lentas en lugar de un control reactivo de alta frecuencia. Enfatizan que la contribución es el lazo en sí mismo, no un programa específico generado.

Resumen Técnico: VLCP (Política de Control de Visión y Lenguaje)

Más como este