💻 computer science

Harness VLA: Steering Frozen VLAs into Reliable Manipulation Primitives via Memory-Guided Agents

Harness VLA es un marco de agentes aumentado por memoria que mejora la fiabilidad de los modelos de Visión-Lenguaje-Acción congelados en tareas de manipulación complejas al tratarlos como primitivas reintentables ricas en contacto y componiéndolos con una biblioteca fija de primitivas analíticas, logrando así mejoras significativas de rendimiento en benchmarks como LIBERO-Pro y RoboCasa365 sin requerir el ajuste fino del modelo.

Autores originales: Yixian Zhang, Huanming Zhang, Feng Gao, Xiao Li, Zhihao Liu, Chunyang Zhu, Jiaxing Qiu, Yuchen Yan, Jiyuan Liu, Wenhao Tang, Zhengru Fang, Yi Nie, Changxu Wei, Yu Wang, Wenbo Ding, Chao Yu

Publicado 2026-07-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yixian Zhang, Huanming Zhang, Feng Gao, Xiao Li, Zhihao Liu, Chunyang Zhu, Jiaxing Qiu, Yuchen Yan, Jiyuan Liu, Wenhao Tang, Zhengru Fang, Yi Nie, Changxu Wei, Yu Wang, Wenbo Ding, Chao Yu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un cerebro de robot súper inteligente que es increíble en una cosa específica: agarrar objetos de formas extrañas, girar perillas pegajosas o presionar botones. Es como un chef de clase mundial que puede picar verduras y sellar un filete perfectamente. Pero si le pides a este chef que planee toda una cena, navegue por una cocina concurrida o averigüe dónde está la sal cuando la mesa ha sido movida, se pierde por completo. Podría intentar picar el salero porque fue entrenado para una disposición de mesa específica, o podría quedarse paralizado cuando las instrucciones cambian ligeramente.

Este es el problema con los robots actuales de "Visión-Lenguaje-Acción" (VLA). Son excelentes en la parte del "contacto" (tocar y mover cosas), pero terribles en la parte de la "planificación" cuando las cosas se vuelven desordenadas o diferentes de su entrenamiento.

Entra en escena Harness VLA. Piensa en esto no como un nuevo cerebro de robot, sino como un brillante gestor de proyectos que se hace cargo del trabajo de dirigir la cocina.

El Trabajo en Equipo: El Gestor y el Especialista

En este nuevo sistema, el cerebro del robot (el VLA) está "congelado". Eso significa que no lo estamos reentrenando ni enseñándole trucos nuevos. Se mantiene exactamente como es, un especialista en tareas ricas en contacto. El sistema Harness VLA envuelve a un "gestor" (un agente de IA) alrededor de este especialista.

Así es como trabajan juntos:

El Gestor (El Planificador): Este es el jefe. Observa la tarea (por e.j., "Pon la leche en la nevera"), revisa la habitación y desglosa el trabajo en pasos diminutos y lógicos. Utiliza un conjunto pequeño y fijo de herramientas "analíticas"—como un GPS para mover el brazo, un comando simple para abrir la pinza o un movimiento para rotar la muñeca. Estas herramientas son como los reflejos básicos de un robot: predecibles, fiables y perfectas para moverse a través de espacios vacíos.
El Especialista (El VLA Congelado): El gestor solo llama al especialista cuando las cosas se ponen complicadas. Cuando el robot necesita realmente agarrar un cartón de leche resbaladizo, girar un grifo o presionar un botón, el gestor dice: "¡Muy bien, especialista, te toca a ti!". El especialista hace su magia durante unos segundos y luego devuelve el control al gestor.

La Fórmula Secreta: Un Cuaderno de Notas

La verdadera magia no es solo el trabajo en equipo; es la Memoria.

Imagina que el gestor tiene dos cuadernos:

El Cuaderno de Tareas: Después de que el robot resuelve con éxito un problema una vez, el gestor anota la secuencia de pasos que siguió. Pero aquí está la parte genial: en lugar de anotar coordenadas exactas como "mover a x=1.2, y=0.5", anota la lógica, como "mover hacia el cuenco rojo". De esta manera, si el cuenco está en un lugar diferente mañana, el gestor aún puede usar el mismo plan, simplemente reorientando los pasos hacia la nueva ubicación.
El Cuaderno Global: Esta es una colección de "reglas de oro" y "lecciones aprendidas" de muchas tareas diferentes. Contiene notas como: "Si la pinza se cierra pero el objeto no se mueve, es un agarre falso; inténtalo de nuevo", o "Siempre verifica la señal de éxito antes de celebrar".

Cuando llega una nueva tarea, el gestor consulta estos cuadernos. Si el robot falla, el gestor no se rinde simplemente. Lee las "reglas de fallo", ajusta el plan, reposiciona al robot e intenta de nuevo con la ayuda del especialista. Es como un humano aprendiendo a montar en bicicleta: te caes, recuerdas qué salió mal, ajustas tu equilibrio y lo intentas de nuevo.

Lo que este sistema NO es

El artículo es muy claro sobre lo que este sistema no hace. Argumenta explícitamente en contra de dos ideas comunes:

NO intenta hacer que el cerebro del robot sea más grande o más inteligente. Los autores no entrenaron un nuevo modelo de IA masivo para hacerlo todo. Mantuvieron el cerebro congelado y pequeño.
NO le da al robot una biblioteca infinita de nuevas habilidades. El gestor no inventa nuevas herramientas sobre la marcha. Utiliza un conjunto pequeño y fijo de herramientas (Mover, Rotar, Agarrar, Soltar) y aprende a combinarlas perfectamente.

El artículo sugiere que intentar que una sola IA gigante lo haga todo (planificar, moverse y agarrar) es en realidad el problema. Al dividir el trabajo, el sistema se vuelve mucho más fiable.

Los Resultados: ¿Funciona?

Los autores probaron este sistema en varios mundos virtuales, desde juegos de mesa simples hasta complejas simulaciones de cocina. Los resultados fueron bastante impresionantes:

En una prueba estándar llamada LIBERO-Pro, donde las instrucciones cambiaban o los objetos se movían a nuevos lugares, el sistema Harness VLA tuvo éxito 38.6 puntos porcentuales más veces que los mejores métodos anteriores.
En una simulación de cocina llamada RoboCasa365, mejoró las tasas de éxito en 25.4 puntos porcentuales.
En una prueba de robot de doble brazo llamada RoboTwin, alcanzó una tasa de éxito del 58.4%.

El artículo muestra que al dejar que un gestor inteligente se encargue de la planificación y la memoria, y usar solo el cerebro del "especialista" congelado para el agarre real, el robot puede manejar mucho mejor los cambios desordenados del mundo real que antes. Es un recordatorio de que, a veces, la mejor manera de construir un super-robot no es darle un cerebro más grande, sino un mejor gestor.

Resumen Técnico: Harness VLA

Planteamiento del Problema

La manipulación robótica condicionada por lenguaje requiere un sistema capaz tanto de un control preciso y rico en contactos como de un razonamiento robusto sobre el lenguaje, las escenas y las tareas de largo horizonte. Los enfoques actuales enfrentan un compromiso fundamental:

Modelos de Visión-Lenguaje-Acción (VLA) de Extremo a Extremo: Estos modelos sobresalen en tareas de contacto locales condicionadas por imágenes (p. ej., agarrar objetos irregulares, girar grifos), pero están entrenados en trayectorias dentro de su distribución. A menudo fallan ante perturbaciones de despliegue como el re-direccionamiento semántico, la re-vinculación de objetivos, cambios en la disposición espacial o cuando habilidades cortas deben componerse en rutinas más largas. Un solo fallo de contacto inestable puede descarrilar todo un despliegue monolítico.
Agentes de Codificación de LLM: Estos agentes proporcionan un fuerte razonamiento semántico y compositivo mediante la síntesis de programas ejecutables sobre APIs de percepción y control. Sin embargo, las primitivas puramente analíticas (p. ej., transporte de cinemática inversa, control de pinza) tienen dificultades con agarres irregulares, colocación restringida e interacción con objetos articulados. Además, escalar estos sistemas suele requerir la expansión de la biblioteca de habilidades, obligando al agente a validar la seguridad y la reutilización de las nuevas habilidades generadas.

El desafío central es combinar la fuerza visuomotriz local de los VLA con el razonamiento compositivo de los agentes sin requerir el ajuste fino (finetuning) del VLA ni la expansión del vocabulario de primitivas en el momento del despliegue.

Metodología: Harness VLA

Los autores proponen Harness VLA, un marco de agente aumentado por memoria que trata a un VLA congelado no como una política monolítica, sino como una primitiva reintentable y rica en contactos dentro de una biblioteca fija de controladores analíticos.

1. Arquitectura del Sistema

El sistema opera mediante una interacción de turno a turno, autorregresiva, entre un Planificador Agéntico ( $\Pi$ ) de alto nivel y un motor de física.

Biblioteca de Primitivas Fijas ( $\mathcal{P}$ ): El planificador está restringido a un conjunto pequeño y fijo de primitivas. Esto incluye:
- Primitivas Analíticas: Controladores deterministas y basados en modelos para tareas sin contacto (p. ej., MOVER A, ROTAR MUÑECA, CONFIGURAR PINZA, NAVEGAR A). Estos gestionan el transporte en espacio libre, el posicionamiento previo (staging), el ajuste de postura y la liberación.
- Primitiva VLA (VLA ACT): Una única primitiva aprendida que encapsula un VLA preentrenado y congelado. Se invoca únicamente para fases locales ricas en contacto (p. ej., agarre, inserción, actuación de accesorios).
Módulos de Memoria:
- Memoria Específica de la Tarea: Almacena trazas de composición de primitivas exitosas (formato JSONL) de una semilla de referencia. Estas trazas están parametrizadas (reemplazando coordenadas concretas por consultas simbólicas) para permitir un re-enraizamiento de pocos disparos (few-shot re-grounding) en nuevos diseños espaciales.
- Memoria Global: Almacena reglas de éxito reutilizables y modelos de fallo (p. ej., "evitar agarres vacíos", "re-posicionar si el contacto falla") destilados de la exploración.

2. Bucle de Ejecución

El marco sigue una ejecución de estilo Bucle de Lectura-Evaluación-Impresión (REPL):

Arranque Exploratorio (Bootstrapping): En una semilla de referencia, el planificador descubre autónomamente una solución iterando a través de composiciones de primitivas. Utiliza una primitiva de REINICIO (RESET) para reintentar fallos. Tras el éxito, abstrae la traza en la Memoria Específica de la Tarea y extrae heurísticas para la Memoria Global.
Evaluación de Despliegue: Ante perturbaciones no vistas (p. ej., intercambios de posición, redirecciones de instrucciones), el planificador recupera la traza de la Memoria Específica de la Tarea. Re-enraíza dinámicamente la traza usando observaciones RGB-D en vivo y consulta la Memoria Global para evitar modos de fallo conocidos. El planificador orquesta la secuencia: utilizando primitivas analíticas para el posicionamiento previo y el transporte, e invocando VLA ACT solo cuando el robot se encuentra en una configuración local favorable para el contacto.

3. Principios de Diseño Clave

Delegación Asimétrica: El enraizamiento semántico, la composición de largo horizonte y el razonamiento a nivel de escena son manejados por el planificador. El VLA congelado queda estrictamente reservado para operaciones locales ricas en contacto.
Contacto Reintentable: El planificador trata a VLA ACT como un intento local. Si una fase de contacto falla (p. ej., un agarre inestable), el planificador puede re-posicionar el robot (cambiar la pose de aproximación o el punto de vista) y reintentar la invocación del VLA, en lugar de fallar todo el episodio.
Sin Ajuste Fino (No Finetuning): El núcleo del VLA permanece congelado. El sistema extiende el rango operativo del VLA cambiando cuándo y cómo se invoca, no actualizando sus pesos.

Contribuciones Clave

Marco Agéntico Aumentado por Memoria: Una arquitectura novedosa que expone un VLA congelado como una primitiva dentro de una biblioteca fija, permitiendo la manipulación de largo horizonte y perturbada sin ajuste fino del V la ni expansión del vocabulario.
Análisis Empírico de Primitivas Fijas: Demuestra que una biblioteca de primitivas pequeña y fija es suficiente cuando el planificador aprende a orquestarla. Las invocaciones repetidas orquestadas por el planificador pueden reencuadrar intentos frágiles del VLA, mientras que las primitivas analíticas resuelven la estructura sin contacto.
Rendimiento de Benchmark Robusto: El marco logra resultados de vanguardia (state-of-the-art) a través de cuatro familias de benchmarks, superando significativamente a las líneas base de VLA directo y a los métodos agénticos previos.

Resultados Experimentales

Los autores evaluaron Harness VLA en cuatro familias de benchmarks: LIBERO, LIBERO-Pro, RoboCasa365 y RoboTwin C2R.

LIBERO Estándar: Harness VLA (usando un planificador Codex o Claude Code) logró una tasa de éxito agregada del 96.0%, manteniendo un rendimiento competitivo con el VLA congelado subyacente (95.3%) al tiempo que permite la robustez ante perturbaciones.
LIBERO-Pro (Perturbado): Bajo perturbaciones de redirección de instrucciones y de intercambio de posiciones, Harness VLA superó significativamente a la línea base más fuerte (RATS).
- Harness VLA (CC): 82.4% de éxito total.
- Harness VLA (Codex): 72.1% de éxito total.
- Mejora sobre RATS (43.8%): +38.6 puntos porcentuales.
- Mejora sobre la línea base de RLinf congelado (50.0%): +32.4 puntos porcentuales.
RoboCasa365 (Cocina del Hogar): Harness VLA mejoró sobre la línea base RLDX-1 congelada (30.0%) hasta alcanzar el 55.4% (Codex) y 48.6% (CC), una ganancia de +25.4 puntos porcentuales.
RoboTwin C2R (Bimanual Zero-Shot): En un escenario de transferencia de limpio a aleatorio, Harness VLA elevó la tasa de éxito del backend LingBot-VLA congelado (50.4%) al 58.4%.

Análisis de Mecanismo:

Re-enraizamiento Semántico: El planificador analiza explícitamente las descripciones de las tareas y re-vincula los objetivos, evitando que el VLA repita comportamientos del tiempo de entrenamiento cuando las instrucciones cambian.
Invocación Adaptativa: Las tasas de éxito aumentan rápidamente con las primeras pocas invocaciones del VLA orquestadas por el planificador, demostando que reintentar los intentos de contacto tras un re-posicionamiento es crítico para la robustez.
División del Trabajo: Las primitivas analíticas manejan la mayoría de los transportes y posicionamientos previos sin contacto (p. ej., 84.2% de las llamadas en LIBERO), reservando el VLA para las fases específicas ricas en contacto donde es más efectivo.

Significancia y Reivindicaciones

El artículo afirma que Harness VLA demuestra que los VLA preentrenados son más efectivos cuando se aíslan al control visuomotor rico en contactos, mientras que la abstracción de los vínculos semánticos y espaciales a un agente de nivel superior evita los fallos catastróficos comunes en los despliegues monolíticos.

Los autores argumentan que su enfoque ofrece un camino práctico hacia la manipulación robusta sin el costo computacional de realizar el ajuste fino de grandes modelos VLA para cada nueva tarea o entorno. Al tratar al VLA como un "especialista en contacto" y al agente como el "orquestador", el sistema extiende la utilidad de los modelos congelados a escenarios fuera de su distribución. El trabajo destaca que la clave de la robustez no reside en expandir la biblioteca de habilidades, sino en aprender el rango operativo de las primitivas fijas mediante la composición guiada por memoria y los mecanismos de reintento adaptativo.

Limitaciones: Los autores señalan que el sistema depende de un bucle de retroalimentación abierto entre el planificador y el VLA, carece de ajuste fino conjunto mediante recompensas ambientales (lo que sugiere trabajo futuro con aprendizaje por refuerzo) y está limitado por la ausencia de un subtitulado de imagen detallado para escenas altamente congestionadas. También sugieren la futura integración con sistemas de descubrimiento automático de habilidades (como ASPIRE) para expandir el vocabulario de primitivas cuando sea necesario.