💻 computer science

TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models

El artículo propone TEMPO, un marco de aprendizaje por refuerzo con semántica y acción desacopladas que congela la base de visión y lenguaje mientras emplea estrategias de actualización distintas de dos escalas temporales para la capa de proyección semántica y el experto de acción para estabilizar las representaciones de alto nivel y acelerar el aprendizaje de control de bajo nivel, superando así a los métodos existentes de supervisión y de postentrenamiento por aprendizaje por refuerzo tanto en tareas de manipulación de referencia como en el mundo real.

Autores originales: Ziheng Liu, Quantao Yang

Publicado 2026-08-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ziheng Liu, Quantao Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente cómo hacer las tareas del hogar, como doblar la ropa o hacer un sándwich. No quieres programar cada uno de sus movimientos a mano; en su lugar, quieres que el robot aprenda observándote y luego probándolo por sí mismo. Este es el mundo de los modelos de Visión-Lenguaje-Acción (VLA). Piensa en estos modelos como el cerebro de un robot que combina tres superpoderes: la Visión (ver el mundo a través de cámaras), el Lenguaje (entender tus instrucciones habladas como "pon la taza sobre la mesa") y la Acción (mover realmente sus brazos para hacerlo).

Antes de que un robot pueda aprender por su cuenta, normalmente recibe un enorme "preentrenamiento" con una gran biblioteca de datos, algo así como un estudiante leyendo todos los libros de una biblioteca antes de comenzar un trabajo específico. Esto le da al robot una comprensión general del mundo. Sin embargo, cuando le pides que realice una tarea nueva y específica, a menudo necesita un poco de ayuda adicional. Tradicionalmente, los científicos han utilizado dos formas principales para darle esa ayuda: el Ajuste Fino Supervisado (SFT), que es como mostrarle al robot un video del movimiento perfecto y pedirle que lo copie exactamente, y el Aprendizaje por Refuerzo (RL), que es como dejar que el robot intente la tarea, falle, reciba un "pulgar hacia abajo", lo intente de nuevo y, finalmente, reciba un "pulgar hacia arriba" cuando lo logre. La gran pregunta que los investigadores se plantean es: ¿Cómo enseñamos a estos robots a mejorar en tareas del mundo real sin romper el conocimiento general y smart que ya poseen?

Aquí entra TEMPO, un nuevo método propuesto por los investigadores Ziheng Liu y Quantao Yang. Imagina el cerebro del robot como un equipo de dos partes: un Erudito que entiende el panorama general y las instrucciones, y un Manitas que descubre los movimientos musculares específicos para completar el trabajo. En muchos métodos existentes, cuando el robot intenta aprender de sus errores, los científicos actualizan a todo el equipo a la misma velocidad. El problema es que, si le dices al Erudito que cambie de opinión demasiado rápido basándose en un solo error, podría olvidar las reglas generales del mundo, lo que causaría que el Manitas se confunda y falle.

TEMPO resuelve esto dividiendo los esquemas de aprendizaje del equipo. Congela el conocimiento central del Erudito (el "backbone de visión-lenguaje preentrenado") para que nunca olvide lo básico. Luego, crea dos bucles de entrenamiento separados. El Erudito (específicamente la parte que traduce el lenguaje en un plan) se actualiza de forma muy infrecuente. Esto mantiene la comprensión del robot sobre la tarea estable. Mientras tanto, el Manitas (el "experto en acción" que controla los músculos) se actualiza de forma muy frecuente. Esto permite que el robot aprenda rápidamente de sus interacciones inmediatas, como "ups, choqué contra la pared, déjame moverme a la izquierda".

Los investigadores probaron esta idea en un mundo virtual llamado CALVIN, donde los robots tienen que completar largas cadenas de tareas, como "abrir el cajón, agarrar el bloque y ponerlo en la caja". Descubrieron que TEMPO era el mejor en estas cadenas largas. En la simulación, TEMPO logró completar los cinco pasos seguidos el 81.7% de las veces, superando al mejor método anterior que solo logró un 81.2%. Más importante aún, cuando lo probaron en un brazo robótico real en un laboratorio físico, TEMPO aprendió a manejar situaciones complicadas mejor. Por ejemplo, si un cajón estaba solo ligeramente abierto, el método antiguo intentaría meter un bloque en el pequeño hueco y fallaría. TEMPO, gracias a su "Erudito" estable, se dio cuenta de que primero necesitaba abrir más el cajón y luego mover el bloque.

El artículo también exploró qué tan rápido debería aprender el Manitas en comparación con el Erudito. Encontraron que actualizar al Manitas 5 veces por cada 1 vez que el Erudito se actualiza funcionaba mejor. Si los actualizaban a la misma velocidad, el robot en realidad empeoraba, demostrando que el enfoque de "dos velocidades" es crucial. Aunque los resultados son muy prometedores en simulaciones y pruebas en el mundo real, los autores sugieren que el trabajo futuro podría consistir en enseñar al robot a entender por qué falló con más detalle, en lugar de solo saber si tuvo éxito o no. Por ahora, TEMPO muestra que, a veces, la mejor manera de enseñar a un robot es dejar que sus manos se muevan rápido mientras mantiene su mente estable.

Resumen Técnico: TEMPO

Planteamiento del Problema
Los modelos de Visión-Lenguaje-Acción (VLA) suelen adaptarse a tareas de manipulación robótica descendentes mediante el Ajuste Fino Supervisado (SFT) o el Aprendizaje por Refuerzo (RL) en línea. Sin embargo, el SFT está limitado por el desajuste de distribución, ya que optimiza para los datos de demostración en lugar de para el éxito en bucle cerrado bajo la distribución de estados inducida por la política, lo que provoca la acumulación de errores en tareas de largo horizonte. Los enfoques de RL en línea existentes intentan abordar esto, pero generalmente aplican una estrategia de actualización única y uniforme a todos los componentes entrenables del modelo VLA. Este enfoque unificado ignora las distintas funciones de los diferentes módulos: la capa de representación semántica (que codifica la comprensión de alto nivel) y el módulo de generación de acciones (que se mapea a controles ejecutables). Las actualizaciones uniformes corren el riesgo de desestabilizar las representaciones semánticas preentrenadas mientras no logran adaptar la política de acción con la suficiente rapidez para incorporar la retroalimentación de control en línea.

Metodología: TEMPO
Los autores proponen TEMPO, un marco de post-entrenamiento de RL de dos escalas temporales y desacoplado semántica-acción, diseñado para resolver estos conflictos. El método se basa en una arquitectura VLA modular (instanciada con FLOWER) que consiste en un backbone de visión-lenguaje preentrenado y congelado, una capa de proyección semántica y un experto de acción.

Los componentes técnicos clave incluyen:

Bucles de Optimización Desacoplados: TEMPO establece dos bucles de aprendizaje TD3 (DDPG con retraso doble) separados a nivel de módulo.
- Bucle Semántico: Optimiza la capa de proyección semántica ( $\pi^s_\theta$ ) utilizando representaciones semánticas multimodales ( $h_t$ ) como estados y acciones latentes ( $z_t$ ) como acciones. El backbone de visión-lenguaje preentrenado permanece congelado para preservar el conocimiento semántico general.
- Bucle de Acción: Optimiza el experto de acción ( $\pi^a_\phi$ ) utilizando acciones latentes ( $z_t$ ) como estados y fragmentos de acción ejecutables ( $a_t$ ) como acciones.
- Ambos bucles comparten la misma recompensa de tarea dispersa (1 para éxito, 0 de otro modo), pero mantienen buffers de experiencia, críticos y redes objetivo separados. Crucialmente, los gradientes no se propagan entre las dos vías de actualización.
Estrategia de Desacoplamiento de Frecuencia: La innovación central es la frecuencia de actualización asíncrona entre los dos módulos.
- El experto de acción se actualiza frecuentemente para incorporar rápidamente la retroalimentación de control y ejecución de las interacciones en línea.
- La capa de proyección semántica se actualiza infrecuentemente para evitar el "deriva de la acción latente" (latent action drift), asegurando que la representación semántica permanezca estable mientras la política de acción se adapta.
- La relación de frecuencias de actualización ( $\rho = f_a / f_s$ ) es un hiperparámetro ajustable. Los autores encuentran que $\rho > 1$ (actualizar el experto de acción con más frecuencia que la capa semántica) produce un rendimiento superior en comparación con las actualizaciones sincrónicas ( $\rho = 1$ ).

Contribuciones Clave

Diseño del Marco: Introducción de TEMPO, un marco que desacopla la optimización de los componentes semánticos y de acción en modelos VLA mediante bucles de RL dedicados, preservando el backbone congelado mientras se adaptan capas específicas descendentes.
Estrategia de Frecuencia de Actualización: Una novedosa estrategia de frecuencia de actualización específica por módulo que equilibra la estabilidad semántica con la mejora de la política. Al actualizar la capa de proyección semántica con menos frecuencia, el método mitiga la deriva en el espacio de acción latente, mientras que las actualizaciones frecuentes al experto de acción permiten un aprendizaje eficiente a partir de la retroalimentación en línea.
Validación Empírica: Evaluación exhaustiva que demuestra que el desacoplamiento de estos componentes y sus tasas de actualización conduce a un mejor rendimiento en horizontes largos en comparación con los baselines de RL unificados y los modelos VLA de vanguardia.

Resultados Experimentales
Los autores evaluaron TEMPO en el benchmark CALVIN (simulación) y en dos tareas de manipulación en el mundo real.

Benchmark CALVIN (Simulación): En la configuración ABC→D, TEMPO logró una tasa de éxito del 81.7% para completar una cadena de 5 tareas (SR5) y una longitud de cadena promedio (Avg. Len.) de 4.59. Esto superó al baseline más fuerte (DeFI) y al baseline de RL de bucle único (FLOWER-RL). Notablemente, la brecha de rendimiento entre TEMPO y los baselines se amplió a medida que aumentaba la longitud de la cadena de instrucciones, lo que sugiere que el método es particularmente efectivo para tareas de largo horizonte.
Estudios de Ablación:
- Necesidad de Componentes: Eliminar la actualización de la proyección semántica o la actualización del experto de acción resultó en un rendimiento inferior al del modelo completo de TEMPO, lo que indica que ambos módulos proporcionan beneficios complementarios.
- Relación de Frecuencia: Las relaciones de frecuencia de actualización de 5:1 y 10:1 (acción:semántica) superaron significativamente la relación 1:1. La configuración 1:1 funcionó peor que el baseline de bucle único, confirmando que el desacoplamiento de la frecuencia es esencial para las mejoras, y no solo la estructura de doble bucle.
- Tamaño del Conjunto de Tareas: El rendimiento no mejoró de forma monotónica con el tamaño del conjunto de tareas de post-entrenamiento; una configuración de una sola tarea funcionó mejor que una de 34 tareas, lo que sugiere que la composición de las tareas importa más que el volumen puro.
Experimentos en el Mundo Real: En tareas físicas que involucran el deslizamiento de bloques y la recuperación de coches (que requieren la manipulación de cajones), TEMPO logró recompensas de evaluación más altas y un rendimiento más estable que FLOWER-RL. El análisis cualitativo mostró que TEMPO aprendió con éxito prerrequisitos semánticos implícitos (por ejemplo, abrir completamente un cajón antes de manipular un objeto), mientras que el baseline falló debido a la deriva del espacio de acción latente.

Significancia y Reivindicaciones
El artículo afirma que TEMPO aborda una limitación crítica en el post-entrenamiento actual de los VLA: el conflicto entre mantener representaciones semánticas de alto nivel estables y adaptar rápidamente las políticas de control de bajo nivel. Al desacoplar estos componentes y sus frecuencias de actualización, TEMPO permite que los modelos VLA aprendan de la interacción en línea sin desestabilizar el conocimiento semántico fundacional codificado en el backbone. Los autores posicionan esto como un paso hacia una manipulación robótica más robusta y de largo horizonte, demostrando que la forma en que se actualizan los módulos es tan importante como qué se actualiza. El trabajo sugiere que las mejoras futuras podrían implicar el aprendizaje de funciones de recompensa densas condicionadas por el lenguaje para mejorar aún más la asignación de crédito en tareas de largo horizonte.

Más como este