🤖 machine learning

Reinforcement Learning for Real-Time Vision-Language-Action Policies

Este artículo presenta Real-Time EXPO-FT, un marco de aprendizaje por refuerzo que desacopla la generación de acciones expresivas y lentas de la edición de acciones reactiva y rápida para permitir una adaptación eficiente en muestras y de alto rendimiento de los grandes modelos de Visión-Lenguaje-Acción a la dinámica del mundo real a pesar de la latencia de inferencia.

Autores originales: Perry Dong, Kuo-Han Hung, Dorsa Sadigh, Chelsea Finn

Publicado 2026-09-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Perry Dong, Kuo-Han Hung, Dorsa Sadigh, Chelsea Finn

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots han luchado durante mucho tiempo por moverse con la fluidez de los seres vivos. Si bien pueden ser programados para seguir un conjunto rígido de instrucciones en una fábrica, el mundo real es desordenado, impredecible y se mueve rápido. Para navegar esto, los investigadores han recurrido a un tipo de inteligencia artificial conocida como un modelo de visión-lenguaje-acción. Estos son programas informáticos masivos entrenados con enormes cantidades de datos, lo que les permite entender lo que ven a través de una cámara, leer una instrucción de texto y decidir cómo mover un brazo robótico. Son poderosos porque han visto tantos ejemplos de cómo funciona el mundo, actuando como una vasta biblioteca de experiencia. Sin embargo, hay un inconveniente significativo: debido a que estos modelos son tan grandes y complejos, tardan un tiempo notable en pensar. En el split segundo que la computadora tarda en procesar una imagen y decidir un movimiento, el mundo físico ya ha cambiado. Si un robot intenta atrapar una pelota o equilibrar un objeto, la información que utilizó para tomar su decisión ya es vieja para cuando realmente actúa, lo que a menudo causa que la acción falle.

Un equipo de investigadores de la Universidad de Stanford ha desarrollado una nueva forma de enseñar a estos grandes modelos a actuar en tiempo real, incluso cuando son lentos para pensar. Su enfoque, llamado Real-Time EXPO-FT, resuelve el problema del retraso dividiendo la toma de decisiones del robot en dos partes distintas. En lugar de obligar al modelo masivo y lento a realizar cada uno de los ajustes de cada split segundo, permiten que este realice el trabajo pesado de planificar una trayectoria general, mientras que un programa informático mucho más pequeño y rápido se encarga de las correcciones inmediatas. Imagine a un director dirigiendo una orquesta; el director establece el tempo y la melodía general, pero los músicos individuales deben ajustar su ejecución instantáneamente para mantenerse en sincronía. En este sistema, el modelo grande actúa como el director, proponiendo una secuencia de movimientos basada en lo que vio un momento antes. Luego, un asistente ligero observa el estado actual del mundo y realiza pequeñas y rápidas ediciones a esos movimientos propuestos para asegurar que sigan siendo correctos para el momento exacto en que el robot necesita actuar. Esto permite que el robot utilice el profundo conocimiento del modelo grande sin verse frenado por su velocidad de pensamiento lenta.

Los investigadores probaron este método en dos entornos muy diferentes: un mundo simulado de física y el mundo físico real. En la simulación, desafiaron al robot con diez tareas dinámicas diferentes, tales como equilibrar una pelota sobre un plato, patear una pelota de fútbol evitando a un defensor y atrapar un objeto en movimiento. Compararon su nuevo método contra varias técnicas existentes que intentaban manejar los retrasos. Los resultados fueron claros: el nuevo enfoque permitió al robot tener éxito en casi todos los ensayos, superando a todos los demás métodos, incluyendo aquellos que no tenían que lidñar con retrasos en absoluto. Este fue un hallazgo significativo porque demostró que, al enseñar explícitamente al sistema a tener en cuenta su propia lentitud, el robot podía volverse más confiable que los sistemas que eran teóricamente más rápidos pero menos adaptables.

Para demostrar que esto funcionaba en el mundo real, el equipo trasladó al robot a un entorno de laboratorio y le asignó cuatro tareas desafiantes que requerían una reacción constante y rápida. Estas incluían mantener una pelota de ping-pong equilibrada sobre un plato giratorio, recoger un bloque de una superficie giratoria, atrapar un objeto pasado por otro brazo robótico y patear una pelota hacia una portería mientras un defensor se movía alrededor. Los investigadores limitaron el tiempo de entrenamiento a solo diez minutos de interacción del robot con el entorno, asegurando que el sistema pudiera aprender rápidamente sin necesitar horas interminables de práctica. Antes de aplicar su método, la tasa de éxito del robot en estas tareas era bastante baja, promediando alrededor del 42 por ciento. Después de usar este nuevo marco de entrenamiento en tiempo real, la tasa de éxito saltó al 97 por ciento. El robot aprendió a adaptarse a los movimientos caóticos de los objetos y a las restricciones de tiempo de las tareas sin ninguna intervención humana durante el proceso de entrenamiento.

El estudio también exploró qué tan bien se mantenía el sistema bajo diferentes condiciones. Cuando los investigadores aumentaron artificialmente el retraso en el proceso de pensamiento del robot, el nuevo método mantuvo su alto nivel de desempeño, mientras que otros métodos fallaron a medida que el retraso crecía. Del mismo modo, cuando la velocidad de los objetos en movimiento aumentó, el robot que utilizaba este nuevo marco continuó teniendo éxito, mientras que otros enfoques tuvieron dificultades para seguir el ritmo. Esto demuestra que el sistema no solo funciona para una velocidad o retraso específicos, sino que es lo suficientemente robusto como para manejar la naturaleza impredecible de un entorno dinámico. Los investigadores señalaron que, si bien su sistema es altamente efectivo, todavía depende de un humano para reiniciar el robot después de que se termina una tarea, y requiere una forma específica de definir el éxito para cada tarea. Sin embargo, el logro central es una demostración de que los modelos de IA grandes y poderosos pueden hacerse trabajar en tiempo real, cerrando la brecha entre la planificación lenta y reflexiva de la inteligencia artificial y las demandas rápidas y reactivas del mundo físico.

Resumen Técnico: Real-Time EXPO-FT

Planteamiento del Problema
El ajuste fino mediante aprendizaje por refuerzo (RL) de modelos de Visión-Lenguaje-Acción (VLA) preentrenados y de gran escala promete un despliegue robótico fiable. Sin embargo, la escala de estos modelos introduce una latencia de inferencia significativa. En entornos del mundo real dinámicos, la observación utilizada para generar una acción suele estar obsoleta para el momento en que ocurre la ejecución. Esto crea un cambio de distribución donde la política actúa sobre información de estado desactualizada, degradando sustancialmente la fiabilidad y el rendimiento. Aunque trabajos previos han explorado la ejecución asíncrona (por ejemplo, Real-Time Chunking) para mitigar la latencia, estos métodos se basan principalmente en el aprendizaje por imitación y carecen de mecanismos para ir más allá de la distribución de entrenamiento. Además, la aplicación directa del RL estándar a políticas con retardo no logra capturar todas las ganancias de fiabilidad del RL porque las acciones se predicen a partir de observaciones previas, rompiendo la propiedad de Markov requerida para la asignación de crédito estándar.

Metodología: Real-Time EXPO-FT
El artículo propone Real-Time EXPO-FT, un marco que desacopla la generación de acciones expresivas y lentas de la edición de acciones rápidas y reactivas para permitir el ajuste fino por RL bajo restricciones de tiempo real. El enfoque se basa en EXPO-FT, un sistema de RL con eficiencia de muestreo para el ajuste fino de VLA, y lo integra con conceptos de Training-Time Real-Time Chunking (RTC).

La arquitectura central consta de tres componentes que operan en diferentes escalas temporales:

Generación de Acciones VLA Asíncrona (Lenta): Una política base VLA ( $\pi_{VLA}$ ) grande y preentrenada se ejecuta de forma asíncrona en segundo plano. Genera múltiples candidatos de fragmentos de acción (action chunks) basados en una observación $s_t$ y el prefijo de acción "comprometido" del fragmento anterior ( $a^{prev}_{t:t+d}$ ) para contabilizar el retraso de inferencia $d$ . Este paso utiliza flow-matching para muestrear candidatos diversos.
Ediciones Síncronas Rápidas (Rápidas): Una vez que el robot alcanza el tiempo de ejecución $t+d$ y adquiere la última observación $s_{t+d}$ , una política de edición ligera ( $\pi_{edit}$ ) realiza la toma de decisiones reactiva. Toma los fragmentos candidatos generados por la VLA y los edita basándose en el estado actual para corregir cualquier cambio de estado que haya ocurrido durante el retraso de inferencia.
Selección mediante Función Q: Una función Q aprendida ( $Q_\phi$ ) evalúa tanto los candidatos originales de la VLA como los candidatos editados bajo el estado actual $s_{t+d}$ . El sistema selecciona el fragmento de acción con el valor Q más alto para su ejecución.

Procedimiento de Entrenamiento

Ajuste Fino de la VLA: La VLA base se ajusta utilizando un objetivo de flow-matching modificado que simula el retraso de inferencia durante el entrenamiento. La pérdida se enmascara para excluir los primeros $d$ pasos de acción (la ventana de retraso), obligando al modelo a aprender a predecir las acciones restantes condicionadas al prefijo comprometido.
Entrenamiento de la Política de Edición: La política de edición se entrena para maximizar el valor Q de las acciones editadas, aprendiendo efectivamente a desplazar la salida de la política base hacia regiones de mayor valor en el espacio de acciones.
Entrenamiento del Crítico: El crítico se entrena mediante aprendizaje de diferencia temporal sobre fragmentos de acción completos. Para reducir el coste computacional durante el Bellman backup, el método emplea un mecanismo de filtrado de espacio de ruido (inspirado en FASTER). Un crítico ligero ( $Q^{dn}_\psi$ ) califica los vectores de ruido candidatos antes de la decodificación completa, lo que permite al sistema filtrar candidatos en el espacio de ruido y realizar una única decodificación VLA para el mejor candidato antes de aplicar las ediciones.

Contribuciones Clave

Marco para RL en Tiempo Real: El artículo introduce el primer marco que permite el ajuste fino por RL de modelos VLA grandes que contabiliza explícitamente la latencia de inferencia manteniendo frecuencias de control en tiempo real.
Arquitectura de Control Desacoplada: Propone un novedoso desacoplamiento entre la generación de comportamiento de alta capacidad y lenta (VLA) y la corrección de estado rápida y reactiva (Política de Edición), permitiendo que el sistema aproveche el conocimiento previo de la VLA mientras mantiene la reactividad.
Adaptación con Eficiencia de Muestreo: Al combinar la eficiencia de muestreo de EXPO-FT con estrategias de ejecución en tiempo real, el método logra una rápida adaptación a entornos dinámicos con un mínimo de datos en línea.

Resultados Experimentales
Los autores evalúan Real-Time EXPO-FT en el benchmark Kinetix (10 tareas de simulación) y en cuatro tareas dinámicas del mundo real (Pasar un objeto con robot, Equilibrio de pelota, Patada de fútbol de mesa y Recogida de objeto dinámico).

Simulación: En el benchmark Kinetix, Real-Time EXPO-FT logró el mejor rendimiento entre los métodos con y sin retardo en 10 de los 10 entornos. Superó significativamente a los baselines con retardo (DSRL, EXPO-FT con y sin RTC) e incluso superó al baseline de no-retardo RLPD (81.4% frente a 96.2% de tasa de éxito promedio) a pesar de operar con un retraso de inferencia de 4 pasos.
Mundo Real: En experimentos del mundo real limitados a 10 minutos de datos robóticos en línea, Real-Time EXPO-FT mejoró la tasa de éxito promedio de la política del 42% (12.5/30) al 97% (29/30). Logró un rendimiento casi perfecto (30/30) en Recogida Dinámica y Paso de Objeto, y 28/30 en Equilibrio de Pelota y Patada de Fútbol, superando sustancialmente a todos los baselines.
Robustez: El método demostró un rendimiento estable a través de diversos retrasos de inferencia y velocidades de entorno, mientras que los baselines como RTC se degradaron significativamente a medida que aumentaban los retrasos.

Significancia y Reivindicaciones
El artículo afirma que Real-Time EXPO-FT logra cerrar la brecha entre la alta fiabilidad del ajuste fino por RL y la reactividad requerida para la manipulación dinámica en el mundo real. Al modelar explícitamente la latencia de inferencia y desacoplar la generación de acciones de la ejecución, el método permite que los modelos VLA grandes se desplieguen en bucles de control de alta frecuencia sin sacrificar el rendimiento. Los resultados demuestran que es posible lograr una adaptación rápida y con eficiencia de muestreo a dinámicas desafiantes del mundo real sin intervención humana durante el entrenamiento, superando el cambio de distribución causado por la latencia del modelo.

Limitaciones
Los autores reconocen que su implementación actual depende de operadores humanos para los reinicios del entorno, lo que introduce una carga operativa. Además, la señal de recompensa depende de clasificadores de éxito específicos de la tarea (basados en reglas o aprendidos), lo que requiere un diseño manual para cada nueva tarea. El artículo señala que la automatización de los reinicios y la exploración de formulaciones de recompensa alternativas siguen siendo preguntas abiertas para trabajos futuros.

Resumen Técnico: Real-Time EXPO-FT

Más como este