💻 computer science

RLinf-VLA: A Unified and Efficient Framework for Reinforcement Learning of Vision-Language-Action Models

El artículo presenta RLinf-VLA, un marco unificado y eficiente que estandariza la integración de diversas arquitecturas de VLA y algoritmos de RL al tiempo que optimiza la asignación de recursos para lograr aceleraciones significativas en el entrenamiento y un rendimiento de vanguardia en múltiples evaluaciones de inteligencia encarnada.

Autores originales: Hongzhi Zang, Mingjie Wei, Si Xu, Yongji Wu, Zhen Guo, Yuanqing Wang, Hao Lin, Peihong Wang, Liangzhi Shi, Yuqing Xie, Zhexuan Xu, Zhihao Liu, Kang Chen, Wenhao Tang, Quanlu Zhang, Weinan Zhang, Chao

Publicado 2026-08-13

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hongzhi Zang, Mingjie Wei, Si Xu, Yongji Wu, Zhen Guo, Yuanqing Wang, Hao Lin, Peihong Wang, Liangzhi Shi, Yuqing Xie, Zhexuan Xu, Zhihao Liu, Kang Chen, Wenhao Tang, Quanlu Zhang, Weinan Zhang, Chao Yu, Yu Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde los robots no son solo máquinas sin mente que siguen una lista estricta de instrucciones, sino aprendices curiosos que pueden entender lo que dices, ver lo que ves y descubrir cómo mover sus propios cuerpos para lograr objetivos. Esta es la emocionante frontera de los modelos de Visión-Lenguaje-Acción (VLA). Piensa en estos modelos como el "cerebro" del robot, entrenados con enormes cantidades de datos de internet para comprender el lenguaje y las imágenes. Pero hay un inconveniente: el hecho de que un robot sepa qué es una taza y escuche "recoge la taza", no significa que sepa la mejor manera de agarrarla sin volcarla. Para volverse realmente bueno en tareas físicas, estos robots necesitan practicar, cometer errores y aprender de los resultados. Aquí es donde entra el Aprendizaje por Refuerzo (RL). Puedes pensar en el RL como un bucle de entrenamiento de un videojuego: el robot intenta una acción, recibe una "puntuación" (recompensa) si tiene éxito y aprende a repetir los buenos movimientos mientras evita los malos. La gran pregunta que se hacen los científicos es: ¿cómo construimos un sistema de entrenamiento lo suficientemente rápido e inteligente como para permitir que estos robots aprendan habilidades complejas sin que tarde una eternidad?

Presentamos RLinf-VLA, un nuevo marco de trabajo que actúa como un gimnasio de entrenamiento súper eficiente para estos cerebros robóticos. Los investigadores detrás de este artículo se dieron cuenta de que, si bien tenemos modelos robóticos potentes y excelentes algoritmos de entrenamiento, el "gimnasio" en sí mismo solía estar averiado. Los sistemas anteriores eran como intentar correr un maratón cargando una mochila pesada; eran lentos, torpes y no podían manejar bien diferentes tipos de entornos de entrenamiento. A veces, el cerebro del robot (el modelo) estaba esperando a que el simulador (el mundo virtual) se pusiera al día, y otras veces el simulador estaba esperando al cerebro, dejando chips informáticos costosos ociosos.

El equipo construyó RLinf-VLA para solucionar este atasco de tráfico. Crearon un sistema unificado que puede integrar diferentes simuladores de robots, diferentes arquitecturas de cerebro y diferentes algoritmos de aprendizaje, todo a la vez. Pero la verdadera magia reside en cómo gestionan la potencia informática. Introdujeron un ingenioso modo "híbrido" que actúa como una danza bien coreografiada. En lugar de dejar que el cerebro del robot y el mundo virtual se esperen el uno al otro, canalizan el proceso: mientras el cerebro piensa en el siguiente movimiento para una parte de la simulación, el simulador ya está ejecutando el movimiento anterior para otra parte. Esto mantiene todo moviéndose a máxima velocidad.

Los resultados de este nuevo sistema son impresionantes. En sus simulaciones, el marco de trabajo hizo que el entrenamiento fuera hasta 2.27 veces más rápido que los métodos anteriores. Cuando pusieron a prueba sus modelos entrenados, los resultados fueron sólidos. Un solo modelo entrenado con RLinf-VLA logró una tasa de éxito del 98.11% en 130 tareas diferentes en el benchmark LIBERO y un 97.66% en 25 tareas en ManiSkill. Incluso en las complicadas tareas de RoboTwin, que implican el uso de dos manos, los modelos alcanzaron una tasa de éxito promedio del 84.63%. Los investigadores también probaron una versión de esto en el mundo real con un brazo robótico físico cerrando un cajón. Aunque la tasa de éxito fue la misma que la de un modelo estándar (8 de cada 10 intentos), el robot entrenado con RL se movía de forma más fluida y eficiente, evitando los movimientos torpes y bruscos de la versión no entrenada.

El artículo sugiere que este nuevo marco de trabajo no es solo una mejora de velocidad; es una herramienta fundamental que hace posible entrenar estos complejos cerebros robóticos a una escala mucho mayor que antes. Al estandarizar la forma en que estos sistemas se comunican entre sí y optimizar cómo utilizan los recursos informáticos, RLinf-VLA ofrece un camino hacia robots que puedan aprender nuevas habilidades físicas de forma rápida y fiable, acercándonos un paso más al día en que los robots puedan ayudarnos verdaderamente en nuestra vida diaria.

Resumen Técnico: RLinf-VLA

Declaración del Problema

Los avances recientes en los modelos de Visión-Lenguaje-Acción (VLA) han demostrado el potencial del aprendizaje por refuerzo (RL) para mejorar el rendimiento de las tareas mediante la interacción. Sin embargo, la investigación actual en este dominio enfrenta tres desafíos primarios:

Fragmentación: Los esfuerzos existentes carecen de una plataforma unificada para una comparación justa entre diversas arquitecturas de VLA, algoritmos de RL y simuladores.
Ineficiencia: El entrenamiento escalable de RL se ve obstaculizado por diseños de sistemas que no tienen en cuenta la contención de recursos específica en entornos corporales (embodied). A diferencia de los Grandes Modelos de Lenguaje (LLM), el entrenamiento de VLA implica un acoplamiento estrecho entre la inferencia del modelo, el renderizado del simulador y la optimización, lo que a menudo conduce a tiempos de inactividad de la GPU y burbujas en el pipeline.
Falta de Estandarización: La ausencia de una interfaz unificada dificulta la extracción de principios generales para el entrenamiento de VLA basado en RL, ya que los trabajos existentes dependen de protocolos y bases de código dispares.

Metodología

Los autores presentan RLinf-VLA, un marco unificado y eficiente diseñado para abordar estos desafíos mediante la abstracción a nivel de sistema y la optimización algorítmica.

1. Abstracción de Sistema Unificada

RLinf-VLA proporciona una interfaz estandarizada que integra:

Múltiples Simuladores: Soporta entornos heterogéneos, incluyendo simuladores paralelizados por CPU (ej., LIBERO) y por GPU (ej., ManiSkill, RoboTwin).
Diversas Arquitecturas: Acomoda varios modelos VLA (ej., OpenVLA, OpenVLA-OFT, $\pi_0$ ) y formulaciones de acción (paso único frente a fragmentos de acción o action chunks).
Algoritmos de RL: Soporta algoritmos on-policy como PPO y GRPO, con extensibilidad para métodos off-policy.

2. Estrategias Flexibles de Asignación de GPU

Para maximizar la utilización de los recursos, el marco introduce tres modos de ejecución:

Modo Colocalizado (Collocated Mode): Todos los componentes (Generación, Simulador, Entrenamiento) comparten las mismas GPUs. Los autores modificaron el enfoque estándar para minimizar la sobrecarga de descarga-carga (offload-onload) restringiendo estas operaciones al inicio y al final de las fases de despliegue (rollout).
Modo Desagregado (Disaggregated Mode): Los componentes se asignan a distintas particiones de GPU. Aunque es simple, esto a menudo conduce a la subutilización debido a las dependencias entre componentes (ej., GPUs esperando datos).
Modo Híbrido (Nuevo): Este modo combina los beneficios de los dos anteriores. Asigna la Generación y el Simulador a diferentes particiones de GPU mientras permite que el Entrenamiento utilice todas las GPUs. Crucialmente, introduce un pipelining de grano fino, donde las instancias del simulador se particionan en sub-simuladores ( $S^{(1)}, S^{(2)}, \dots$ ). Esto permite que los componentes de Simulador y Generación se ejecuten concurrentemente, mitigando las "burbujas de GPU" causadas por dependencias secuenciales sin incurrir en la sobrecarga de descargas de datos frecuentes.
Auto-Colocación (Auto-Placement): Un algoritmo ligero determina automáticamente la asignación óptima de GPU y la profundidad del pipeline ( $k=1$ o $k=2$ ) basándose en el perfilado en tiempo de ejecución para minimizar el tiempo de despliegue.

3. Decisiones de Diseño Algorítmico

El marco destila decisiones de diseño específicas para escalar RL a VLAs:

Soporte de Multi-Granularidad: Soporta el cálculo de ventaja y log-probabilidad a niveles de Fragmento (Chunk), Acción y Token.
Mejoras de PPO:
- Reinicio Parcial (Partial Reset): Reinicia los sub-entornos inmediatamente tras su terminación en lugar de esperar a una longitud de episodio fija, mejorando la eficiencia de muestreo.
- Crítico de Compartición de Parámetros (Parameter-Sharing Critic): Adjunta una cabeza de valor ligera al modelo de lenguaje del actor para evitar el costo computacional de una red crítica separada.
- Estimación de Valor a Nivel de Acción: Se encontró empíricamente que supera la estimación a nivel de fragmento para los fragmentos de acción.
Mejoras de GRPO:
- Máscara de Acción Válida (Valid Action Mask): Enmascara los pasos temporales que ocurren después de la finalización de la tarea para centrar la optimización en los pasos relevantes.
  cia.
- Normalización de la Longitud de la Trayectoria: Normaliza la pérdida por el número de pasos temporales válidos para evitar que las trayectorias más largas dominen los gradientes.
- Filtro de Tasa de Éxito: Descarta grupos de trayectorias donde todos los resultados son idénticos (todos éxito o todos fallo) para asegurar un cálculo de ventaja significativo.

Resultados Clave

El marco fue evaluado a través de tres benchmarks: LIBERO (130 tareas), ManiSkill (25 tareas) y RoboTwin (6 tareas).

Ganancias de Rendimiento:
- LIBERO: Un único modelo unificado logró una tasa de éxito del 98.11% en 130 tareas (frente al ~42% de la línea base).
- ManiSkill: Un único modelo logró un 97.66% de éxito en 25 tareas (frente al ~18% de la línea base para OpenVLA-OFT).
- RoboTwin: Seis modelos específicos de tareas lograron una tasa de éxito promedio del 84.63% (una mejora del 63.75% sobre el modelo base).
- Los modelos entrenados con RL superaron consistentemente a las líneas base de Ajuste Fino Supervisado (SFT), particularmente en la generalización fuera de la distribución (OOD).
Eficiencia del Sistema:
- El modo Híbrido con pipelining de grano fino logró aceleraciones de 1.61×–1.88× en ManiSkill en comparación con las líneas base desagregadas.
- En general, RLinf-VLA logró una aceleración de hasta 2.27× sobre los marcos existentes (ej., SimpleVLA-RL) optimizando tanto las fases de despliegue como de entrenamiento.
Transferencia al Mundo Real:
- Un experimento preliminar en el mundo real en una tarea de cierre de cajón mostró que una política optimizada por RL completó la tarea de manera más eficiente que una línea base de solo SFT, exhibiendo comportamientos más directos y fluidos a pesar de haber sido entrenada principalmente en simulación.

Significado y Reivindicaciones

Los autores posicionan a RLinf-VLA como un marco fundacional para el campo de la inteligencia corporal (embodied intelligence). Su importancia radica en:

Unificación: Proporciona la primera interfaz unificada para soportar diversos simuladores, modelos y algoritmos, permitiendo comparaciones justas y reproducibilidad.
Eficiencia: Al abordar los problemas específicos de contención de recursos del RL corporal (simulador vs. inferencia vs. entrenamiento), ofrece una solución escalable que reduce significativamente el tiempo de entrenamiento.
Mejores Prácticas: El artículo destila decisiones de diseño accionables (ej., estimación de valor a nivel de acción, reinicio parcial, máscara de acción válida) que guían la investigación futura en el entrenamiento de VLA basado en RL.
Apertura: Publicado como una plataforma de código abierto y de mantenimiento activo, busca acelerar y estandarizar la investigación en este dominio.

El artículo concluye que, si bien el RL basado en simulación muestra promesa para el despliegue en el mundo real, la contribución principal es el establecimiento de una infraestructura robusta, eficiente y extensible necesaria para avanzar en las capacidades de VLA a través del aprendizaje por refuerzo.