🤖 AI

JoyNexus: Service-Oriented Multi-Tenant Post-Training for VLA Models

JoyNexus es un servicio unificado y multi-inquilino para modelos de Visión-Lenguaje-Acción (VLA) de post-entrenamiento que desacopla los componentes de entrenamiento, inferencia y entorno para permitir el uso compartido eficiente de recursos, la programación entre inquilinos y el procesamiento por lotes grupal, reduciendo así el tiempo agregado de GPU y mejorando la utilización en comparación con la ejecución tradicional aislada de un solo inquilino.

Autores originales: Haoran Sun, Wentao Zhang, Junyang Hua, Hedan Yang, Yongjian Guo, Yifei Zhang, Xiaolong Xiang, Mingxi Luo, Jing Long, Chen Zhao, Chen Zhou, Wanting Xu, Qiming Yang, Hui Zhang, Song Wang, Xiaodong Bai

Publicado 2026-07-20

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haoran Sun, Wentao Zhang, Junyang Hua, Hedan Yang, Yongjian Guo, Yifei Zhang, Xiaolong Xiang, Mingxi Luo, Jing Long, Chen Zhao, Chen Zhou, Wanting Xu, Qiming Yang, Hui Zhang, Song Wang, Xiaodong Bai, Shuai Di, Xu Chu, Xiaotie Deng, Yicheng Gong, Junwu Xiong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde los robots pueden aprender a hacer cosas igual que los humanos: ver una habitación desordenada, entender la instrucción "limpiar" y luego descubrir cómo recoger los juguetes. Este es el emocionante campo de los modelos de Visión-Lenguaje-Acción (VLA). Piensa en estos modelos como el cerebro de un robot que combina ojos (visión), una voz (lenguaje) y músculos (acción). Para que un robot realmente haga algo útil, los científicos tienen que "post-entrenarlo". Esto es como tomar a un estudiante inteligente que conoce hechos generales y enseñarle habilidades específicas, como atarse los cordones de un zapato o abrir un frasco.

Sin embargo, enseñar a estos cerebros robóticos es increíblemente caro y complicado. Actualmente, si un investigador quiere entrenar un robot, normalmente tiene que alquilar una computadora masiva y costosa (una GPU) para su uso exclusivo. Es como alquilar un gimnasio privado entero solo para hacer unos pocos ejercicios de flexión; la máquina se queda inactiva mientras tú cargas tus pesas o te tomas un descanso, y aun así tienes que pagar por toda la hora. Este enfoque de "un robot, un gimnasio" es un desperdicio y dificulta que muchas personas experimenten con el aprendizaje robótico al mismo tiempo.

Entra JoyNexus, una nueva idea de investigadores de JD AI Infra y varias universidades. Ellos proponen un "gimnasio compartido" para los cerebros robóticos. En lugar de alquilar una computadora entera, múltiples investigadores pueden compartir la misma máquina potente de forma segura y eficiente. El artículo presenta un sistema que actúa como un entrenador súper inteligente, permitiendo que muchos equipos diferentes entrenen sus robots simultáneamente sin chocar entre sí. Al organizar el trabajo de manera ingeniosa, JoyNexus sugiere que podemos reducir el tiempo y la energía totales necesarios para entrenar estos robots, haciendo que el aprendizaje robótico avanzado sea más rápido y barato para todos.

El "Gimnasio Compartido" para los Cerebros Robóticos

Entonces, ¿cómo funciona realmente JoyNexus? Imagina un gimnasio concurrido y de alta tecnología. En la forma antigua, si querías entrenar, alquilabas una habitación entera con una cinta de correr, pesas y un espejo, y tú serías el único permitido en ella. Si te detenías a beber agua o a revisar tu teléfono, la habitación se quedaba vacía, pero seguías pagando por todo el tiempo.

JoyNexus cambia las reglas. Convierte el gimnasio en un espacio compartido y bullicioso con tres zonas principales:

La Zona del Cerebro (Servicio de Entrenamiento del Modelo): Aquí es donde ocurre el trabajo pesado. El "cerebro" del robot (la parte grande y compleja que entiende imágenes y palabras) se mantiene en un lugar central y compartido. Es como una cinta de correr gigante y costosa que todos pueden usar.
La Zona de los Músculos (Módulo de Acción): Cada robot tiene sus propios "músculos" o habilidades específicas (como una pinza para una garra o una rueda para un coche). En JoyNexus, estas partes específicas se mantienen separadas para cada equipo. Tú traes tus propias pesas únicas a la cinta de correr compartida.
El Circuito de Obstáculos (Servicio de Entorno): Este es el simulador donde el robot practica. Podría ser una cocina virtual, el suelo de una fábrica o una sala de estar.

La magia de JoyNexus reside en cómo gestiona el tráfico. Utiliza un "Servicio Maestro" (como un gerente de gimnasio súper organizado) para decidir quién usa la cinta de correr en cada momento. Si el Equipo A está esperando a que su robot termine una simulación, y el Equipo B está listo para hacer una actualización matemática, el gerente los intercambia instantáneamente para que la cinta de correr nunca se detenga.

El Truco del "Procesamiento por Grupos"

Uno de los rasgos más geniales es algo que los autores llaman procesamiento por grupos (group batching). Imagina que estás en una cafetería. Si una persona pide un latte, el barista tiene que encender la máquina, moler los granos y espumar la leche solo para esa taza. Si diez personas piden lattes al mismoamente, el barista puede moler suficientes granos para los diez y espumar una jarra grande de leche, haciendo que el proceso sea mucho más rápido por taza.

JoyNexus hace esto para el entrenamiento de robots. A menudo, diferentes equipos envían pequeñas solicitudes al "cerebro" compartido (el modelo VLA). Si el sistema procesara estas solicitudes una por una, la computadora perdería tiempo arrancando y deteniéndose. En su lugar, JoyNexus espera una fracción de segundo para ver si otros equipos tienen solicitudes. Si las tienen, las agrupa. Ejecuta la parte del "cerebro compartido" una sola vez para todos ellos, y luego divide los resultados de vuelta a cada equipo para terminar el entrenamiento de su "músculo" específico.

El artículo muestra que esto funciona muy bien cuando muchos equipos envían lotes pequeños de datos. En sus simulaciones, cuando agruparon las solicitudes de 8 equipos diferentes, la velocidad de la "pasada hacia adelante" (forward pass) compartida (la parte donde el cerebro observa los datos) mejoró significamente. Para algunos modelos, esto hizo que la parte compartida del entrenamiento fuera 2.21 veces más rápida que hacerlo uno por uno.

Lo que Encontraron (y lo que No Encontraron)

Los investigadores probaron JoyNexus simulando un escenario con cuatro equipos diferentes: tres equipos entrenando robots para realizar tareas en entornos virtuales (como mover bloques en una simulación llamada LIBERO o ManiSkill), y un equipo practicando simplemente con un conjunto de datos estático (Ajuste Fino Supervisado).

Compararon este enfoque de "gimnasio compartido" con el antiguo método de "gimnasio privado" donde cada equipo ejecutaba sus tareas una tras otra. Los resultados fueron prometedores:

Menos Desperdicio: Al superponer el trabajo, JoyNexus redujo el "tiempo de GPU" total (el tiempo que la costosa computadora estuvo funcionando) en un 28.3%.
Mejor Uso: Las computadoras compartidas estuvieron ocupadas el 41.3% del tiempo en la configuración multi-inquilino, en comparación con solo el 20.8% en la configuración aislada. ¡Eso es casi el doble de eficiencia!
Sin Confusión: Crucialmente, el sistema mantuvo todo seguro. Aunque los equipos compartían el gran cerebro, sus "músculos" específicos, sus datos y su progreso estaban completamente aislados. El artículo muestra que las curvas de aprendizaje (qué tan rápido mejoran los robots) para cada equipo fueron exactamente iguales que si hubieran estado entrenando solos.

Es importante señalar que estos resultados provienen de simulaciones y pruebas de carga de trabajo, no de un despliegue en el mundo real de miles de robots. Los autores sugieren que este enfoque podría ahorrar dinero y tiempo, pero aún no han demostrado que funcionará perfectamente en cada posible escenario del mundo real. También señalan que, aunque el sistema es excelente para compartir recursos, actualmente depende de que los usuarios se ciñan a reglas específicas sobre cómo formatear sus datos. Si un equipo quiere usar un diseño de robot totalmente extraño y personalizado que no encaja en las reglas estándar del "gimnasio", podría ser más difícil integrarse.

El Futuro del Entrenamiento de Robots

El artículo concluye que JoyNexus es un gran paso para hacer que el aprendizaje de robots sea accesible. En lugar de necesitar un millón de dólares para alquilar una supercomputadora privada, los investigadores podrían potencialmente pagar solo por el tiempo que realmente usan, compartiendo el costo con otros.

Sin embargo, los autores son realistas. Admiten que para que esto funcione en el mundo real, necesitamos mejores formas de manejar la seguridad (para que un equipo no rompa accidentalmente el robot de otro), el precio (cuánto cobrar por el tiempo compartido) y la flexibilidad (permitir que los usuarios traigan sus propios simuladores extraños). Sugieren que las versiones futuras del sistema podrían volverse aún más inteligentes, ajustando automáticamente los recursos según qué tan ocupado esté el gimnasio.

En resumen, JoyNexus sugiere que el futuro del entrenamiento de robots no se trata de construir fortalezas más grandes e aisladas para cada investigador. Se trata de construir un centro comunitario bullicioso y eficiente donde todos puedan aprender juntos, compartir el equipo costoso y lograr que sus robots se muevan más rápido que nunca.

Resumen Técnico: JoyNexus – Servicio de Post-entrenamiento Multitenant Orientado a Servicios para Modelos VLA

1. Declaración del Problema

El post-entrenamiento de modelos de Visión-Lenguaje-Acción (VLA) es crítico para adaptar modelos fundacionales a diversos embodiment robóticos, simuladores y objetivos de tareas. Sin embargo, los paradigmas actuales de computación en la nube para el entrenamiento de VLA enfrentan ineficiencias significativas:

Carga de Infraestructura: Los servicios existentes típicamente asignan recursos exclusivos de GPU/CPU a un solo inquilino (ya sea mediante alquiler directo o envío por lotes). Esto obliga a los usuarios a gestionar dependencias de infraestructura complejas, incluyendo entornos de modelos heterogéneos y sesiones de simulador.
Ineficiencia de Recursos: Los modelos VLA suelen ser de escala moderada, lo que conduce a una baja utilización de aceleradores en configuraciones distribuidas. Además, el modelo de precios fijo de "hora-tarjeta" es ineficiente para cargas de trabajo cortas, iterativas o de ráfagas comunes en el desarrollo de VLA (por ejemplo, durante el despliegue, la carga de datos o la sincronización del entorno), donde las GPUs suelen permanecer inactivas.
Falta de Abstracciones Especializadas: Aunque existen sistemas orientados a servicios de estilo "Tinker" para el post-entrenamiento de modelos de lenguaje (por ejemplo, OpenTinker, ProRL Agent), estos no abordan los requisitos específicos del post-entrenamiento de VLA, que involucra sesiones de simulador, esquemas de acción heterogéneos, registros de rollout y sincronización de versiones de políticas.

2. Metodología: La Arquitectura JoyNexus

JoyNexus redefine el post-entrenamiento de VLA como un servicio unificado y multitenant. Desacopla el Servicio de Modelo de Entrenamiento, el Servicio de Modelo de Inferencia y el Servicio de Entorno, permitiendo que los inquilinos accedan a ellos mediante APIs mientras el proveedor gestiona la infraestructura compartida.

2.1 Principios de Diseño Centrales

Descomposición: Inspirado en la descomposición tipo "Lego" de modelos como StarVLA, JoyNexus separa el backbone VLM compartido (resistente en memoria), que es costoso y reutilizable, de los módulos de acción específicos del inquilino (adaptadores, cabezales de acción o sufijos de política).
Separación de Servicios:
- Servicio de Modelo de Entrenamiento: Mantiene el modelo base compartido y los estados de entrenamiento específicos del inquilino (optimizadores, versiones de política).
- Servicio de Modelo de Inferencia: Gestiona las solicitudes de inferencia, manteniendo los estados de servicio indexados por inquilino y sincronizando los parámetros actualizados.
- Servicio de Entorno: Gestiona sesiones interactivas (simuladores) y conjuntos de datos offline, abstrayendo tanto la interacción online como el acceso a datos offline.
Programación de Doble Cola: El sistema utiliza una Cola de Entrenamiento y una Cola de Inferencia. Esto desacopla el flujo de datos de optimización de las solicitudes de predicción sensibles a la latencia, permitiendo la programación concurrente de Ajuste Fino Supervisado (SFT), Aprendizaje por Refuerzo (RL) y evaluación.

2.2 Orquestación del Flujo de Trabajo

JoyNexus soporta tres flujos de trabajo principales a través de un Servicio Maestro que compila la intención del usuario en configuraciones de backend:

Ajuste Fino Supervisado (SFT): Los inquilinos proporcionan conjuntos de datos de demostración offline. El sistema toma muestras de lotes, ejecuta el modelo VLA, computa la pérdida y actualiza los módulos específicos del inquilino.
Aprendizaje por Refuerzo (RL): Un bucle cerrado donde la política interactúa con un entorno (a través del Servicio de Entorno), genera registros de rollout y actualiza la política. El productor de rollout y el actor (entrenador) se ejecutan como bucles concurrentes, comunicándose únicamente a través de la Cola de Entrenamiento.
Evaluación: Un proceso de solo lectura que carga una versión específica de la política, ejecuta la inferencia contra un entorno o conjunto de datos y registra métricas sin actualizar parámetros.

2.3 Procesamiento por Lotes de Grupo Multitenant

Para abordar la ineficiencia de las solicitudes de inferencia pequeñas y esporádicas, JoyNexus introduce el procesamiento por lotes de grupo (group batching) para esquemas de datos VLA heterogéneos.

Mecanismo: Las solicitudes compatibles de diferentes inquilinos se normalizan a una representación de prefijo compartido (el VLAFeature). Se ejecuta un único paso hacia adelante (forward pass) sobre el backbone compartido congelado para los elementos agrupados.
Particionamiento: Los resultados de las características se particionan de nuevo hacia los módulos de acción específicos de cada inquilino para el cálculo de la pérdida, los pasos hacia atrás (backward passes) y las actualizaciones del optimizador.
Programación: El Programador de Inferencia acumula solicitudes basadas en un tiempo de espera máximo ( $T$ ) y un tamaño de lote objetivo ( $B$ ) antes de disparar la inferencia, asegurando una alta utilización sin bloquear indefinidamente las solicitudes sensibles a la latencia.

2.4 Robustez del Sistema

Aislamiento de Fallos: Un Gestor de Salud dedicado monitorea los servicios. Los fallos localizados activan reinicios en el lugar de roles específicos (por ejemplo, un trabajador de rollout fallido) sin reiniciar todo el flujo de trabajo ni afectar a otros inquilinos.
Escalado Elástico: Los servicios de inferencia y entrenamiento pueden escalar de forma independiente. Los motores de rollout pueden añadirse o eliminarse asíncronamente para coincidir con las demandas de interacción del entorno sin interrumpir el proceso de optimización.

3. Contribuciones Clave

Abstracción de Servicio Cliente-Servidor: Una arquitectura novedosa que separa la computación privada del inquilino (módulos de acción, optimizadores) de la infraestructura compartida (modelos base, entornos), manteniendo el aislamiento de la carga de trabajo y permitiendo una programación de recursos de grano fino.
Backend de Tres Componentes: Un backend unificado que soporta SFT, RL y evaluación donde los modelos base permanecen residentes en memoria y los módulos específicos del inquilino se montan en ranuras aisladas.
Procesamiento por Lotes de Grupo para Esquemas Heterogéneos: Un pipeline que permite un único paso hacia adelante del backbone compartido a través de muestras agrupadas de diferentes inquilinos con esquemas de datos compatibles, mejorando significativamente el rendimiento para cargas de trabajo de lotes pequeños.
Validación Empírica: Demostración de una mejor utilización de recursos y reducción del tiempo total de GPU en comparación con la ejecución aislada de un solo inquilino.

4. Resultados Experimentales

Los autores evaluaron JoyNexus mediante simulación de carga de trabajo y un pipeline de procesamiento por lotes de grupo en escenarios corporales realistas.

Eficiencia de Recursos: En una simulación con tres inquilinos de RL y un inquilino de SFT en un nodo de 8 GPUs, JoyNexus redujo el tiempo total de GPU en un 28.3% en comparación con una línea base de un solo inquilino secuencial.
- Utilización del Servicio de Modelo de Entrenamiento: Aumentó de 20.8% (aislado) a 41.3% (multitenant), una mejora de 1.99×.
- Utilización del Servicio de Modelo de Inferencia: Aumentó de 28.1% a 37.5%, una mejora de 1.33×.
Rendimiento del Procesamiento por Lotes de Grupo:
- Experimentos con 2–8 inquilinos y tamaños de lote locales variables mostraron que el procesamiento por lotes de grupo se vuelve cada vez más efectivo a medida que aumenta el número de inquilinos y disminuyen los tamaños de lote locales.
- Para modelos como StarVLA-GR00T (2B, 4B, 8B), la ejecución agrupada proporcionó aceleraciones significativas en la etapa de forward (hasta 3.24× para StarVLA-OFT con 8 inquilinos), principalmente al amortizar el costo del paso hacia adelante del backbone compartido.
Corrección del Entrenamiento: El análisis de la trayectoria de la pérdida confirmó que la ejecución agrupada preserva el comportamiento de optimización por inquilino. Los inquilinos entrenados en diferentes conjuntos de datos (LIBERO vs. CALVIN) con diferentes cabezales de acción y optimizadores exhibieron patrones de descenso de pérdida esperados, idénticos a las líneas base de ejecución serial.

5. Significado y Reivindicaciones

El artículo afirma que JoyNexus representa un paso significativo hacia los servicios de post-entrenamiento de VLA programables y multitenant. Su principal significancia radica en:

Cambio de la Carga: Libera a los inquilinos de las preocupaciones de infraestructura de bajo nivel (asignación de recursos, residencia del modelo, sincronización), permitiéndoles enfocarse en el desarrollo de algoritmos.
Eficiencia Económica y Técnica: Al permitir la programación cruzada de inquilinos en recursos compartidos, aborda la ineficiencia del modelo de precios de hora-tarjeta fijo para cargas de trabajo de ráfagas de VLA, haciendo que el entrenamiento de alto rendimiento sea más accesible y rentable.
Escalabilidad: El diseño orientado a servicios soporta la programación concurrente de diversas cargas de trabajo (SFT, RL, evaluación) que anteriormente eran difíciles de orquestar juntas debido a requisitos heterogéneos de entorno y datos.

Los autores señalan que, si bien el prototipo actual fundamenta estas abstracciones en flujos de trabajo existentes (RLinf, StarVLA), el trabajo futuro explorará el ajuste dinámico de recursos, mecanismos de precios y puntos de extensión seguros para el código y entornos proporcionados por el usuario.