🤖 AI

JoyNexus: Service-Oriented Multi-Tenant Post-Training for VLA Models

JoyNexus 是一个用于后训练视觉-语言-动作（VLA）模型的统一多租户服务，它通过解耦训练、推理和环境组件，来实现高效的资源共享、跨租户调度和组批处理，从而与传统的隔离式单租户执行相比，降低了总计 GPU 时间并提高了利用率。

原作者： Haoran Sun, Wentao Zhang, Junyang Hua, Hedan Yang, Yongjian Guo, Yifei Zhang, Xiaolong Xiang, Mingxi Luo, Jing Long, Chen Zhao, Chen Zhou, Wanting Xu, Qiming Yang, Hui Zhang, Song Wang, Xiaodong Bai

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoran Sun, Wentao Zhang, Junyang Hua, Hedan Yang, Yongjian Guo, Yifei Zhang, Xiaolong Xiang, Mingxi Luo, Jing Long, Chen Zhao, Chen Zhou, Wanting Xu, Qiming Yang, Hui Zhang, Song Wang, Xiaodong Bai, Shuai Di, Xu Chu, Xiaotie Deng, Yicheng Gong, Junwu Xiong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个机器人可以像人类一样学习的世界：看到一个凌乱的房间，理解“收拾干净”这一指令，然后弄明白如何捡起玩具。这就是视觉-语言-动作（VLA）模型这一令人兴奋的领域。可以将这些模型想象成机器人的大脑，它结合了眼睛（视觉）、声音（语言）和肌肉（动作）。为了让机器人真正能够做一些有用的事情，科学家必须对其进行“后训练”（post-train）。这就像是带一个拥有通用知识的聪明学生去学习特定的技能，比如系鞋带或打开罐子。

然而，教导这些机器人大脑是非常昂贵且复杂的。目前，如果研究人员想要训练一个机器人，他们通常需要租用一台属于自己的、极其昂贵的大型计算机（GPU）。这就像是为了做几次俯卧撑而租下一整个私人健身房；当你加载重量或休息时，机器就在那里闲置着，而你仍然要支付整整一小时的费用。这种“一个机器人，一个健身房”的方法既浪费又让许多人难以同时进行机器人学习实验。

于是，来自 JD AI Infra 以及多所大学的研究人员提出了一个新想法：JoyNexus。他们提出了一个机器人的“共享健身房”。与其租用一整台计算机，不如让多位研究人员安全且高效地共享同一台强大的机器。该论文介绍了一个系统，它就像一位超级聪明的教练，让许多不同的团队可以在互不干扰的情况下同时训练他们的机器人。通过巧妙地组织工作，Joy besides JoyNexus 表明，我们可以降低训练这些机器人所需的总时间和能量，让先进的机器人学习对每个人都变得更快、更便宜。

机器人大脑的“共享健身房”

那么，JoyNexus 究竟是如何工作的呢？想象一个繁忙的高科技健身房。在旧的方法中，如果你想锻炼，你会租下一个包含跑步机、哑铃和镜子的整个房间，并且只有你被允许进入。如果你停下来喝水或看手机，房间就会空置，但你仍需支付全额费用。

JoyNexus 改变了规则。它将健身房变成了一个繁忙的共享空间，拥有三个主要区域：

大脑区（训练模型服务）： 这是重体力活发生的地方。机器人的“大脑”（理解图像和文字的复杂核心部分）被保存在一个中央共享的位置。它就像一个巨大的、昂贵的跑步机，每个人都可以使用。
肌肉区（动作模块）： 每个机器人都有自己独特的“肌肉”或特定技能（比如抓取器的夹爪或汽车的轮子）。在 JoyNexus 中，这些特定部分是为每个团队单独保留的。你带着自己独特的配重来到共享的跑步机旁。
障碍赛道（环境服务）： 这是机器人练习的模拟器。它可以是一个虚拟厨房、工厂车间或客厅。

JoyNexus 的魔力在于它如何管理流量。它使用一个“主服务”（Master Service，就像一位组织极其严密的健身房经理）来决定谁在什么时候使用跑步机。如果 A 团队正在等待他们的机器人完成模拟，而 B 团队已经准备好进行数学更新，经理会立即切换他们，这样跑步机就永远不会停下来。

“组批处理”的小技巧

其中一个最酷的特性是作者称之为**组批处理（group batching）**的功能。想象你在一家咖啡店。如果一个人点了一杯拿铁，咖啡师必须启动机器、研磨豆子并蒸奶，仅仅为了这一杯。如果十个人同时点了拿铁，咖啡师可以为所有人研磨足够的豆子并蒸一大壶奶，这使得每杯咖啡的处理速度大大加快。

JoyNexus 对机器人训练也做了同样的事情。通常，不同的团队会向共享的“大脑”（VLA 模型）发送小的请求。如果系统逐个处理这些请求，计算机就会在启动和停止之间浪费时间。相反，JoyNexus 会等待极短的一瞬间，看看是否有其他团队也有请求。如果有，它会将它们组合在一起。它会为所有人运行一次“共享大脑”的部分，然后将结果拆分回每个团队，以完成他们各自的“肌肉”训练。

论文显示，当许多团队发送小批量数据时，这种方法效果非常好。在他们的模拟中，当他们将 8 个不同团队的请求分组时，共享部分的“前向传播”（即大脑观察数据的过程）的速度显著提高了。对于某些模型，这使得共享部分的训练速度比逐一处理快了 2.21 倍。

他们的发现（以及没能发现的）

研究人员通过模拟一个场景来测试 JoyNexus，该场景涉及四个不同的团队：三个团队在虚拟环境（如 LIBERO 或 ManiSkill 模拟器）中训练机器人执行任务，还有一个团队仅使用静态数据集进行练习（监督微调）。

他们将这种“共享健身房”方法与旧有的“私人健身房”方法（即每个团队先后运行各自的任务）进行了对比。结果非常令人振奋：

更少浪费： 通过重叠工作，JoyNexus 将总的“GPU 时间”（昂贵计算机运行的时间）减少了 28.3%。
更高效率： 在多租户设置下，共享计算机的忙碌时间为 41.3%，而在隔离设置下仅为 20.8%。这几乎是效率翻倍！
没有混乱： 至关重要的是，系统保持了安全性。尽管团队共享了那个“大脑袋”，但他们的特定“肌肉”、数据和进度是完全隔离的。论文表明，每个团队的学习曲线（机器人进步的速度）与他们单独训练时完全一致。

需要注意的是，这些结果来自于模拟和工作负载测试，而非来自成千上万台机器人的真实世界部署。作者指出，这种方法可能会节省资金和时间，但他们尚未证明它能在每一种可能的现实场景中都完美运作。他们还指出，虽然该系统擅长共享资源，但目前它依赖于用户遵守关于如何格式化数据的特定规则。如果一个团队想要使用一种完全奇特、不符合标准“健身房”规则的自定义机器人设计，那么融入其中可能会更加困难。

机器人训练的未来

论文总结道，JoyNexus 是迈向让机器人学习变得触手可及的重要一步。研究人员不再需要花费一百万美元来租用一台私人的超级计算机，而是可以只为他们实际使用的时长付费，与其他人在成本上进行分摊。

然而，作者也是现实的。他们承认，要让这在现实世界中发挥作用，我们需要更好的安全机制（防止一个团队意外破坏另一个团队的机器人）、定价机制（如何为共享时间收费）以及灵活性（让用户自带各种奇特的模拟器）。他们建议，未来的系统可以变得更加聪明，根据健身房的繁忙程度自动调整资源。

简而言之，JoyNexus 表明，机器人训练的未来不在于为每位研究人员建造一座庞大且孤立的堡垒，而在于建立一个繁荣、高效的社区中心——在那里，大家可以共同学习，共享昂贵的设备，让他们的机器人比以往任何时候都更快地动起来。

技术摘要：JoyNexus —— 面向 VLA 模型的面向服务型多租户后训练系统

1. 问题陈述

视觉-语言-动作（VLA）模型的后训练对于将基础模型适配到多样化的机器人本体、模拟器和任务目标至关重要。然而，当前的云计算范式在 VLA 训练方面面临显著的低效问题：

基础设施负担： 现有的服务通常为单个租户分配排他的 GPU/CPU 资源（通过直接租赁或批处理提交）。这迫使用户必须管理复杂的基础设施依赖，包括异构的模型环境和模拟器会话。
资源利用率低下： VLA 模型通常规模适中，导致在分布式设置中加速器利用率较低。此外，固定的“卡时”定价模型对于 VLA 开发中常见的短时、迭代或突发性工作负载（例如在展开、数据加载或环境同步期间）效率低下，因为此时 GPU 通常处于闲置状态。
缺乏专门的抽象： 虽然存在针对语言模型后训练的“Tinker 式”面向服务系统（如 OpenTinker、ProRL Agent），但它们并未解决 VLA 后训练的特定需求，即涉及模拟器会话、异构动作模式、展开记录以及策略版本同步等问题。

2. 方法论：JoyNexus 架构

JoyNexus 将 VLA 后训练重新定义为一个统一的多租户服务。它将训练模型服务、推理模型服务和环境服务进行解耦，允许租户通过 API 访问这些服务，同时由提供商管理共享基础设施。

2.1 核心设计原则

分解： 受 StarVLA 等模型“乐高式”分解的启发，JoyNexus 将昂贵且可复用的共享 VLM 主干网络（驻留在内存中）与租户特定的动作模块（适配器、动作头或策略后缀）分离。
服务分离：
- 训练模型服务： 维护共享的基础模型和租户特定的训练状态（优化器、策略版本）。
- 推理模型服务： 处理推理请求，维护租户索引的服务状态并同步更新后的参数。
- 环境服务： 管理交互式会话（模拟器）和离线数据集，抽象化在线交互和离线数据访问。
双队列调度： 系统利用训练队列和推理队列。这实现了优化数据流与延迟敏感型预测请求的解耦，从而允许并发调度监督微调（SFT）、强化学习（RL）和评估。

2.2 工作流编排

JoyNexus 通过一个将用户意图编译为后端配置的主服务（Master Service）支持三种主要工作流：

监督微调 (SFT)： 租户提供离线演示数据集。系统采样批次，运行 VLA 模型，计算损失，并更新租户特定的模块。
强化学习 (RL)： 一个闭环过程，其中策略通过环境服务与环境交互，生成展开记录，并更新策略。展开生产者（Rollout Producer）和执行器（Actor/Trainer）作为并发循环运行，仅通过训练队列进行通信。
评估： 一个只读过程，加载特定版本的策略，针对环境或数据集运行推理，并记录指标而不更新参数。

2.3 多租户组批处理 (Multi-Tenant Group Batching)

为了解决小规模、零散推理请求的低效问题，JoyNexus 引入了针对异构 VLA 数据模式的组批处理技术。

机制： 来自不同租户的兼容请求被归一化为共享前缀表示（即 VLAFeature）。对于分组后的样本，系统执行单次共享主干网络的正向传播。
划分： 生成的特征随后被重新划分回租户特定的动作模块，用于损失计算、反向传播和优化器更新。
调度： 推理调度器根据最大等待时间 ( $T$ ) 和目标批次大小 ( $B$ ) 累积请求，然后再触发推理，从而在不无限期阻塞延迟敏感型请求的前提下确保高利用率。

2.4 系统鲁棒性

故障隔离： 专门的健康管理器（Health Manager）监控服务。局部故障会触发特定角色（例如失败的展开工作节点）的原位重启，而不会重启整个工作负载或影响其他租户。
弹性扩展： 推理和服务可以独立扩展。展开引擎可以异步地添加或移除，以匹配环境交互需求，而不会中断优化过程。

3. 核心贡献

客户端-服务器服务抽象： 一种新颖的架构，将租户私有计算（动作模块、优化器）与共享基础设施（基础模型、环境）分离，在保持工作负载隔离的同时实现细粒度的资源调度。
三组件后端： 一个统一的后端，支持 SFT、RL 和评估，其中基础模型保持内存常驻，而租户特定的模块被挂载在隔离的插槽中。
针对异构模式的组批处理： 一种流水线技术，使得来自不同租户且具有兼容数据模式的样本能够进行单次共享主干网络正向传播，显著提高了小批次工作负载的吞吐量。
经验验证： 通过在现实具身场景中的工作负载模拟和组批处理流水线，证明了其优越性。

4. 实验结果

作者通过工作负载模拟和在现实具身场景中的组批处理流水线对 JoyNexus 进行了评估。

资源效率： 在一个包含三个 RL 租户和一个 SFT 租户的 8-GPU 节点模拟实验中，与顺序执行的单租户基准相比，JoyNexus 减少了 28.3% 的总 GPU 时间。
- 训练模型服务利用率： 从 20.8%（隔离模式）提升至 41.3%（多租户模式），提升了 1.99 倍。
- 推理模型服务利用率： 从 28.1% 提升至 37.5%，提升了 1.33 倍。
组批处理性能：
- 针对 2–8 个租户及不同本地批次大小的实验表明，随着租户数量增加和本地批次大小减小，组批处理的效果愈发显著。
- 对于 StarVLA-GR007 (2B, 4B, 8B) 等模型，组执行提供了显著的正向阶段加速（对于拥有 8 个租户的 StarVLA-OFT，加速高达 3.24 倍），这主要是通过摊销共享基础模型正向传播的成本实现的。
训练正确性： 损失轨迹分析确认了组执行保留了每个租户的优化行为。在不同数据集（LIBERO 与 CALVIN）上训练且具有独立动作头和优化器的租户，其表现出的损失下降模式与串行执行基准完全一致。

5. 意义与主张

本文认为 JoyNexus 代表了迈向可编程、多租户 VLA 后训练服务的重要一步。其主要意义在于：

减轻负担： 它将租户从底层基础设施关注点（资源分配、模型驻留、同步）中解放出来，使其能够专注于算法开发。
经济与技术效率： 通过在共享资源上实现跨租户调度，它解决了 VLA 突发性工作负载下固定卡时定价的低效问题，使高性能训练变得更加触手可及且更具成本效益。
可扩展性： 其面向服务的架构支持多种多样的工作负载（SFT、RL、评估）的并发调度，而这些工作负载此前由于异构的环境和数据需求而难以协同编排。

作者指出，虽然目前的原型是将这些抽象应用于现有工作流（RLinf, StarVLA），但未来的工作将探索动态资源调整、定价机制以及用户自定义代码和环境的安全扩展点。