🤖 AI

JoyNexus: Service-Oriented Multi-Tenant Post-Training for VLA Models

JoyNexusは、学習、推論、および環境コンポーネントを分離することで、効率的なリソース共有、クロステナント・スケジューリング、およびグループバッチングを可能にし、従来の孤立したシングルテナント実行と比較して総GPU時間を削減し利用率を向上させる、事後学習型Vision-Language-Action (VLA) モデルのための統合されたマルチテナントサービスです。

原著者： Haoran Sun, Wentao Zhang, Junyang Hua, Hedan Yang, Yongjian Guo, Yifei Zhang, Xiaolong Xiang, Mingxi Luo, Jing Long, Chen Zhao, Chen Zhou, Wanting Xu, Qiming Yang, Hui Zhang, Song Wang, Xiaodong Bai

公開日 2026-07-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Haoran Sun, Wentao Zhang, Junyang Hua, Hedan Yang, Yongjian Guo, Yifei Zhang, Xiaolong Xiang, Mingxi Luo, Jing Long, Chen Zhao, Chen Zhou, Wanting Xu, Qiming Yang, Hui Zhang, Song Wang, Xiaodong Bai, Shuai Di, Xu Chu, Xiaotie Deng, Yicheng Gong, Junwu Xiong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットが人間と同じように学習できる世界を想像してみてください。散らかった部屋を見て、「片付けて」という指示を理解し、どうやっておもちゃを拾うかを考え出すのです。これは、Vision-Language-Action (VLA) モデルと呼ばれるエキサイティングな分野です。これらのモデルを、ロボットの「脳」であり、目（視覚）、声（言語）、そして筋肉（行動）を組み合わせたものだと考えてください。ロボットに実際に役立つことをさせるためには、科学者はそれを「ポストトレーニング（事後学習）」しなければなりません。これは、一般的な知識を持つ賢い学生に、靴紐を結んだり瓶を開けたりといった特定のスキルを教えることに似ています。

しかし、こうしたロボットの脳を教えることは、非常にコストがかかり複雑です。現在、研究者がロボットを訓練したい場合、通常は自分専用の巨大で高価なコンピューター（GPU）をレンタルしなければなりません。それは、たった数回の腕立て伏せをするためだけに、プライベートなジム全体をレンタルしているようなものです。重りをセットしたり休憩したりしている間も、マシンはアイドル状態のままですが、それでも1時間分の料金を支払わなければなりません。この「1体のロボットに1つのジム」というアプローチは、無駄が多く、多くの人が同時にロボット学習を実験することを困難にしています。

そこで、JD AI Infraと複数の大学の研究者による新しいアイデア、JoyNexusが登場しました。彼らはロボットの脳のための「共有ジム」を提案しています。コンピューター全体をレンタルする代わりに、複数の研究者が同じ強力なマシンを安全かつ効率的に共有できるのです。この論文では、多くのチームが互いにぶつかることなく、同時に異なるロボットを訓練できるように、システムが「超スマートなコーチ」として機能する仕組みを紹介しています。作業を巧みに整理することで、JoyNexusは、高度なロボット学習をより速く、より安価に、すべての人にとって身近にできることを示唆しています。

ロボットの脳のための「共有ジム」

では、JoyNexusは実際にどのように機能するのでしょうか？忙しくハイテクなジムを想像してみてください。従来の方法では、トレーニングをしたい場合、トレッドミル、ウェイト、鏡を備えた部屋全体をレンタルし、そこにはあなた一人しか入れませんでした。もしあなたが水を飲んだりスマートフォンをチェックしたりするために立ち止まっても、その部屋は空の状態のままですが、それでも全時間を支払う必要がありました。

JoyNexusはルールを変えます。ジムを以下の3つの主要なゾーンを持つ、活気ある共有スペースへと変貌させます。

ブレイン・ゾーン（モデル・トレーニング・サービス）： ここでは、最も重い作業が行われます。ロボットの「脳」（画像や言葉を理解する、大きく複雑な部分）は、中央の共有スポットに置かれます。これは、誰もが使える巨大で高価なトレッドミルのようなものです。
マッスル・ゾーン（アクション・モジュール）： 各ロボットには、独自の「筋肉」や特定のスキル（クローのためのグリッパーや、車の車輪など）があります。JoyNexusでは、これらの特定の部分は各チームごとに分離して保持されます。あなたは、共有のトレッドミルを使うために、自分自身のユニークなウェイトを持ち込むのです。
障害物コース（環境サービス）： これはロボットが練習を行うシミュレーターです。仮想のキッチン、工場のフロア、あるいはリビングルームかもしれません。

JoyNexusの魔法は、その交通管理にあります。「マスター・サービス」（非常に整理整頓されたジムのマネージャーのようなもの）が、いつ誰がトレッドミルに乗るかを決定します。もしチームAがロボットのシミュレーション完了を待っており、チームBが計算の更新を行う準備ができている場合、マネージャーは瞬時に彼らを入れ替え、トレッドミルが止まることがないようにします。

「グループ・バッチング」のトリック

著者たちが**グループ・バッチング（集団バッチ処理）**と呼んでいる、非常に優れた機能があります。コーヒーショップを想像してみてください。もし一人がラテを注文したら、バリスタは、その一杯のためだけにマシンを起動し、豆を挽き、ミルクを蒸発させなければなりません。もし10人が同時にラテを注文したら、バリスタは10人分を一気に挽き、大きなピッチャーでミルクを一度に蒸発させることができるので、一杯あたりのプロセスがはるかに速くなります。

JoyNexusは、ロボットの訓練においてこれを行います。多くの場合、異なるチームは共有の「脳」（VLAモデル）に対して小さなリクエストを送信します。もしシステムがこれらを一つずつ処理しようとすると、コンピューターは開始と停止を繰り返して時間を浪費してしまいます。その代わりに、JoyNexusは、他のチームからのリクエストがあるかどうかを確認するために、ほんのわずかな時間を待ちます。もしリクエストがあれば、それらを一つにまとめます。システムは、共有の「脳」の部分を全員分一度に実行し、その後、結果を各チームに分割して、それぞれの「筋肉」の訓練を完了させるのです。

論文では、これが非常にうまく機能することが示されています。特に多くのチームが小さなデータバッチを送信している場合に効果的です。シミュレーションにおいて、8つの異なるチームからのリクエストをグループ化した際、共有の「フォワードパス」（脳がデータを見る部分）の速度が大幅に向上しました。一部のモデルでは、これにより共有部分の処理が、一つずつ行うよりも2.21倍速くなりました。

彼らが発見したこと（そして発見できなかったこと）

研究者たちは、4つの異なるチームをシミュレートするシナリオでJoyNexusをテストしました。3つのチームは仮想環境（LIBEROやManiSkillなどのシミュレーション）でタスクを行うロボットを訓練しており、1つのチームは静的なデータセットを用いて教師あり微調整（Supervised Fine-Tuning）を行っています。

彼らは、この「共有ジム」のアプローチを、各チームがタスクを順番に実行する従来の「プライベートジム」方式と比較しました。結果は有望でした。

無駄の削減： 作業をオーバーラップさせることで、JoyNexusは総「GPU時間」（高価なコンピューターが稼働している時間）を**28.3%**削減しました。
利用効率の向上： マルチテナント設定では、共有コンピューターは**41.3%の時間稼働していましたが、隔離された設定ではわずか20.8%**でした。これは、効率がほぼ2倍になったことを意味します！
混乱の回避： 極めて重要なことに、システムはすべてを安全に保ちました。チームは巨大な脳を共有していましたが、彼ら独自の「筋肉」、データ、および進捗状況は完全に隔離されていました。論文は、各チームの学習曲線（ロボットがいかに早く上達するか）が、単独で訓練していた場合と全く同じであることを示しています。

これらの結果は、あくまでシミュレーションとワークロードのテストから得られたものであり、数千台のロボットを用いた実世界での展開によるものではないことに注意が必要です。著者らは、このアプローチがコストや時間を節約できる可能性があると示唆していますが、あらゆる現実世界のシナリオで完璧に機能することをまだ証明してはいません。また、システムはリソースの共有には優れていますが、現在はユーザーがデータのフォーマットに関する特定のルールに従うことに依存していることも指摘しています。もしあるチームが、標準的な「ジム」のルールに適合しない、全く風変わりでカスタムされたロボット設計を使用したい場合、参加するのが難しくなる可能性があります。

ロボット訓練の未来

論文は、JoyNexusがロボット学習を身近なものにするための大きな一歩であると結論づけています。研究者がプライベートなスーパーコンピューターを借りるために100万ドルを必要とする代わりに、使用した時間分だけのコストを支払って、他者と共有できる可能性があります。

しかし、著者らは現実的です。これが実世界で機能するためには、セキュリティ（あるチームが誤って別のチームのロボットを壊さないようにする）、価格設定（共有時間に対していくら請求するか）、および柔軟性（ユーザーが独自の変わったシミュレーターを持ち込めるようにする）に関するより優れた方法が必要であると認めています。彼らは、将来のバージョンのシステムは、ジムがどれほど混雑しているかに基づいてリソースを自動的に調整するなど、よりスマートになる可能性があると示唆しています。

要約すると、JoyNexusは、ロボット訓練の未来が、各研究者のために構築された巨大で孤立した要塞を作ることではないことを示唆しています。それは、誰もが共に学び、高価な設備を共有し、ロボットをかつてないほど速く動かすことができる、活気あるコミュニティセンターを築くことなのです。

技術要約：JoyNexus – VLAモデルのためのサービス指向型マルチテナント・ポストトレーニング

1. 問題提起

Vision-Language-Action（VLA）モデルのポストトレーニングは、基盤モデルを多様なロボットのエンボディメント、シミュレータ、およびタスク目標に適応させるために極めて重要である。しかし、現在のクラウドコンピューティングのパラダイムは、VLAトレーニングにおいて重大な非効率性に直面している：

インフラストラクチャの負担： 既存のサービスは通常、単一のテナントに対して排他的なGPU/CPUリソースを割り当てる（直接レンタルまたはバッチ送信による）。これにより、ユーザーは異種混合のモデル環境やシミュレータセッションを含む複雑なインフラ依存関係を管理することを強いられる。
リソースの非効率性： VLAモデルは中規模なスケールであることが多く、分散セットアップにおけるアクセラレータの利用率が低くなる傾向がある。さらに、固定された「カード時間（card-hour）」の価格設定モデルは、VLA開発で一般的な、短期的で反復的、あるいはバースト的なワークロード（例：ロールアウト、データロード、または環境同期の最中）において非効率である。これらの局面では、GPUがアイドル状態になることが多い。
特化した抽象化の欠如： 言語モデルのポストトレーニング向けに「Tinkerスタイル」のサービス指向システム（OpenTinker、ProRL Agentなど）は存在するが、それらはVLAのポストトレーニングに特有の要件、すなわちシミュレータセッション、異種混合のアクションスキーマ、ロールアウトレコード、およびポリシーバージョンの同期には対処していない。

2. メソドロジー：JoyNexus アーキテクチャ

JoyNexusは、VLAのポストトレーニングを統一されたマルチテナントサービスとして再定義する。これは、トレーニングモデルサービス、推論モデルサービス、および環境サービスを分離し、プロバイダーが共有インフラを管理する一方で、テナントがこれらにAPI経由でアクセスできるようにするものである。

2.1 コア設計原則

分解（Decomposition）： StarVLAのようなモデルの「レゴスタイル」の分解に触発されたJoyNexusは、高価で再利用可能な共有VLMバックボーン（メモリ内に常駐）と、テナント固有のアクションモジュール（アダプタ、アクションヘッド、またはポリシーサフィックス）を分離する。
サービスの分離：
- トレーニングモデルサービス： 共有ベースモデルとテナント固有のトレーニング状態（オプティマイザ、ポリシーバージョン）を維持する。
- 推論モデルサービス： 推論リクエストを処理し、テナントインデックス化されたサービング状態を維持し、更新されたパラメータを同期する。
- 環境サービス： インタラクティブなセッション（シミュレータ）とオフラインデータセットを管理し、オンラインの相互作用とオフラインのデータアクセスの両方を抽象化する。
デュアルキュー・スケジューリング： システムはトレーニングキューと推論キューを利用する。これにより、最適化のデータフローとレイテンシに敏感な予測リクエストをデカップルし、教師あり微調整（SFT）、強化学習（RL）、および評価の並行スケジューリングを可能にする。

2.2 ワークフローのオーケストレーション

JoyNexusは、ユーザーの意図をバックエンド構成へとコンパイルするマスターサービスを通じて、主に3つのワークフローをサポートする。

教師あり微調整（SFT）： テナントはオフラインのデモンストレーションデータセットを提供する。システムはバッチをサンプリングし、VLAモデルを実行して損失を計算し、テナント固有のモジュールを更新する。
強化学習（RL）： ポリシーが環境（環境サービスを介して）と相互作用し、ロールアウトレコードを生成してポリシーを更新するというクローズドループである。ロールアウトプロデューサーとアクター（トレーナー）は並行するループとして動作し、トレーニングキューを介してのみ通信する。
評価（Evaluation）： 特定のポリシーバージョンをロードし、環境またはデータセットに対して推論を実行し、パラメータを更新することなくメトリクスを記録する読み取り専用のプロセスである。

2.3 マルチテナント・グループバッチング

小規模で散発的な推論リクエストによる非効率性を解決するため、JoyNexusは異種混合のVLAデータスキーマに対するグループバッチングを導入している。

メカニズム： 異なるテナントからの互換性のあるリクエストを、共有プレフィックス表現（VLAFeature）に正規化する。共有された凍結バックボーンに対して、グループ化されたサンプルに対する単一のフォワードパスが実行される。
パーティショニング： 得られた特徴量は、損失計算、バックプロパゲーション、およびオプティマイザ更新のために、テナント固有のアクションモジュールへと再び分割される。
スケジューリング： 推論スケジューラは、レイテンシに敏感なリクエストを無期限にブロックすることなく高い利用率を確保するために、最大待ち時間（ $T$ ）とターゲットバッチサイズ（ $B$ ）に基づいてリクエストを蓄積してから推論をトリガーする。

2.4 システムの堅牢性

障害隔離： 専用のヘルスマネージャがサービスを監視する。局所的な失敗が発生した場合、ワークロード全体を再起動したり他のテナントに影響を与えたりすることなく、特定のロール（例：失敗したロールアウトワーカー）のインプレース再起動がトリガーされる。
弾力的なスケーリング： 推論サービスとトレーニングサービスは独立してスケールできる。最適化プロセスを中断することなく、環境との相互作用需要に合わせてロールアウトエンジンを非同期的に追加または削除できる。

3. 主な貢献

クライアント・サーバ型サービス抽象化： テナント固有の計算（アクションモジュール、オプティマイザ）と共有インフラ（ベースモデル、環境）を分離し、ワークロードの隔離を維持しながらきめ細かなリソーススケジューリングを可能にする新しいアーキテクチャ。
3コンポーネント・バックエンド： ベースモデルがメモリ内に常駐し、テナント固有のモジュールが隔離されたスロットにマウントされる、SFT、RL、および評価をサポートする統一されたバックエンド。
異種混合スキーマのためのグループバッチング： 互換性のあるデータスキーマを持つ異なるテナントのグループ化されたサンプルに対して、単一の共有バックボンド・フォワードパスを可能にするパイプラインであり、小規模バッチのワークロードにおけるスループットを大幅に向上させる。
実証的検証： 単独テナントでの隔離実行と比較して、リソース利用率の向上と総GPU時間の削減を実証。

4. 実験結果

著者らは、現実的なエンボディド・シナリオにおけるワークロードシミュレーションとグループバッチング・パイプラインを通じて、JoyNexusを評価した。

リソース効率： 8-GPUノード上での3つのRLテナントと1つのSFTテナントによるシミュレーションにおいて、JoyNexusは逐次的なシングルテナント・ベースラインと比較して、総GPU時間を**28.3%**削減した。
- トレーニングモデルサービスの利用率： 20.8%（隔離時）から41.3%（マルチテナント時）に増加し、1.99倍の改善を実現した。
- 推論モデルサービスの利用率： 28.1%から37.5%に増加し、1.33倍の改善を実現した。
グループバッチングの性能：
- 2〜8のテナントと変動するローカルバッチサイズを用いた実験では、テナント数が増加しローカルバッチサイズが減少するにつれて、グループバッチングの効果が高まることが示された。
- StarVLA-GR00T（2B, 4B, 8B）のようなモデルにおいて、グループ実行は、共有ベースモデルのフォワードパスのコストを償却することにより、フォワードステージにおいて大幅なスピードアップ（8テナントの場合、StarVLA-OFTで最大3.24倍）を提供した。
トレーニングの正確性： 損失軌跡の分析により、グループ実行がテナントごとの最適化挙動を維持することが確認された。異なるデータセット（LIBERO vs. CALVIN）と別々のアクションヘッドおよびオプティマイザを用いてトレーニングされたテナントは、逐次実行のベースラインと同一の期待通りの損失減少パターンを示した。

5. 意義と主張

本論文は、JoyNexusがプログラム可能なマルチテナント型VLAポストトレーニングサービスへの重要な一歩であると主張している。その主な意義は以下の通りである：

負担の転換： テナントを低レベルのインフラストラクチャの懸念（リソース割り当て、モデルの常駐、同期）から解放し、アルゴリズム開発に集中できるようにする。
経済的および技術的効率性： 共有リソース上でのクロステナント・スケジューリングを可能にすることで、バースト的なVLAワークロードにおける固定カード時間価格設定の非効率性に対処し、高性能なトレーニングをよりアクセシブルかつコスト効率の高いものにする。
スケーラビリティ： サービス指向の設計は、異種混合の環境およびデータ要件のために、これまで共にオーケストレートすることが困難であった多様なワークロード（SFT、RL、評価）の並行スケジューリングをサポートする。

著者らは、現在のプロトタイプはこれらの抽象化を既存のワークフロー（RLinf, StarVLA）に根ざしていることを述べており、今後の課題として、動的なリソース調整、価格設定メカニズム、およびユーザー提供のコードや環境に対する安全な拡張ポイントの探索を挙げている。