技術要約：ロボット工場における効率的なVision-Language-Action（VLA）の管理とサービング

問題提起

Vision-Language-Action（VLA）モデルは、ロボットが環境を認識し、タスクについて推論し、操作アクションを実行することを可能にする、ロボット工場におけるフィジカルAIの基盤となりつつある。しかし、VLAの推論は本質的にレイテンシに敏感であり、厳格なサービスレベル目標（SLO）を達成できないことは、タスクの失敗、安全なナビゲーションの阻害、あるいは組立ラインの停止につながる可能性がある。

VLAモデルのデプロイには、根本的な対立が存在する：

1. レイテンシ要件： 安全性とタスクの期限を満たすには、オンロボットの組み込み型GPU（例：Jetson AGX Thor）よりも大幅に低い推論レイテンシを提供するハイエンドGPU（例：RTX 6000 Pro、H100）が必要である。
2. ハードウェア制約： ハイエンドGPUは、重量、コスト、電力、および熱の制限により、ロボットに直接統合することができない。組み込み型GPUを用いたオンロボット推論も、バッテリー寿命を大幅に減少させる（最大45%）。
3. 既存のソリューション： 現在主流となっているのは、推論をローカルのエッジサーバーにオフロードする手法である。しかし、既存のサービングシステムは、このシナリオには適していない：
   • スループット vs レイテンシ： 既存のマルチステージ・サービングシステム（例：vLLM-Omni）は、数百ミリ秒の実行時間を伴う大規模モデルのスループットに最適化されている。これらはプロセス間通信やバッファ検査に依存しており、それがVLAステージのミリ秒単位の実行時間を支配するオーバーヘッドとなる。
   • リソースの低利用： VLAアーキテクチャは、計算集約的なVision-Language Model（VLM）と、メモリ集約的なAction Diffusion Transformer（ADiT）という2つの異なるステージで構成されている。これらのステージを別々のGPUに分離（ディサグレゲーション）すると、特にメモリ制限のあるADiTステージにおいて、計算リソースの著しい低利用を招く。
   • シングルモデルへの焦点： 現在のシステムは一般に、単一のGPU上で（ファインチューニングされたバリアントを含む）複数のVLAモデルを、個別のリクエストに対するSLOを遵守しながら同時に実行することをサポートしていない。

手法：Robion

著者らは、マルチロボット、マルチモデルのリクエストに対し、マルチGPUエッジサーバー上で動作し、SLOを厳格に遵守する初のVLAサービングおよび管理システムであるRobionを提案している。Robionは、Serving EngineとManagement Engineで構成される。

1. Robion Serving Engine

サービングエンジンは、3つのコア技術を通じて、GPU利用率の最大化とレイテンシの最小化に焦点を当てている。

• Fixed-Batch Intra-GPU Stage Disaggregation（固定バッチ内GPUステージ分離）:

  • ステージを異なるGPUやプロセスに分離する代わりに、Robionは2つの非同期CUDAストリームを使用して、単一のGPU内でVLMステージとADiTステージを分離する。
  • 連続的なバッチング（Continuous Batching）ではなく、**固定サイズバッチング（Fixed-size batching）**を採用する。リクエストはステージ実行の開始時のみ受理される。これにより、vLLM-Omniに見られるような、VLAのミリ秒単位のステップにおいて極めて高価なコストとなる、ディフュージョンステップごとのバッファ検査のオーバーヘッドを排除する。
  • CUDA Graphsを使用して、繰り返されるカーネル実行によるCPU起動オーバーヘッドを排除する。

• Guarded & Dynamic Spatial SM Partitioning on Locksteps（ロックステップ上でのガード付き・動的空間SMパーティショニング）:

  • メモリ集約的なADiTステージが、計算集約的なVLMステージによってGPUのStreaming Multiprocessors（SM）を占有してしまい、リソース不足に陥るのを防ぐため、Robionはロックステップ実行を強制する。各ロックステップにおいて、正確に1つのVLMバッチと1つのADiTバッチが並行して実行される。
  • 動的SM制限（Dynamic SM Restriction）： システムは、VLMストリームが占有できるSMの数を制限し、ADiTストリームのために十分なSMが確保されることを保証する。
  • プロファイリング支援型選択： 最適なSM分割は、共実行されるステージの具体的なバッチサイズに依存するため、Robionは初期化時にオフラインプロファイリングを行う。すべての2のべき乗のバッチサイズ組み合わせに対してSM制限を網羅的に探索し、最適な構成をルックアップテーブルに保存する。実行時には、システムはプリエンプション（中断）なしに事前計算された制限を適用し、実行の進捗が失われないようにする。

• SLO-Aware Dual-Stream Multi-Model Serving（SLOを考慮したデュアルストリーム・マルチモデルサービング）:

  • Robionは、単一のGPU上で複数のVLAモデル（ファインチューニングされたバリアントを含む）間で同じVLMおよびADiTストリームを共有する**モデル共配置（Model Co-location）**をサポートする。
  • Earliest-SLO-First (ESF) スケジューリングポリシーを実装する。各ロックステップの開始時に、システムは各モデルのキューの先頭リクエストのSLO期限までの残り時間を計算し、残り時間が最も少ないリクエストを優先する。これにより、ヘテロジニアスなロボット集団全体にわたって厳格なSLO遵守を実現する。

2. Robion Management Engine

マネジメントエンジンは、モデルの配置と、マルチGPUサーバーへのロボットトラフィックの分配を担当する。

• 柔軟なモデル配置（Flexible Model Placement）:
  • プログラマは、異なるアーキテクチャを1つのGPUに共配置するか、モデルをGPU間で複製するか、あるいはGPUを特定のモデルアーキテクチャ専用の独立したグループに分割するかなど、モデルの配置方法を設定できる。
• 適応型トラフィックコントローラー（Adaptive Traffic Controller）:
  • システムは、ロボットからGPUへの割り当てを整数計画問題として定式化する。
  • 目的： 特定のモデルへのリクエストを単一のGPUに集中させることで、モデルごとのバッチングを最大化する。ただし、各GPUがSLOを違反することなく維持できる最大ロボット負荷を尊重する。
  • 制約： 割り当てられる総ロボット数は工場の需要と一致しなければならず、かつ、任意のGPUにおける正規化された負荷の合計は1.0を超えてはならない。
  • このアプローチは、「均等分割（Even Splitting）」によるバッチング効率の低下や、「1GPUにつき1モデル」による特定のモデルへの過負荷といった問題を回避する。

主な結果

著者らは、4つのVLAモデル（$\pi_0$, SmolVLA, GR00T N1.5, Xiaomi-Robotics-0）について、2つのハードウェアプラットフォーム（4x RTX 6000 Pro および 4x H100）上でRobionを評価し、MonolithicなベースラインおよびvLLM-Omniと比較した。

• シングルモデルのパフォーマンス:

  • Robionは、98%のSLO達成率を維持しながら、vLLM-Omniよりも6.7倍多く、Monolithicシステムよりも1.5倍多くのロボット負荷を処理できる。
  • Robionを実行している単一のハイエンドGPUは、平均20台のロボットを98%のSLO達成率でサーブすることができ、組み込み型GPUによるオンロボット推論を凌駕し、すべてのロボットにハイエンドSoCを装備する場合と比較して大幅なコスト削減（約6.8倍）を実現する。
  • 「Guarded SM Partitioning」技術単体でも、単純なステージ分離と比較してSLO達成率を大幅に向上させており、動的なSM制限の必要性を証明している。

• マルチモデル共配置:

  • 単一のGPU上に複数のモデル（バリアントや異なるアーキテクチャを含む）を共配置した場合、RobionはMonolithicなアプローチと比較して、SLO未達成率が2.1倍低かった。
  • vLLM-Omniは、これらのマルチモデルシナリオにおいて完全に飽和状態（未達成率100%）となった。
  • ESFキュー選択ポリシーは、モデル間でSLO期限が異なる場合でも、Round-RobinやLargest-Queue-Firstポリシーよりも優れた堅牢性を示した。

• マルチGPUスケーリング:

  • 4-GPUサーバー上で8つの異なるモデルをサーブする大規模実験において、Robionは98%のSLO達成率内で最大64台のロボットを正常にサーブした。
  • RobionのイントラGPU（Intra-GPU）分離は、VLMまたはADiTにそれぞれ専用のGPUを割り当てるインターGPU（Inter-GPU）分離スキームを大幅に上回った。後者は、メモリ制限のあるADiTステージの深刻な低利用を招くためである。

• クラウド vs エッジ:

  • 本研究は、ネットワークレイテンシがSLO達成率を著しく低下させるため、クラウド展開よりもエッジ展開（WiFi 7を備えたローカルサーバー）が優れていることを確認している。

意義と主張

本論文は、以下の点で世界初であると主張している：

1. ロボット工場における効率的なVLAサービングのための具体的な設計上の考慮事項を調査し、既存のマルチステージ・サービングシステムと、VLA推論のミリ秒単位のレイテンシクリティカルな性質との間のミスマッチを明らかにしていること。
2. マルチGPUエッジサーバー上で、SLOを考慮したマルチモデルサービングを可能にするシステムであるRobionを提案していること。

著者らは、RobionがVLAモデルの高い計算需要と、ロボット工場における厳格な制約との間のギャップを埋めるものであると強調している。ハイエンドGPUを多くのロボットに対して厳格なレイテンシ保証とともに提供できるようにすることで、Robionは、ローカルエッジサーバーの導入を実用的かつ費用対効果の高い現実のものとする。適切なステージ分離、動的なリソースパーティショニング、およびインテリジェントなトラフィック制御を用いることで、単一のエッジサーバーが個々のロボットにハイエンドの計算資源を持たせる必要性を代替できることを示している。これは、大規模なフィジカルAI展開への参入障壁を大幅に下げるものである。