💻 computer science

RLinf-VLA: A Unified and Efficient Framework for Reinforcement Learning of Vision-Language-Action Models

本論文は、多様なVLAアーキテクチャと強化学習アルゴリズムの統合を標準化し、リソース配分を最適化することで、複数のエンボディード・インテリジェンス・ベンチマークにおいて大幅な学習速度の向上と最先端の性能を実現する、統一的かつ効率的なフレームワークであるRLinf-VLAを紹介するものである。

原著者： Hongzhi Zang, Mingjie Wei, Si Xu, Yongji Wu, Zhen Guo, Yuanqing Wang, Hao Lin, Peihong Wang, Liangzhi Shi, Yuqing Xie, Zhexuan Xu, Zhihao Liu, Kang Chen, Wenhao Tang, Quanlu Zhang, Weinan Zhang, Chao

公開日 2026-08-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hongzhi Zang, Mingjie Wei, Si Xu, Yongji Wu, Zhen Guo, Yuanqing Wang, Hao Lin, Peihong Wang, Liangzhi Shi, Yuqing Xie, Zhexuan Xu, Zhihao Liu, Kang Chen, Wenhao Tang, Quanlu Zhang, Weinan Zhang, Chao Yu, Yu Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットが単に厳格な指示に従うだけの無機質な機械ではなく、あなたの言葉を理解し、あなたが見ているものを見ることができ、目的を達成するために自らの体をどう動かすべきかを自ら考え出す、好奇心旺盛な学習者である世界を想像してみてください。これが、Vision-Language-Action (VLA) モデルの刺激的な最前線です。これらのモデルを、インターネット上の膨大なデータを用いて言語と画像を理解するように訓練された、ロボットの「脳」と考えてみてください。しかし、落とし穴があります。ロボットが「コップ」とは何かを知っており、「コップを手に取って」という言葉を聞き取れたとしても、それだけで、コップを倒さずに掴むための最善の方法までを知っているとは限らないのです。物理的なタスクを本当に上手に行えるようになるには、ロボットは練習し、失敗し、その結果から学ぶ必要があります。ここで強化学習 (Reinforcement Learning: RL) の出番となります。RLは、ビデオゲームのトレーニングループのようなものだと考えることができます。ロボットはアクションを試行し、成功すれば「スコア（報酬）」を得て、良い動きを繰り返し、悪い動きを避けるように学習していくのです。科学者たちが問いかけている大きな疑問は、これらのロボットが複雑なスキルを習得するのに膨大な時間をかけずに済むような、十分に速く、かつスマートなトレーニングシステムをどのように構築するか、ということです。

ここで、RLinf-VLA という、これらロボットの脳のための超効率的なトレーニングジムとして機能する新しいフレームワークが登場します。この論文の著者たちは、強力なロボットモデルや優れた学習アルゴリズムが存在する一方で、その「ジム」自体がしばしば機能不全に陥っていることに気づきました。従来のシステムは、まるで重いバックパックを背負ってマラソンを走っているようなものでした。動作が遅く、使い勝手が悪く、異なる種類のトレーニング環境にもうまく対応できませんでした。時には、ロボットの脳（モデル）がシミュレーター（仮想世界）が進むのを待っており、またある時には、シミュレーターが脳の処理を待っているという状況があり、高価なコンピューターチップがアイドル状態のまま放置されていました。

チームは、この交通渋滞を解消するためにRLinf-VLAを構築しました。彼らは、異なるロボットシミュレーター、異なる脳のアーキテクチャ、そして異なる学習アルゴリズムをすべて同時にプラグインできる統一されたシステムを作り上げました。しかし、本当の魔法はそのコンピューターパワーの管理方法にあります。彼らは、巧みに振り付けされたダンスのように機能する、賢明な「ハイブリッド」モードを導入しました。ロボットの脳と仮想世界が互いに待ち合うのではなく、プロセスをパイプライン化するのです。つまり、脳がシミュレーションの一部分に対して次の動きを考えている間に、シミュレーターは別の部分に対して前の動きを実行しているのです。これにより、すべてがフルスピードで動き続けます。

この新システムの成果は目覚ましいものです。シミュレーションにおいて、このフレームワークは従来の手法よりも最大2.27倍高速にトレーニングを行いました。訓練されたモデルをテストした際の結果も強力でした。RLinf-VLAで訓練された単一のモデルは、LIBEROベンチマークにおける130の異なるタスクで**98.11%の成功率を、ManiSkillにおける25のタスクで97.66%を達成しました。両手を使うことを伴う難易度の高いRoboTwinタスクにおいても、モデルは平均84.63%**の成功率に達しました。研究者たちは、物理的なロボットアームが引き出しを閉めるという、このバージョンの実世界でのテストも行いました。成功率は標準的なモデルと同じ（10回中8回）でしたが、RL訓練済みのロボットは、訓練されていないバージョンに見られるようなぎこちなく不自然な動きを避け、よりスムーズかつ効率的に動いていました。

この論文は、この新しいフレームワークが単なるスピードアップのためのツールではなく、これら複雑なロボットの脳を以前よりもはるかに大規模に訓練することを可能にする基礎的なツールであることを示唆しています。これらのシステム間の通信方法を標準化し、コンピューターリソースの使用を最適化することで、RLinf-VLAは、ロボットが新しい物理的スキルを迅速かつ確実に学習できる道筋を提示しており、ロボットが私たちの日常生活を真にサポートできる日の実現へと一歩近づけています。

技術要約: RLinf-VLA

問題提起

近年のVision-Language-Action (VLA) モデルの進展は、相互作用を通じてタスク性能を向上させる強化学習 (RL) の可能性を実証してきました。しかし、現在のこの領域の研究は、主に3つの課題に直面しています。

断片化: 既存の取り組みは、多様なVLAアーキテクチャ、RLアルゴリズム、およびシミュレータ間で公平な比較を行うための統一されたプラットフォームを欠いています。
非効率性: スケーラブルなRLトレーニングは、エンボディド（身体性）の設定における特有のリソース競合を考慮していないシステム設計によって妨げられています。大規模言語モデル (LLM) とは異なり、VLAのトレーニングは、モデルの推論、シミュレータのレンダリング、および最適化の間の密接な結合を伴い、これがしばしば大幅なGPUのアイドルタイムやパイプラインのバブル（空白）を引き起こします。
標準化の欠如: 統一されたインターフェースが存在しないため、既存の研究がバラバラなプロトコルやコードベースに依存していることから、RLベースのVLAトレーニングに関する一般的な原則を抽出することが困難になっています。

手法

著者らは、システムレベルの抽象化とアルゴリズムの最適化を通じて、これらの課題に対処するために設計された、統一かつ効率的なフレームワークである RLinf-VLA を提案します。

1. 統一されたシステム抽象化

RLinf-VLAは、以下を統合する標準化されたインターフェースを提供します。

複数のシミュレータ: CPU並列化された環境（例：LIBERO）からGPU並列化された環境（例：ManiSkill, RoboTwin）まで、ヘテロジニアスな環境をサポートします。
多様なアーキテクチャ: 様々なVLAモデル（例：OpenVLA, OpenVLA-OFT, $\pi_0$ ）およびアクション定式化（シングルステップ vs アクションチャンク）に対応します。
RLアルゴリズム: PPOやGRPOのようなオンポリシー・アルゴリズムをサポートし、オフポリシー手法への拡張性も備えています。

2. 柔軟なGPU割り当て戦略

リソース利用率を最大化するために、本フレームワークは3つの実行モードを導入しています。

Collocated Mode (同居モード): すべてのコンポーネント（生成、シミュレータ、トレーニング）が同じGPUを共有します。著者らは、オフロード・オンロードのオーバーヘッドを最小限に抑えるために、これらの操作をロールアウトフェーズの開始時と終了時に限定するように標準的なアプローチを修正しました。
Disaggregated Mode (分離モード): コンポーネントが異なるGPUパーティションに割り当てられます。単純ではありますが、コンポーネント間の依存関係（例：データ待ちによるGPUの待機）により、低利用率に陥ることがよくあります。
Hybrid Mode (ハイブリッドモード - 新規): 前述の2つのモードの利点を組み合わせたものです。生成とシミュレータを異なるGPUパーティションに割り当てる一方で、トレーニングにはすべてのGPUを利用することを許可します。決定的なのは、シミュレータのインスタンスをサブシミュレータ（ $S^{(1)}, S^{(2)}, \dots$ ）に分割する**きめ細かなパイプライン化（fine-grained pipelining）**を導入している点です。これにより、頻繁なデータオフロードのオーバーヘッドを負うことなく、シーケンシャルな依存関係によって生じる「GPUバブル」を緩和し、シミュレータと生成コンポーネントを並行して実行できます。
Auto-Placement (自動配置): 軽量なアルゴリズムが、実行時のプロファイリングに基づいて、ロールアウト時間を最小化するための最適なGPU割り当てとパイプラインの深さ（ $k=1$ または $k=2$ ）を自動的に決定します。

3. アルゴリズムの設計選択

本フレームワークは、VLAへのRLのスケーリングのための具体的な設計選択を抽出しています。

マルチグラニュラリティ（多粒度）サポート: チャンク、アクション、およびトークンレベルでのアドバンテージおよび対数確率の計算をサポートします。
PPOの強化:
- Partial Reset (部分的リセット): 固定のエピソード長を待つのではなく、終了時にサブ環境を即座にリセットすることで、サンプル効率を向上させます。
- Parameter-Sharing Critic (パラメータ共有クリティック): 別個のクリティックネットワークの計算コストを避けるため、アクターの言語モデルに軽量なバリューヘッドを付加します。
- Action-Level Value Estimation (アクションレベルの価値推定): アクションチャンクに対しては、チャンクレベルの推定よりも優れた性能を示すことが経験的に判明しています。
GRPOの強化:
- Valid Action Mask (有効アクションマスク): タスク完了後のタイムステップをマスクすることで、関連するステップに最適化を集中させます。
- Trajectory Length Normalization (軌跡長正規化): 長い軌跡が勾配を支配することを防ぐため、有効なタイムステップ数で損失を正規化します。
- Success Rate Filter (成功率フィルタ): すべての結果が同一（すべて成功またはすべて失敗）である軌跡グループを破棄し、意味のあるアドバンテージ計算を保証します。

主な結果

本フレームワークは、LIBERO (130タスク)、ManiSkill (25タスク)、および RoboTwin (6タスク) の3つのベンチマークで評価されました。

性能向上:
- LIBERO: 単一の統一モデルが、130タスク全体で 98.11% の成功率を達成しました（ベースラインの約42%から向上）。
- ManiSkill: 単一のモデルが、25タスクにおいて 97.66% の成功率を達成しました（OpenVLA-OFTのベースラインである約18%から向上）。
- RoboTwin: 6つのタスク特化型モデルが平均 84.63% の成功率を達成しました（ベースラインモデルと比較して63.75%の改善）。
- RLで訓練されたモデルは、特に分布外（OOD）の汎化において、教師あり微調整（SFT）のベースラインを一貫して上回りました。
システム効率:
- きめ細かなパイプラインを備えたHybridモードは、ManiSkillにおいて分離ベースラインと比較して 1.61倍〜1.88倍 の高速化を実現しました。
- 全体として、RLinf-VLAはロールアウトとトレーニングの両方のフェーズを最適化することにより、既存のフレームワーク（例：SimpleVLA-RL）に対して最大 2.27倍 の高速化を達成しました。
実世界への転移:
- 引き出しを閉めるタスクに関する予備的な実世界実験では、RLによって最適化されたポリシーは、主にシミュレーション内で訓練されているにもかかわらず、SFTのみのベースラインよりも効率的にタスクを完了し、より直接的で流暢な挙動を示しました。

重要性と主張

著者らは、RLinf-VLAを、エンボディド・インテリジェンスの分野における基礎的なフレームワークとして位置付けています。その重要性は以下の点にあります。

統一: 多様なシミュレータ、モデル、およびアルゴリズムをサポートする最初の統一されたインターフェースを提供し、公平な比較と再現性を可能にします。
効率性: エンボディドRL特有のリソース競合（シミュレータ vs 推論 vs トレーニング）に対処することで、トレーニング時間を大幅に短縮するスケーラブルなソリューションを提供します。
ベストプラクティス: RLベースのVLAトレーニングを導く、実行可能な設計選択（アクションレベルの価値推定、部分的リセット、有効アクションマスクなど）を抽出しています。
オープン性: オープンソースとして公開され、積極的にメンテナンスされているプラットフォームであり、この領域の研究を加速し標準化することを目指しています。

本論文は、シミュレーションベースのRLが実世界への展開において有望であることを示していますが、主要な貢献は、強化学習を通じてVLAの能力を進展させるために必要な、堅牢で効率的かつ拡張可能なインフラストラクチャを確立したことにあると結論付けています。