🤖 AI

Z-1: Efficient Reinforcement Learning for Vision-Language-Action Models

Z-1は、公開されているRoboCasaのデモンストレーションに対してGroup Relative Policy Optimization（GRPO）を活用することで、追加のプライベートデータを必要とすることなく、フローベースのVision-Language-Actionモデルの性能と成功率を大幅に向上させる強化学習ポストトレーニングフレームワークである。

原著者： Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

公開日 2026-07-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットにコーヒーを淹れたり、扱いにくい引き出しを開けたりといった、複雑な料理（タスク）を教えていると想像してください。

問題点：「真似っこ」ロボット
これまで、ほとんどのロボットの訓練には「行動クローニング（Behavior Cloning）」という手法が使われてきました。これは、生徒が先生の完璧なビデオ映像だけを見て学習するようなものです。ロボットは、人間が成功している様子を観察し、その動きを正確にコピーしようとします。

欠陥： もし生徒が小さなミス（例えば、取手を握る位置が数ミリずれたなど）をしたとしても、ビデオにはその修正方法までは映っていません。ロボットは途中で行き詰まり、どうやって立て直すべきか分からず、失敗してしまいます。学習中にミスをすることが許されていなかったため、自分の間違いから学ぶことができないのです。

解決策：Z-1（「試行錯誤」のコーチ）
この論文では、ロボットが「やってみる、失敗する、そしてやり直す」ことで学習できる新しい訓練システムであるZ-1を紹介しています。これは、キッチンで練習させて、失敗したら「次はこうすればいいよ」と具体的なフィードバックを与えるコーチのようなものです。

Z-1の仕組みを、簡単な比喩を使って説明します。

1. 出発点 (SFT)

まず、ロボットはドアを開けたりシンクを使ったりする人間の公開ビデオを観察することで、「短期集中コース」を受けます。これは、料理をする前にレシピを読むことに似ています。これにより、ロボットは何をすべきかの基本的な概念を理解します。

2. 「グループ練習」 (GRPO)

Z-1は、ロボットを一人で練習させるのではなく、**グループ相対方策最適化（GR口 relative Policy Optimization: GRPO）**という手法を用います。

比喩： コーチが8人の生徒をキッチンに送り込み、同時にコーヒーを作らせる場面を想像してください。
目的： コーチは単に「よくできました」や「ダメでした」と言うだけではありません。代わりに、コーチは8人の生徒を互いに比較します。もし7人がコーヒーをこぼし、1人だけが成功した場合、コーチはその成功した生徒に「あなたは違うやり方をしましたね。そのやり方を続けなさい」と伝えます。これにより、ロボットはどの微細な動きが違いを生んだのかを正確に把握できるのです。

3. スマートなテクニック（新しいモジュール）

この論文では、練習を効率的かつ安定させるための4つの巧妙なテクニックを紹介しています。

共有プレフィックス（「同じスタート」のルール）：
- 問題点： 生徒Aが左に歩いてスタートし、生徒Bが右に歩いてスタートした場合、最終的なコーヒー作りのスキルの高さを比較するのは不公平です。スタート地点が異なっているからです。
- 解決策： Z-1は、すべての生徒に全く同じ最初の数ステップ（例：カウンターへ歩いていく動作）を強制します。全員がカウンターの前に立ったところで、それぞれ異なる方法でマグカップを掴む練習を始めます。これにより、ロボットは「歩くこと」ではなく、タスクの「重要な部分（掴む動作）」から学習できるようになります。
ツリー構造の分岐（「分岐する道」のルール）：
- 問題点： 時には、「カウンターへ歩く」という部分自体も練習が必要です。もし全員を完全に同じ動きに強制してしまうと、歩き方のミスを修正する方法を学ぶことができません。
- 解決策： Z-1は「ツリー（樹形図）」構造を使用します。全員が一緒にスタートしますが、その後、異なるポイントで小さなグループに分かれていきます。早く分かれるグループもあれば、遅れて分かれるグループもあります。これにより、練習の秩序を保ちつつ、小さなミスを修正する練習を行うことができます。
成功を意識した報酬減衰（「スピードボーナス」）：
- 問題点： 標準的なシステムでは、ロボットがドアを開けるのに10分かかっても、1分で開けても、どちらにも同じ「よくできました」ステッカーを与えてしまうことがあります。
- 解決策： Z-1は、より早く完了したロボットにより大きな「よくできました」ステッカーを与えます。遅い方を罰することはありませんが、速い方をより高く評価します。これにより、失敗を恐れることなく、効率的に動くよう促します。
選択的結合訓練（「脳と手」の切り替え）：
- 問題点： ロボットが失敗する理由は、その「手（アクションの専門家）」が不器用だからかもしれません。あるいは、その「目（視覚と言語の脳）」がノブを明確に捉えられていないからかもしれません。
- 解決策： 通常、Z-1は安定性を保つために「手」のみを訓練します。しかし、もしロボットが「見ること」や「対象を理解すること」ができずに失敗し続けている場合、Z-1はスイッチを切り替え、「脳」と「手」を同時に訓練します。これは、「生徒は不器用なのではなく、単に取手が見えていないだけだ！」と気づき、より良く見るように教えるようなものです。

結果

チームは、24種類の家庭内タスク（引き出しを開ける、シンクを使う、コーヒーを淹れるなど）でZ-1をテストしました。

Z-1の前（ビデオを見ているだけ）： ロボットの成功率は約**67%**でした。
Z-1の後（新しいテクニックを用いた練習後）： ロボットの成功率は**80.6%**に達しました。

この向上は非常に顕著であり、Z-1は秘密のプライベートデータを使用せず、公開されているビデオと自らの練習セッションのみを使用して、現在公開されている他のトップレベルのロボットモデルをも上回りました。

まとめ：
Z-1は、単なる「真似っこ」だったロボットを「問題解決者」へと変貌させます。グループでの練習、共通のスタート地点、スピードへの報酬、そして「目」と「手」のどちらを訓練すべきかの判断を通じて、ロボットは以前よりもずっと上手く、現実世界の家庭内の複雑な課題に対処できるようになるのです。

技術要約: Z-1 – ビジョン・ランゲージ・アクション（VLA）モデルのための効率的な強化学習

1. 問題提起

Vision-Language-Action (VLA) モデルは、言語指示、視覚的観測、および連続的な制御を統合することにより、ロボット操作のための有望なフレームワークとして台頭してきました。しかし、現在の最先端（SOTA）のポリシーは、主に固定された人間によるデモンストレーションを用いた行動クローニング（BC）または教師あり微調整（SFT）を通じて訓練されています。この模倣学習への依存は、2つの決定的な制限をもたらします：

限定的な汎用性: パフォーマンスはデモンストレーションデータの網羅性に縛られます。長期的なホライゾンや構成的なタスクにおいて、小さな予測誤差が蓄積し、訓練データに十分に表現されていない状態へとロボットを押し込んでしまう可能性があります。
自己修正能力の欠如: BC および SFT は、自身の失敗から改善するためのメカニズムを持っていません。これらは、複雑な操作動作の洗練に不可欠な、試行錯誤による相互作用を通じた疎なタスク成功の最適化を行うことができません。

強化学習（RL）によるポストトレーニングは、タスクレベルの報酬を最適化することでこれらの制限を克服する道筋を提供しますが、フローベースの VLA モデルに RL を適用することは依然として困難です。主な障害には、ロールアウト生成の高コスト、報酬の疎性、および視覚・言語のバックボーンが凍結されている場合に、視覚的グラウンディングや空間推論に起因する失敗を修正することの難しさなどが含まれます。

2. 手法: Z-1 フレームワーク

Z-1 は、フローベースの VLA モデル向けに特別に設計されたモジュール式 RL ポストトレーニング・フレームワークです。事前学習済みの $\pi_0.5$ ベースモデルに基づいて構築されており、公開されている RoboCasa のデモンストレーションのみを使用して、2段階のトレーニング・パイプラインを採用しています。

ステージ 1: シーン別教師あり微調整 (SFT)

パイプラインは、 $\pi_0.5$ を RoboCasa 環境に適応させることから始まります。すべてのタスクに対して個別のモデルを訓練するのではなく、Z-1 はシーン別 SFT（ドア、引き出し、シンクなどのシーンカテゴリごとにタスクをグループ化）を実行します。このアプローチは、シーン内の共有されたオブジェクトのレイアウトや操作プリミティブを活用することで、データ効率を向上させます。このステージでは、堅牢な初期化を実現するために、視覚・言語モジュールとアクション・エキスパートの両方が更新されます。

ステージ 2: タスク単位のグループ相対方策最適化 (GRPO)

SFT に続き、Z-1 はタスク固有の GRPO ポストトレーニング戦略を適用します。ロールアウトを独立した完全な軌跡として扱う標準的な RL とは異なり、Z-1 は効率性と安定性を高めるために4つの主要なモジュール・コンポーネントを導入しています：

共有プレフィックス GRPO (Shared-Prefix GRPO): 初期の「接近」フェーズが大きく異なり、報酬信号を希釈してしまうという問題に対処するため、Z-1 は GRPO グループ内のロールアウトが共通のプレフィックスを共有するように強制します。分岐点におけるシミュレータの状態を複製し、サフィックス（分岐後のアクション）のみを独立してサンプリングします。これにより、グループ相対の比較が、冗長な接近のバリエーションではなく、タスクに重要な相互作用フェーズに焦点を合わせるようになります。
ツリー構造プレフィックス分岐 (Tree-Structured Prefix Branching): 接近フェーズ中の洗練を必要とするタスクのために、Z-1 はフラットな共有プレフィックスのアプローチを一般化します。プレフィックス内に中間分岐点を導入し、ロールアウト・クラスターのツリーを作成します。これにより、オーバーマスキングを軽減し、部分的に共有されたセグメントが学習信号に寄与できるようにしつつ、冗長な計算を削減します。
成功を考慮した報酬減衰 (Success-Aware Reward Decay): すべての成功した軌跡が等しく扱われる疎な報酬に対処するため、Z-1 は完了時間に基づく減衰因子（ $\tilde{r}_i = r \cdot \gamma^{d_i}$ ）を導入しています。より速く完了した成功には、より高い報酬が与えられます。決定的なのは、すべてのロールアウトが成功したグループにおいて、Z-1 は平均正規化ではなく、非負の最小ベースライン順序（ $A_i = R_i - \min_j R_j$ ）を使用することです。これにより、遅い成功が負のアドバンテージを受け取ることを防ぎ、信頼性は高いが低速な完了に対する過度なペナルティを回避します。
選択的 VLM–アクション・エキスパート共同訓練 (Selective VLM–Action Expert Joint Training: Sel-JT): 標準的な VLA-RL では VLM のバックボーンを凍結することが多いですが、Z-1 は、アクション・エキスパートと共に VLM を更新するかどうかを動的に選択します。この決定は、訓練段階の診断（例：SFT 成功率、失敗モード）に基づいています。失敗が低レベルの制御ではなく、不十分な視覚的グラウンディングや空間推論に起因する場合、知覚と行動の共適応を可能にするために VLM の凍結を解除します。

3. 主な貢献

本論文は以下の貢献を提示しています：

Z-1 フレームワーク: 公開されたデモンストレーションデータのみで効果的に動作する、フローベースの VLA モデルのためのモジュール式 GRPO ポストトレーニング・フレームワーク。
新しいロールアウト構築: 冗長なシミュレーションを削減し、重要な相互作用セグメントに最適化を集中させるための Shared-Prefix GRPO および Tree-Structured Prefix Branching の提案。
報酬および訓練の革新: 密な報酬シェイピングなしに完了速度に関する精緻なフィードバックを提供する Success-Aware Reward Decay、および必要な場合にのみ知覚モジュールを適応させる Selective Joint Training の開発。
新しい SOTA パフォーマンス: 公開デモンストレーション設定下での RoboCasa ベンチマークにおける、新しい最高水準の平均成功率の確立。

4. 実験結果

Z-1 は、7つのカテゴリ（ドア、引き出し、ピック・アンド・プレース、電子レンジ、シンク/蛇口、ストーブ、コーヒー作成）にわたる 24 の標準的な RoboCasa 操作タスクで評価されました。

パフォーマンスの向上: Z-1 RL は、平均成功率を 67.4%（SFT 初期化）から 80.6% へと、13.2 パーセントポイント向上させました。
SOTA との比較: Z-1 RL は、GR00T、GR00T N1.5、Video Policy、X-WAM を含む、以前に発表された結果を上回りました。具体的には、X-WAM が深度情報を使用しているのに対し、Z-1 は公開デモンストレーションのみに依存しているにもかかわらず、平均で X-WAM を 1.4 パーセントポイント上回りました。
タスク固有の改善:
- 引き出しおよびシンク/蛇口: 有意な改善が見られました（例：引き出し: 83.4% $\to$ 96.1%、シンク: 63.2% $\to$ 94.3%）。これは、精密な接近後操作を必要とするタスクにおけるプレフィックスベースのロールアウト構築の有効性を示しています。
- ピック・アンド・プレース: 実質的な利得が得られました（53.9% $\to$ 70.9%）。
- ストーブタスク: Z-1 は SFT ベースラインからは改善しましたが、X-WAM をわずかに下回りました。これは、複雑な長期ホライゾンの輸送や堅牢なリカバリを必要とするタスクには依然として課題があることを示しています。
アブレーション研究:
- プレフィックスベースのバリアント（Shared-Prefix および Tree-Structured）は、一貫してバニラ GRPO を上回りました。特に Tree-Structured は、訓練が安定している場合に高いピーク性能を示しました。
- Selective Joint Training (Sel-JT) は、「ストーブをつける」のような困難なタスクにおいて、Action-Expert のみの訓練よりも大幅に優れた性能を示し、グラウンディングが不十分な場合に視覚表現を適応させる必要性を検証しました。
- Success-Aware Reward Decay は、標準的な報酬ペナルティ（過度に攻撃的になりがちである）と比較して、より速く安定した成功率の向上を提供しました。

5. 意義と主張

本論文は、系統的な GRPO ポストトレーニングが、追加のプライベートなデモンストレーションに頼ることなく、フローベースの VLA ポリシーを大幅に改善できると主張しています。

著者らは、共有プレフィックスの構築、完了を考慮した報酬キャリブレーション、および適応的なモジュール選択といった綿密な設計を通じて、RL が VLA モデルの限界を超えてポリシーを効果的に洗練できることを示し、ロールアウト生成と報酬キャリブレーションにおける特定のエフィシェンシー（非効率性）に対処することで、VLA モデルにおけるオンライン RL の実現可能性を実証したと強調しています。本研究は、ポストトレーニングにおけるアルゴリズムの改善が、より広範または独自のデータを用いて訓練されたモデルに匹敵、あるいはそれを上回るパフォーマンス向上をもたらすことを示しており、公開データのみを用いた VLA 訓練の新しいベンチマークを確立しています。