🤖 AI

RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models

RePO-VLA は、成功・失敗・回復の軌跡を区別してオンライン失敗検出器なしで実行ドリフトを自律的に修正可能な値条件付き方策を学習することにより、長視野かつ接触に富む操作における堅牢性を向上させるビジョン・言語・動作モデル向けの回復駆動型方策最適化フレームワークである。

原著者： Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun Wang, Min Wang, Liang Lin, Xiaodan Liang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに複雑な料理を作らせたり、繊細なタオルを折りたたませたりすると想像してみてください。あなたは、人間がそれを完璧に行っている動画を見せます。ロボットはそれを見て学び、あなたを真似ようとします。

問題：「完璧なレシピ」の罠
現在のロボット（ビジョン・言語・アクションモデルと呼ばれる）は、完璧な動画を模倣するのが得意です。しかし、現実は乱雑です。ロボットがスプーンを落としたり、濡れた床で滑ったり、カップを奇妙な角度で掴んだりすると、混乱します。なぜなら、それは「完璧な動画」だけで訓練されたため、物事がうまくいかない場合にどうすべきか知らないからです。状況が変わっても、元の「完璧な」シナリオに従い続け、最終的に衝突してしまいます。これは、空の高速道路だけで運転を学んだドライバーのようなものです。穴が開いた瞬間、それを避けるためのハンドル操作がわからないのです。

解決策：RePO-VLA（「回復コーチ」）
この論文は、RePO-VLAと呼ばれる新しい手法を紹介しています。ロボットに完璧な動画を見せるだけでなく、この手法は3つの具体的なことを教えます：

成功： 正しく行う方法。
失敗： 物事がうまくいかないときに何が起こるか。
回復： ミスを修正し、軌道に戻す方法。

これは、体操選手を訓練するようなものです。完璧な着地を見せるだけでなく、転倒する動画や、転倒後に自分でバランスを取り戻して立ち上がる動画も見せます。ロボットは、転倒が世界の終わりではないことを学びます。それは単に戦略を切り替えるシグナルに過ぎないのです。

仕組み：3つの簡単なステップ

「リセット」のトリック（回復感知初期化）
ロボットが転倒すると、その転倒を引き起こしたミスを記憶していることが多いです。問題の修正を求めると、頭の中でそのエラーを再生し続けて立ち往生する可能性があります。
- 解決策： RePO-VLAは動画の「回復」部分を取り出し、「ミス」部分を切り捨てます。修正が始まる直前でロボットのメモリをリセットします。まるでロボットに「転んだことを忘れろ。今いる場所だけを見て、どう立ち直るか考えろ」と言っているようなものです。これにより、ロボットは転倒の原因と解決策を混同することを防ぎます。
「進捗温度計」（セマンティック価値関数）
システムは動画のすべての瞬間に「スコア」を割り当てます。
- 高スコア（1.0）： 目標に向かって進んでいる。
- 低スコア（0.0）： 目標から逸れているか、衝突しようとしている。
- 魔法： ロボットが滑るとスコアは下がります。しかし、滑りを修正し始めるとスコアは再び上がります。ロボットはこの「温度計」を見ることを学びます。スコアが低い場合、現在の計画を中止し、スコアを再び高くするために別の動きを試すことを学びます。「必死に頑張っているが失敗している」状態と、「実際に問題を修正している」状態を区別することを学びます。
「目標指向」の駆動（値条件付き洗練）
ロボットが実際に現実世界で作業しているとき、システムはこう伝えます。「可能な限り高いスコア（1.0）を目指せ」。
- ロボットが軌道から逸れ始めると、「スコア」は下がります。ロボットは高いスコアを追いかけるように訓練されているため、自動的に「回復モード」に切り替わり、安全な経路に戻ろうとします。「止まれ！」と人間が叫んだり、衝突を検知する特別なセンサーが必要になるわけではありません。スコアが下がっているのを見て、本能的に自ら修正するのです。

テスト：FRBench
これが機能することを証明するため、研究者たちはFRBenchと呼ばれるテストを構築しました。ロボットが水を注いだりタオルを折りたたんだりしようとするビデオゲームを想像してください。ただし、ゲームマスターが密かにロボットを押したり、物体を滑らせたりします。

従来のロボット： 押されると、空中に水を注ぎ続けたり、タオルを誤って折りたたんだりし、最終的に失敗します。
RePO-VLA ロボット： 押されると、スコアが下がっていることに気づき、悪い動きを止め、水を注ぐか折りたたむ新しい方法を見つけ出し、タスクを成功させます。

結果
テストにおいて、物事がうまくいかなかった場合、従来のロボットは約20%の成功率しかありませんでした。新しい RePO-VLA ロボットは約75%の成功率を達成しました。実際のロボットを用いた実世界の実験では、成功率は最大80%に達しました。

要約
RePO-VLA は、失敗を単なるデータとしてロボットに教えます。ミスを分解し、メモリをリセットし、ロボットに追うべき「スコア」を与えることで、簡単に壊れる脆いロボットを、自らの問題を修正できる回復力のあるロボットへと変えます。これは、答えのキーを暗記する学生と、質問が変わっても問題を解く方法を学ぶ学生の違いのようなものです。

技術的概要：RePO-VLA

問題定義

ビジョン・ランゲージ・アクション（VLA）モデルは汎用ロボットの制御を進展させたが、長期にわたる接触の多い操作タスクにおいては依然として脆弱である。現在の手法は、成功デモンストレーションに対する教師あり微調整（SFT）に大きく依存しており、「失敗利用の盲点」を生み出している。把持姿勢のずれ、物体の滑り、タイミングエラーなどに起因する実行のドリフトが発生した場合、標準的な VLA は回復のための教師信号を持たない。さらに、既存の手法は失敗したロールアウト全体を完全に破棄することが多く、その初期段階には有効なアプローチ行動が含まれている可能性を無視している。逆に、失敗履歴と修正行動の両方を含む回復軌道全体を単純に模倣すると、因果的混乱が生じる。つまり、方策が現在の不利な状態への反応を学ぶのではなく、先行するエラーを回復行動と関連付けて学習してしまうのである。

手法：RePO-VLA

RePO-VLA（ビジョン・ランゲージ・アクションモデルのための回復駆動方策最適化）は、成功、失敗、回復の軌道から、統一的な進行信号のもとで学習するためのフレームワークである。これは 2 つの明確なフェーズで動作する。

1. 回復認識初期化（RAI）

最初のフェーズは、特定失敗履歴が回復の必須トリガーであると方策が学習してしまうという「因果的混乱」の問題に対処する。

履歴リセット付き軌道スライシング（TSHR）： 生回復軌道は失敗プレフィックスを除去するためにスライスされる。観測履歴バッファは、修正セグメントの開始時にリセットされる。これにより、方策は特定の誤り（例：空のグリッパーや位置ずれした物体）の再生ではなく、現在の不利な状態に基づく状態条件付きスキルとして回復を学習することを強制される。
トレーニング： 方策は、専門家デモンストレーションとこれらのリセットされた回復セグメント（ $D_{expert} \cup D_{reset}^{rec}$ ）の混合で微調整され、名义的模倣と回復学習のバランスが取られる。

2. 値条件付き洗練（VCR）

2 番目のフェーズは、完全なローリング履歴（失敗プレフィックスを含む）を復元し、有用な行動、ドリフト行動、修正行動を区別するための密な意味的値信号を導入する。

進行認識意味的値関数（PAS-VF）： 軽量アダプターネットワークが、共有意味多様体内で時空間ビデオ特徴と言語指示を整合させる。これは、現在の軌道プレフィックスと成功参照軌道のクラスターとの間のコサイン類似度を測定することで、タスク進行度を推定することを学習する。
密ラベリング：
- 成功/回復： 進行を維持または回復するフレームは $v_t = 1.0$ とラベル付けされる。
- エラーセグメント： 不利な状態に至るプレフィックスは、修正行動との平均化を防ぐため $v_t = 0.0$ とラベル付けされる。
- 純粋な失敗： 初期の運動学的事前分布は信頼性減衰メカニズム（ $v_t = V(\tau_{fail}) \cdot (1 - t/T)^\alpha$ ）を介して保持され、終端の崩壊は重み付けが下げる。
値条件付きトレーニング： 方策は、密ラベルから導出された値トークン（ $e_{val}$ ）で拡張される。トレーニング中、方策は、同じ不利な観測と履歴を、望ましい値に応じて異なる動作モードにマッピングすることを学習する。
展開： 推論時、方策は標準的なローリング履歴バッファ（リセットなし）を使用するが、値トークンを $v = 1.0$ に固定する。これにより、動作分布が学習された「成功多様体」に偏り、オンライン失敗検出器やヒューリスティックな再試行ルールなしで自律的な回復が可能になる。

主要な貢献

RePO-VLA フレームワーク： 失敗したロールアウトを構造的に再利用する 2 フェーズ（RAI + VCR）アーキテクチャ。履歴リセットを通じて因果的混乱を排除し、密な進行ラベルを通じて値で区別された動作を可能にする。
FRBench： 標準化されたエラー注入（E1–E4：早期クローズ、把持滑り、位置オフセット、向き不一致）と、シミュレーション（RoboTwin）および実世界の両腕タスクにおいて、名义的熟練度と修正能力を分離するフェーズベースのプロトコルを特徴とする、回復評価のための新しいベンチマーク。
実証的検証： 明示的な回復教師信号と密な値ガイダンスが堅牢性を大幅に向上させることを実証した。論文は、回復データの密度を増加させることがさらに性能を向上させるという正のスケールトレンドを示している。

実験結果

シミュレーション（FRBench-Sim）： 46 の両腕タスクにおいて、RePO-VLA は注入された失敗下でベースライン（ $\pi_0$ 、 $\pi_0.5$ 、RDT など）を大幅に上回った。敵対的摂動を伴うランダム化設定において、RePO-VLA は平均成功率 43.0% を達成し、 $\pi_0.5$ ベースラインの 15.4% と比較した。
実世界評価： 水汲み、調理、タオル折りなどのタスクで Dobot X-Trainer アームでテストされた。
- 敵対的摂動下では、ベースライン $\pi_0.5$ は 20.0% の成功率であったのに対し、RePO-VLA（フェーズ I のみ）は 37.5% に達した。
- データスケーリング： 回復データの密度を 1 倍から 4 倍に増加させることで、さらに性能が向上した。フル（4 倍）バリアントは、敵対的条件下で 75% の成功率を達成し、フェーズ I ベースラインを上回り、失敗 - 回復近傍のより密なカバレッジが重要であることを示した。
アブレーション研究： 履歴リセット（TSHR）が因果的混乱を防ぐために不可欠であり、値条件付け（ $v=1.0$ ）がヒューリスティックな再試行に優る安定した制御信号を提供することを確認した。

意義と主張

本論文は、RePO-VLA が失敗データの活用方法を根本的に変えることで、現在の VLA モデルの脆弱性に対処すると主張している。失敗を破棄するか、回復エピソードを均一的に肯定的と扱うのではなく、このフレームワークはそれらを以下の異なる意味的役割に分解する。

失敗の有用なプレフィックスは、運動学的事前分布として保持される。
終端の崩壊は安全に重み付けが下げる。
修正行動は、先行する特定の失敗履歴から切り離された状態条件付きスキルとして学習される。

著者らは、このアプローチにより、単一の方策がモジュールの切り替えや外部失敗検出器への依存なしに、名义的実行と自律的回復の両方を処理できると仮定している。結果は、特に接触の多い環境における信頼性の高い長期操作において、ドリフトからの回復能力は名义的計画の実行能力と同様に重要であり、この能力は混合品質の相互作用データから直接学習可能であることを示唆している。