💻 computer science

Failing Forward: Adaptive Failure-Informed Learning for Vision-Language-Action Models

本論文は、オンライン生成された失敗軌跡を適応的なネガティブガイダンスとして活用し、誤りやすい領域から方策を誘導してタスク成功率を向上させることで、ビジョン・言語・アクションモデルの堅牢性を高めるエンドツーエンドのフレームワークである適応的失敗情報学習（AFIL）を導入する。

原著者： Meng Zheng, Samhita Marri, Anwesa Choudhuri, Benjamin Planche, Zhongpai Gao, Van Nguyen Nguyen, Terrence Chen, Girish Chowdhary, Ziyan Wu

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Meng Zheng, Samhita Marri, Anwesa Choudhuri, Benjamin Planche, Zhongpai Gao, Van Nguyen Nguyen, Terrence Chen, Girish Chowdhary, Ziyan Wu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットにタスクを教え込むことを想像してみてください。例えば、ブロックを積み上げたり、バナナを皿に置いたりするようなことです。従来、私たちはロボットに、人間がそのタスクを完璧に遂行する様子を動画で示すことで教えてきました。ロボットはこれらの「成功談」を観察し、それを模倣しようとします。

問題は、現実世界は完璧ではないということです。ロボットがわずかに滑ったり、物体を奇妙な角度で掴んだりした場合、それをどう修正すればよいか分かりません。完璧な例からのみ学習しているため、物事がうまくいかないときに何をすべきか見当もつきません。そのため、同じミスを繰り返し、最終的にタスク全体が失敗するまで止まりません。まるで、穏やかで鏡のような海だけで船乗りを教育したようなもので、嵐が来た瞬間、舵の取り方が全く分からないのと同じです。

この論文は、この問題を解決する新しい手法「AFIL（Adaptive Failure-Informed Learning：適応的失敗情報学習）」を紹介しています。その仕組みを、簡単な比喩を用いて説明します。

1. 成功だけでなく、失敗からも学ぶ

単に完璧な成功の動画を見せるのではなく、AFIL はロボットに 2 つのことを同時に教えます。

「成功」の教師: タスクを完璧に遂行する方法をロボットに示します。
「失敗」の教師: 物事がうまくいかないときに何が起こるかをロボットに示します（例：物体を落とす、目標を外すなど）。

ロボットは両方から学びます。「正しい」動き方を学ぶ一方で、「間違った」動き方を認識して避ける方法も学びます。

2. 「二頭制」の脳

研究者たちは、同じ目と耳（視覚と言語理解）を共有する 2 つの「頭」（デュアルアクションジェネレーター）を持つ特別なロボットの脳を構築しました。

頭 A は、完璧な動きがどのようなものか予測します。
頭 B は、失敗した動きがどのようなものか予測します。

これらは 2 つの独立した巨大な脳を必要としません。画像や指示の理解という重労働は共有しつつも、何をすべきかを決定するための「筋肉」は異なります。これによりシステムは効率的になり、膨大な追加の計算能力を必要としません。

3. 自ら調整する「ハンドル」

これが最も巧妙な部分です。ロボットが実際にタスクを実行する際、単に「成功」の教師を盲目的に追従するわけではありません。「失敗」の教師を常にチェックします。

まるで非常に賢いコパイロットを乗せた車を運転しているようなものです。

道が空いており、「成功」と「失敗」の教師が経路について一致している場合、ロボットは普通に走行します。
しかし、ロボットが崖（失敗）に向かって傾き始めると、「失敗」の教師が「そこに行くな！」と叫びます。
システムはその後、ハンドルを自動的に調整して、ロボットを崖から遠ざけ、安全な経路に戻します。

この論文では、これを**「適応的ネガティブガイダンス」**と呼んでいます。まるで磁気的な反発のようです。ロボットがミスに近づくほど、それを安全な場所へ押し戻す力が強まります。重要なのは、この力が固定されていないことです。ロボットが実際に失敗の危機にあるときだけ強くなり、物事が順調なときは弱いままです。

4. 「失敗」データをどう入手するか

「ロボットが全てを壊さずに、失敗する動画はどうやって入手するのですか？」と疑問に思うかもしれません。
研究者たちは、ロボットを壊すために人間を雇ったわけではありません。代わりに、ロボットにタスクを自ら試行させました。避けられないミスが発生したとき、システムはその「おっと」という瞬間を記録します。まるで学生が数学の問題を練習する際、間違えた答えを書き留めて次回に学ぶように、これも自動的に行われます。人間が特定の「失敗シナリオ」を手動で設計する必要はありません。

結果

チームは、単純な積み上げから複雑な多段階の家事まで、さまざまなタスクを実行するロボットでこれをテストしました。

回復力の向上: 物事がわずかにうまくいかなかったとき、従来のロボットが諦めてしまうのに対し、AFIL ロボットはそれを修正する方法を知っていました。
新しい状況への対応: AFIL ロボットは、以前に見たことのない新しい物体や散らかったテーブルに対処する能力が格段に向上しました。
長期的なタスク: 特に、小さなミスが蓄積して完全な失敗に至るような、長く複雑なタスクにおいて優れた性能を発揮しました。

要約すると: AFIL は、失敗が学習の一部であることをロボットに教えます。何をすべきでないかを示し、ミスから遠ざかるための賢く調整可能な手段を与えることで、ロボットははるかに信頼性が高く、頑健になり、現実世界の混沌とした現実に対応する準備が整います。

技術概要：ビジョン・言語・アクションモデルのための適応型失敗情報学習（AFIL）

1. 問題定義

ビジョン・言語・アクション（VLA）モデルは、大規模な事前学習済みビジョン・言語表現を活用して具身的な意思決定を可能にするスケーラブルなパラダイムとして、ロボティクス操作において台頭してきた。しかし、現在の VLA モデルは、展開時に著しい脆さ（brittleness）に悩まされている。この限界は、主に「成功のみ」の行動クローニング（behavioral cloning）への依存に起因する。学習データは通常、限定された環境で収集された遠隔操作された軌道で構成されており、最適でない状態や未見の状態に対する修正信号が欠如している。

その結果、成功デモンストレーションのみで訓練された方策は、狭い行動多様体（behavioral manifolds）に過剰適合する傾向がある。わずかな実行エラーが発生すると、それらは急速に蓄積し、取り返しのつかない分布外（out-of-distribution）の失敗へと至る。最近の研究では、失敗データからの学習が堅牢性を向上させる可能性が示唆されているが、既存のアプローチには重要な限界が存在する：

手動設計: 多くの手法は、「スリップ」や「不完全な把持」などの特定のカテゴリを定義する手作りの失敗分類体系（taxonomies）に依存しており、ドメイン専門知識を必要とするだけでなく、現実世界の失敗の確率的な多様性を捉えきれていない。
人間への依存: 回復は、タスク固有のヒューリスティックやリアルタイムの人間の介入に依存することが多く、スケーラビリティを制限している。
計算コスト: 画像生成におけるネガティブプロンプトと同様の「ネガティブガイダンス」を、シーケンシャルなロボティクス動作に適用することは容易ではない。従来の手法は、望ましい分布と望ましくない分布に対して別々のモデルを必要とすることが多く、大規模なビジョン・言語モデル（VLM）バックボーンを基盤とする VLA システムにとっては計算的に実行不可能である。

2. 手法：適応型失敗情報学習（AFIL）

著者は、拡散モデルおよびフローマッチングに基づく VLA 方策向けに設計されたエンドツーエンドのフレームワークである**適応型失敗情報学習（AFIL）**を提案する。AFIL は、失敗軌道を適応的なネガティブガイダンスとして活用し、失敗しやすい領域から動作生成を誘導する。

2.1 ダブルアクションジェネレータ（DAG）アーキテクチャ

AFIL は、成功データと失敗データの両方から学習しつつ、パラメータ効率を維持する**ダブルアクションジェネレータ（DAG）**アーキテクチャを導入する：

共有バックボーン: 両方のジェネレータは、視覚知覚と意味的グラウンディングのために、共通の事前学習済み VLM バックボーン（ $\Phi_{VLM}$ ）を共有する。
デュアルヘッド: このアーキテクチャは、2 つの異なる動作ジェネレータを採用する：
1. 成功ジェネレータ（ $\mathcal{G}_{succ}$ ）: 成功軌道のみで訓練され、分布 $p_{succ}(a | o, \ell)$ をモデル化する。
2. 失敗ジェネレータ（ $\mathcal{G}_{fail}$ ）: 失敗軌道のみで訓練され、分布 $p_{fail}(a | o, \ell)$ をモデル化する。
オンライン失敗生成: 手動アノテーションに依存するのではなく、AFIL はタスク条件付き実行の下で事前学習済み VLA をロールアウトさせることで、オンラインで失敗軌道を生成する。これらの軌道は、自然発生的かつ蓄積的なエラーモードを自然に捉える。

2.2 学習戦略

モデルは混合データセット $\mathcal{D} = \{\mathcal{D}_s, \mathcal{D}_f\}$ で訓練される。

拡散ベースの方策の場合、各ジェネレータはノイズ $\epsilon_\theta$ を予測し、それぞれのデータセット上で標準的な拡散目的関数を最小化する。
フローマッチングの方策の場合、ヘッドはノイズからデータ分布へサンプルを輸送する速度場を予測する。
重要なのは、基礎的な生成学習目的関数は変更されないことである。革新性は、共同学習構造と推論時のガイダンスメカニズムにある。

2.3 適応型失敗情報サンプリング

推論時、AFIL はテキストから画像生成におけるネガティブプロンプティングに着想を得た動的ガイダンスメカニズムを採用する。静的なガイダンススケールを使用するのではなく、AFIL は各拡散ステップにおける成功予測と失敗予測の乖離に基づいて、ネガティブガイダンスの強度を適応的に調節する。

ガイダンス付きスコア $\epsilon^*_{FI}$ は以下のように計算される：
$\epsilon^*_{FI} = \epsilon_{succ} - \hat{\lambda}_\eta(\mathbf{a}^\eta) (\epsilon_{fail} - \epsilon_{succ})$
ここで、適応的ガイダンススケール $\hat{\lambda}_\eta$ は、成功ジェネレータと失敗ジェネレータの予測ノイズベクトル間のコサイン類似度によって決定される：
$\hat{\lambda}_\eta(\mathbf{a}^\eta) = \alpha (1 - \cos(\epsilon_{succ}, \epsilon_{fail}))$

適応性の根拠:

初期段階: エピソードの開始時、成功と失敗のロールアウトはしばしば類似した到達動作を共有する。ここではコサイン類似度が高いため、有効な動作を抑制しないようガイダンススケールは低くなる。
乖離段階: 軌道が進行するにつれ、失敗モード（例：物体を落とす）が発生すると、予測は乖離する。コサイン類似度が低下すると、ガイダンススケールが増加し、方策を失敗多様体から積極的に反発させ、修正行動へと誘導する。

3. 主な貢献

本論文は、3 つの主要な貢献を概説する：

AFIL フレームワーク: 拡散およびフローベースの VLA 向けの適応型失敗情報学習の導入。オンライン生成された失敗ロールアウトを、シーケンシャルな動作生成のための原理的な適応型ネガティブガイダンスとして活用する。
DAG-VLA アーキテクチャ: 共有 VLM バックボーンを用いて成功と失敗の動作を共同学習する新規アーキテクチャ。限られたパラメータオーバーヘッドで失敗認識型の方策学習を可能にする。
実証的検証: AFIL が、短時間および長時間のセットアップを含む多様なドメイン内およびドメイン外操作タスクにおいて、一貫して成功率と堅牢性を向上させることを実証。

4. 実験結果

著者は、 $\pi0.5$ バックボーンを使用して、ManiSkillおよびLIBEROベンチマークで AFIL を評価した。

4.1 ドメイン内パフォーマンス（ManiSkill）

短時間タスク: AFIL は、成功のみのベースラインに対して成功率を大幅に向上させた。例えば、「ペグを直立に持ち上げる」タスクでは、成功率が成功のみ（70.7%）から90.7%（適応型-FIL）に増加した。
長時間タスク: 誤差が蓄積する複雑な多段階タスクにおいて、改善効果が最も顕著であった。「缶をプレートに置き、バナナもプレートに置く」タスクでは、成功率が 39.3% から**71.3%**に上昇し、静的な失敗情報サンプリングを 12% 以上上回った。
アブレーション研究: 適応的ガイダンス（ $\alpha=1.0$ ）が静的ガイダンスを上回ることを確認した。特に、軌道の初期段階において有効な動作を抑制することなく失敗モードを反発させるバランスにおいて優れていた。

4.2 ベンチマーク評価（LIBERO）

AFIL は、4 つの LIBERO スイート（Spatial、Object、Goal、Long）すべてで最先端のパフォーマンスを達成した。
困難なLIBERO-10（長時間）スイートにおいて、この手法はベースラインの $\pi0.5$ のパフォーマンスを 92.4% から**95.8%**に向上させた。
全スイートにわたる平均成功率は 96.9% から**98.4%**に改善し、強力な事前学習済み方策であっても適応型失敗ガイダンスから恩恵を受けることを示した。

4.3 ドメイン外（OOD）評価

未見の物体、新しい幾何学形状、混雑した環境を含むシナリオでは、成功のみの方策は著しく性能が低下した（例：フルーツソートで 10.7%）。
AFIL は堅牢な一般化を示し、フルーツソートで**64.0%**の成功率を達成し、適応的ガイダンスを持たない「成功＋失敗修正」ベースラインおよび成功のみのベースラインを大幅に上回った。

5. 意義と主張

本論文は、AFIL が以下のものを必要とせずに、堅牢なロボティクス動作生成のためのスケーラブルかつ効率的なメカニズムを提供すると主張する：

手作りの失敗モードや分類体系。
タスク固有の回復ヒューリスティック。
失敗検出のための別の大規模 VLA モデル。

失敗分布を明示的にモデル化し、それを適応型ネガティブガイダンスとして使用することで、AFIL は「成功のみ」の学習に内在する脆さに対処する。著者らは、このアプローチが、エラー、分布のシフト、および回復の必要性が避けられない現実的な展開設定に一般化可能な VLA 方策を開発するための有望な方向性を提供すると位置づけている。この手法はモデル非依存であり、拡散またはフローマッチングベースのあらゆる VLA 方策に適用可能であると提示されている。