On Robustness of Vision-Language-Action Model against Multi-Modal Perturbations

本論文は、視覚・言語・行動モデル（VLA）の多モーダルな摂動に対する頑健性を評価し、入力と出力の両方に対する頑健な最適化手法「RobustVLA」を提案することで、既存モデルや実世界ロボットにおける成功率を大幅に向上させることを示しています。

要約

この論文は、ロボットが「目（カメラ）」と「耳（言語）」と「手（動作）」を使って世界とやり取りする最新の AI（VLA モデル）について書かれています。

一言で言うと、**「ロボットが完璧な実験室ではなく、カオスな現実世界で失敗しないようにする、新しい『免疫システム』の作り方を提案した」**という研究です。

以下に、専門用語を排して、身近な例え話で解説します。

---

1. 問題：ロボットは「完璧な環境」しか知らない

今のロボット AI は、インターネット上の大量のデータで訓練されています。しかし、訓練データは「きれいな部屋」「正確な指示」「滑らかな動き」のような理想状態が多いです。

でも、現実世界はどうでしょうか？

• 目： カメラが曇ったり、光が反射したり、ゴミが映り込んだり。
• 耳： 指示が「コップを置いて」と言われたのに、「コップ、そこ、置いといて」と言われたり、訛りがあったり。
• 手： モーターが少し古くなってズレたり、ケーブルが引っかかったり。

これまでの研究は「目」のノイズにだけ対策を練っていましたが、この論文は**「手」や「耳」のノイズこそがロボットを最も困らせる**と発見しました。まるで、風邪薬を飲んでいるのに、実はお腹を壊していたような状態です。

2. 発見：ロボットは「手」が最も弱い

著者たちは、17 種類の異なる「トラブル（ノイズ）」をシミュレーションしてテストしました。

• 発見 1： 最も壊れやすいのは「目」ではなく、**「手（動作）」**でした。少しのモーターのズレで、ロボットは失敗の連鎖に陥ります。
• 発見 2： 「目」に強い対策をしたロボットは、他の部分（手や耳）には強くなりませんでした。
• 発見 3： 既存のモデルの中で、**「π0（パイ・ゼロ）」**というモデルが最もタフでした。

3. 解決策：RobustVLA（ロバスト VLA）

そこで、著者たちは**「RobustVLA」という新しいトレーニング方法を考案しました。これは、ロボットに「どんなトラブルが起きても、同じゴールを達成する」**という超能力を身につけさせる方法です。

① 「手」を強くする：悪魔の練習

ロボットに「最悪の動き」をさせながら訓練します。

• 例え： 剣道の達人が、あえて「足元を滑らせて」練習するイメージです。
• 仕組み： AI が「正しい動き」を予測する際、あえて「ノイズ（ズレ）」を加えた動きも同時に学習させます。「もしモーターがズレたらどうするか？」を事前にシミュレーションすることで、実際のトラブルが起きても、AI は「あ、これなら大丈夫だ」と判断できるようになります。

② 「目・耳」を強くする：意味の不变性

どんなに画像が歪んだり、指示の言い回しが変わっても、「やるべきこと」は変わらないはずです。

• 例え： 料理のレシピが「卵を割って」と言われたり、「卵を粉砕して」と言われたりしても、料理人は「卵を割る」という意味だと理解します。
• 仕組み： 入力（画像や言葉）が少し変わっても、出力（動作）は同じになるように訓練します。

③ 最も厄介な敵を見つける：UCB（上信頼区間）

17 種類のノイズすべてを同時に練習するのは大変です。そこで、**「今、一番ロボットを困らせているノイズはどれか？」**を自動で見つけるアルゴリズムを使います。

• 例え： 練習中に「今日は風が強いから、風に対する練習を重点的にしよう」と、その日一番苦手なことに集中するコーチのような役割です。これにより、効率的に強くなります。

4. 結果：劇的な改善

この方法を実験（シミュレーション）と、実際のロボット（FR5 アーム）で試しました。

• シミュレーション： 17 種類のトラブルすべてに対して、既存のモデルより10%〜12% 以上の成功率向上。
• 計算速度： 従来の「目」に強い対策（BYOVLA）は、外部の巨大 AI を呼び出して処理するため非常に遅いですが、RobustVLA は50 倍も速く動きます。
• 現実世界： 実際のロボットで、わずか25 回の練習データ（デモ）だけで、既存モデル（π0）を65% 以上も上回る成功率を達成しました。データが豊富な場合でも、30% 以上優位でした。

まとめ

この論文が伝えているのは、**「完璧な環境で育てるのではなく、あえて『カオス』や『失敗』をトレーニングに混ぜることで、ロボットは現実世界で生き残れる強さを得る」**ということです。

まるで、子供に「完璧な道」だけでなく、「ぬかるみ」や「急な坂」を歩かせておくことで、大人になってからどんな道でも歩けるようになるのと同じ理屈です。RobustVLA は、その「泥んこトレーニング」を AI に効率的に行わせるための画期的な方法なのです。

技術概要

論文「ON ROBUSTNESS OF VISION-LANGUAGE-ACTION MODEL AGAINST MULTI-MODAL PERTURBATIONS」の技術的サマリー

本論文は、ICLR 2026 にて発表された研究で、視覚・言語・行動（VLA）モデルが直面するマルチモーダルな摂動（ノイズ）に対する頑健性の評価と、その向上手法「RobustVLA」の提案を扱っています。

1. 背景と問題定義

ロボット制御における VLA モデルは、視覚入力と言語指示に基づいて行動を生成する基盤モデルですが、実世界での展開には以下の課題がありました。

• 既存研究の限界: 従来の頑健性向上手法（BYOVLA, GEVRM など）は、主に「視覚入力」のノイズ（色の変化、ぼかしなど）に焦点を当てており、行動、環境、言語指示といった他のモダリティの摂動を無視している。
• マルチモーダル不確実性: 実世界では、センサーノイズ、アクチュエータの摩耗、外部からの物理的干渉、曖昧な言語指示など、多様なモダリティにわたる不確実性が同時に発生する。
• 評価の不足: どのモダリティが最も脆弱か、また既存の視覚頑健モデルが他のモダリティに対しても有効かどうかを体系的に評価した研究が不足していた。

2. 既存 VLA モデルの頑健性評価

著者らは、主要な VLA モデル（OpenVLA, π0-FAST, π0）および既存の頑健モデル（BYOVLA）に対し、4 つのモダリティ（行動、観測、環境、指示）にわたる17 種類の摂動を適用して評価を行いました。

主要な発見

1. 行動モダリティの脆弱性: 最も脆弱なモダリティは「行動（Action）」であることが判明しました。行動にわずかなノイズ（例：2.5% のガウシアンノイズ）を加えるだけで、成功率が急激に低下します。これは、オフライン学習されたポリシーが分布外（OOD）の遷移に対して極めて敏感であるためです。
2. 視覚頑健性の限界: 視覚入力に対して頑健な BYOVLA は、視覚ノイズに対しては性能向上が見られましたが、行動や言語などの他のモダリティに対する頑健性は向上しませんでした（+0.0%）。
3. π0 の優位性: 拡散モデルベースの行動ヘッドを持つ「π0」が、自己回帰型の「OpenVLA」や「π0-FAST」よりも全体的に高い頑健性を示しました。

3. 提案手法：RobustVLA

これらの知見に基づき、入力と出力の両方に対する摂動に耐える汎用的なフレームワーク「RobustVLA」を提案しました。π0 をベースモデルとして採用し、他の VLA にも拡張可能です。

3.1 出力（行動）に対する頑健性

オフラインデータセットのみを用いて、最悪ケースの行動ノイズに対する最適化を行います。

• 最悪ケースノイズの導出: フローマッチング（Flow Matching）の目的関数を最大化するように、Lp 有界の行動ノイズ（δ）を PGD（Projected Gradient Descent）を用いて生成します。
• ロバスト最適化: 元のクリーンな行動分布と、最悪ケースのノイズが加わった行動分布の両方にマッチングさせるようにモデルを学習します。
• 効果: これは「ラベルスムージング」や「外れ値へのペナルティ」として機能し、モデルが特定の行動に過剰適合することを防ぎ、分布外ノイズに対する一般化能力を向上させます。

3.2 入力に対する頑健性

入力（観測や指示）の摂動がタスクのセマンティクス（意味）を変化させない限り、最適な行動は不変であるという仮定に基づきます。

• 一貫性の正則化: 摂動を加えた入力に対しても、クリーンな入力と同じ行動を出力するように正則化項を追加します。
• UCB による摂動選択: 17 種類の摂動の中から、学習時に最も有害なノイズを自動的に選択するために、多腕バンディット問題として定式化し、UCB（Upper Confidence Bound）アルゴリズムを適用しました。これにより、特定のノイズに過剰適合せず、全体的な頑健性を最大化します。

3.3 全体損失関数

最終的な学習目的関数は、以下の 3 つの項の和として定義されます。
$$L_{RobustVLA} = L_{\pi0} + \lambda_{in} L_{in} + \lambda_{out} L_{out}$$
ここで、$L_{\pi0}$ は元のフローマッチング損失、$L_{in}$ は入力摂動に対するロバスト項、$L_{out}$ は出力摂動に対するロバスト項です。

4. 実験結果

シミュレーション環境（LIBERO ベンチマーク）

• 性能向上: 17 種類の摂動すべてにおいて、ベースライン（π0）に対して12.6%、OpenVLA ベースに対して**10.4%**の絶対的な成功率向上を達成しました。
• 混合摂動: 入力と出力に同時にノイズを混合した条件下でも、10.4% の改善が見られました。
• 推論速度: 外部 LLM を必要とする BYOVLA に比べ、50.6 倍高速な推論を実現しました（π0 と同等のアーキテクチャのため）。

実世界ロボット実験（FR5 ロボットアーム）

• 低データ領域での強さ: 25 回のデモンストレーションのみで学習させた場合、RobustVLA は π0 より**65.6%**高い成功率を達成しました。
• データ量増加時: デモンストレーションを 100 回に増やしても、π0 の性能は飽和しましたが、RobustVLA はさらに**30%**高い成功率を維持しました。
• 失敗解析: ベースラインは行動ノイズによる制御精度の低下や、観測ノイズによる物体認識の失敗、環境変化への適応不足で失敗しましたが、RobustVLA はこれらを安定して処理しました。

5. 主要な貢献と意義

1. 包括的な評価: VLA モデルの頑健性を視覚だけでなく、行動、環境、言語を含む 4 モダリティ・17 種類の摂動で体系的に評価し、「行動が最も脆弱である」という重要な知見を提供しました。
2. 新しいフレームワークの提案: 入力と出力の両方に対する摂動を同時に処理する「RobustVLA」を提案し、オフライン学習の枠組みで実世界の不確実性に対処する手法を確立しました。
3. 実用性の証明: シミュレーションだけでなく、実世界ロボットにおける低データ領域での高い性能を実証し、実社会での VLA 導入における信頼性向上に寄与しました。

結論

本論文は、VLA モデルの実用化における最大の障壁の一つである「マルチモーダルな不確実性」に対し、理論的評価と実用的な解決策の両面からアプローチしました。特に、行動モダリティの脆弱性を克服し、UCB を用いた適応的な摂動選択により、限られたデータでも高い頑健性を発揮する手法は、安全で信頼性の高いロボティクスシステムの開発において重要な一歩となります。