🤖 machine learning

BadWAM: When World-Action Models Dream Right but Act Wrong

本論文は、World-Action Models（WAMs）が、微小な視覚的摂動によってモデルの想像された未来と実行される行動をデカップリング（分離）させ、モデルの内部予測が依然として妥当である場合でも重大なタスク失敗を引き起こすという敵対的攻撃に対して脆弱であることを示す、統一的なフレームワークであるBadWAMを導入するものである。

原著者： Qi Li, Xingyi Yang, Xinchao Wang

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qi Li, Xingyi Yang, Xinchao Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

夢見るロボットと狡猾なグリッチ

今見ているものにただ反応するだけでなく、次に何が起こるかを「夢見る」ロボットを想像してみてください。これは、コンピュータがロボットアームや移動ベースのような物理的な体を制御することを学ぶ分野である、**エンボディドAI（身体化されたAI）**の最前線です。伝統的に、ロボットは反射的なボクサーのようなものでした。パンチを見たら、即座にカウンターパンチを打ち返すのです。しかし、現代の「世界・行動モデル（World-Action Models: WAMs）」は、チェスのグランドマスターに似ています。彼らは一手を指す前に、心の中で未来をシミュレーションします。「もしこのカップを掴んだら、中身はこぼれるだろうか？もしここに足を踏み出したら、つまずくだろうか？」と問いかけるのです。この結果を想像する能力は、ロボットをより安全でスマートにし、組み込みの安全チェックとして機能させるとされています。もしロボットが見る未来の夢が危険なものであれば、動きを止めて考え直すべきなのです。

研究者たちが抱いてきた大きな疑問は、**「この夢見るロボットは本当に安全なのか？」**ということです。もしロボットが自分自身の未来をチェックできるなら、ハッカーはそのロボットを騙せるのでしょうか？新しい研究によ的によれば、その答えは懸念すべき「イエス」です。この論文では、カメラ映像への、まるで塵のような、あるいは壁の微妙な模様のような、ほとんど目に見えないほど小さな変化が、ロボットの脳を混乱させるシナリオを探っています。恐ろしいのは、ロボットが夢を見るのをやめてしまうことではなく、体が完全に悲劇的な行動をとっている間も、ロボットが完璧で安全な未来を夢見続けてしまうことです。それはまるで、ロボットが綱渡りを安全に行っている夢を見ているのに、実際には足が崖から踏み外しているような状態です。

研究の発見：BadWAM

Qi Li氏とXinchao Wang氏が率いるこの論文の研究者たちは、これらのロボットをテストするための新しい方法であるBadWAMを導入しました。BadWAMを、ロボットの夢に対する「ストレス・テスト」と考えてください。彼らは、ロボットに問題に気づかせることなく、タスクに失敗させるように仕向けることができるかどうかを調べたいと考えました。彼らは、**「World-Action Drift（世界・行動の乖離）」**と呼ぶ特定の脆弱性を発見しました。

通常、ロボットへのハッキングを考えるとき、私たちはロボットに存在しないものを見せて、パニックに陥らせたりフリーズさせたりすることを想像します。しかし、BadWAMはもっと狡猾なものを見つけ出しました。研究者たちは、微細な視覚的なトリックを用いることで、ロボットの「夢」（未来の予測）を完全に正常に見せつつ、同時にその「行動」（実際に何をするか）を乗っ取ることができることを示しました。

論文では、この攻撃がどのように機能するかを、2つの異なる種類のトラブルとして説明しています。

「オーバート・ハイジャック（行動のみの攻撃）」: これは派手で乱暴なバージョンです。攻撃者は、ロボットが直ちに間違った行動をとる程度に、ロボットの視界を乱します。LIBEROというデータセットを用いたテストでは、この攻撃は残酷でした。ロボットの成功率を、非常に信頼性の高い**96.5%から、不安定な43.1%**へと叩き落としました。ロボットは物体を掴もうとしましたが、結局はそれを倒したり、完全に外したりしてしまいました。
「ステルス・ゴースト（想像力維持型の攻撃）」: これこそが真に恐ろしい部分です。ここでは、攻撃者は変装の達人です。攻撃者は、ロボットの未来の「夢」が依然として完璧で安全に見えるように、ロボットの視界を調整します。もしロボットに「次に何が起こると考えていますか？」と尋ねれば、ロボットは「ブロックを優しく掴んで、置くと思います」と答えるでしょう。そして、そのロボットの心の中では、まさにそれが起きているのです。しかし現実には、ロボットは間違った場所に手を伸ばしているか、あるいはブロックを落としています。「夢」と「行動」が乖離してしまったのです。ロボットは、成功していると信じ込みながら、災難を実行しているのです。

研究者たちは、この「乖離（ドリフト）」が重大なセキュリティホールであることを発見しました。彼らはこれを異なるタイプのロボットの脳（Joint WAMおよびIDM WAMと呼ばれるもの）でテストし、ロボットの未来予測が真実に非常に近い状態を維持している（「夢」が保たれている）場合でも、ロボットは依然としてタスクに失敗することを発見しました。実際、彼らは「未来の距離（夢がどれほど変化したか）」を非常に小さく保ったまま、ロボットを失敗させることができることを突き止めました。これは、単にロボットの「夢」をチェックするだけでは、安全性を確保するには不十分であることを示唆しています。

攻撃の仕組み

論文では、BadWAMがロボットの秘密のコードや内部の重みを知る必要はないことを説明しています。それはブラックボックス・テスターのように機能します。攻撃者はロボットに視覚的な入力を送り、どのようなアクションが出力されるかを確認し、その後、アクションを悪化させることができるかどうかを確認するために、入力をわずかに調整します。彼らは、彫刻家が石の塊を削っていくように、このプロセスを何度も繰り返し、ロボットを失敗に追い込むための、目に見えないほど小さなパターンを見つけ出します。

最も興味深い発見の一つは、ロボットが「どのように」失敗するかです。ロボットはすぐに狂うわけではありません。論文は、ロボットが最初は正常に振る舞い始めることを示しています。最初の物体を掴むことには成功するかもしれませんが、タスクが進むにつれて、その動きは徐々に軌道から外れていきます。それは「千の傷による死」のシナリオです。ロボットは2つ目の物体を倒し、3つ目の物体を外し、最終的にミッション全体に失敗しますが、その間も内部のシミュレーションはすべて計画通りに進んでいると主張し続けます。

また、このトリックが異なる種類のロボットでも機能するかどうかについても調査が行われました。彼らは、あるタイプのロボットモデルに対して訓練された攻撃が、他の少し異なるモデルに対しても機能することが多いことを発見しました。これは、問題が特定のソフトウェアのバグではなく、「夢見る」ロボットが思考と行動をどのように結びつけるかという根本的な欠陥であることを示唆しています。

安全チェックの限界

論文では、ハッカーのトリックを洗い流すことを期待して、画像をぼかしたり、カメラのフィードにノイズを加えたりするような、単純な防御策もテストしました。これらの手法のいくつかは多少の効果はありましたが、決定打にはなりませんでした。それらは攻撃を防げなかったか、あるいは攻撃を受けていない時でもロボットの性能を低下させてしまいました。研究者たちはまた、ロボットの夢と行動が一致しない場合にフラグを立てる「検知器」を構築しようと試みましたが、誤検知を避けるために慎重に設定すると、この検知器はほとんどの攻撃を見逃しました。

この研究からの結論は、ロボティクス分野への警鐘です。「ロボットが未来を想像できるなら、それは安全である」という考えは脆弱です。論文は、真の危険はロボットが間違ったものを見ることではなく、その**想像力と行動が同期しなくなる（ズレが生じる）**ことにあると示唆しています。ロボットは自分が正しいことをしていると完全に確信しながら、体は間違ったことをしている可能性があるのです。

実験において、研究者たちは、ごくわずかな視覚的ノイズ（摂動サイズ0.06）だけで、非常に成功率の高いロボットを、失敗の多いものに変えられることを示しました。彼らは単にロボットを壊したのではなく、ロボットが「考えていること」と「実際に行っていること」の間の接続を壊したのです。これは、次世代の安全なロボットにとって、エンジニアは単にロボットの未来予測能力に頼るだけでは不十分であることを意味しています。彼らは、ロボットの夢が現実と一致しているかどうかを常に確認するシステムを構築し、夢見る者と実行する者が同じページにいることを保証する必要があります。

技術要約：BadWAM – 世界・行動モデルが正しく夢見ても、誤った行動をとる時

1. 問題提起

世界・行動モデル（World-Action Models: WAMs）は、純粋な反応型ポリシーから、行動生成と将来の世界予測を結合させたシステムへと、エンボディドAI（身体性AI）におけるパラダイムシフトをもたらしている。支配的な仮定は、この結合が固有の堅牢性と安全性を提供するというものである。つまり、ロボットが自身の行動の結果を「想像」できれば、実行前に不安全または不整合な挙動を検知できるという考え方である。

本論文はこの仮定に異を唱え、**「世界・行動ドリフト（World-Action Drift）」**と呼称される特定の脆弱性を特定する。核心となる問題は、WAMの「想像された未来」と「実行される行動」の間の整合性が極めて脆弱であることにある。攻撃者は、限定的な範囲内の視覚的摂動を導入することで、これら二つの結合された能力を非同期化させることができる。その結果、モデルは妥当な未来予測を生成し続け（安全であるかのような外観を維持しながら）、実際にはタスク失敗へと至る行動を実行するという失敗モードが発生する。この乖離により、未来予測に基づく安全監視機能は実効性を失う。なぜなら、監視器は実際の実行軌道とは一致しない「もっともらしい」未来を検証してしまう可能性があるからである。

2. 手法：BadWAM フレームワーク

著者らは、世界・行動ドリフト攻撃をモデリングおよび評価するための統一されたブラックボックス・フレームワークである BadWAM を導入する。本フレームワークは、攻撃者がモデルの勾配や重みにアクセスすることなく、視覚的な観測値（ $\tilde{o}_t = \text{clip}(o_t + \delta_t)$ ）を摂動できる脅威モデルの下で動作する。

BadWAMは、攻撃対象領域を攻撃強度と隠密性の二つの軸に沿って特徴付ける。具体的には、以下の二つの攻撃目的をインスタンス化している。

A. 行動のみの敵対的攻撃 (Action-Only Adversarial Attack)

この攻撃は破壊を優先する。WAMをクエリ可能なコントローラーとして扱い、クリーンなアクションチャンク（ $a$ ）と攻撃されたアクションチャンク（ $a^\delta$ ）の間の偏差を最大化する、限定された視覚的摂動（ $\|\delta\|_\infty \le \epsilon$ ）を探索する：
$\delta^*_t = \arg \max_{\|\delta_t\|_\infty \le \epsilon} D_{\text{act}}(a^\delta_{t:t+H-1}, a_{t:t+H-1})$
この攻撃は、想像された未来の状態は無視し、ロボットをタスク失敗へと導く行動へと追い込むことのみに焦点を当てる。

B. 想像維持型の敵対的攻撃 (Imagination-Preserving Adversarial Attack)

この攻撃は隠密性を優先する。将来の予測が安全監視器やプランナーにさらされているシステムを標的とする。目的は、予測された未来（ $z^\delta$ または $v^\delta$ ）をクリーンな想像（ $z$ または $v$ ）に近づけたまま、有害な行動の変化を誘発することである。これは以下のようにラグランジュ緩和として定式化される：
$\delta^*_t = \arg \max_{\|\delta_t\|_\infty \le \epsilon} \left( D_{\text{act}}(a^\delta, a) - \lambda D_{\text{img}}(z^\delta, z) \right)$
ここで、 $\lambda$ は攻撃強度と隠密性のトレードオフを制御する。このレジームにおける攻撃が成功すると、ロボットは「安全な未来を夢見ながら」、同時に「破壊的な行動をとる」ことになる。

最適化戦略

BadWAMは、ゼロ次オンライン最適化を採用している。各再計画ステップにおいて、攻撃者は凍結されたWAMをブラックボックスとして扱う。有限差分クエリを用いることで、摂幅 $\delta$ に関する目的関数の勾配を推定し、射影勾配降下法を通じて摂動を更新する。このアプローチは、モデルのパラメータや訓練データへのアクセスを必要としない。

3. 主な貢献

世界・行動ドリフトの特定: 予測された未来が視覚的に妥当でありながら、行動出力が敵対的に乗っ取られるという、WAM特有の新しい攻撃対象領域を定義した。
BadWAM フレームワーク: 二つのインスタンスを持つ統一されたフレームワークの設計：
- 行動のみの攻撃: 実行の破壊を最大化するため。
- 想像維持型の攻撃: 妥当な予測未来を維持しつつ失敗を引き起こし、未来ベースの安全チェックの限界を露呈させるため。
包括的な評価: LIBERO および RoboTwin ベンチマークを用いた閉ループ・ロボット操作タスクにおける広範な評価を行い、限定された視覚的摂動下での大幅なタスク劣化を実証した。
診断分析: チャネルレベルのシフト（連続的なアクションチャネルおよび後続のホライゾンへの影響）、未来の保存と攻撃強度の間のトレードオフ、および異なる WAM バリアント間での攻撃の転移性を含む、攻撃ダイナミクスに関する詳細な洞察を提供した。

4. 実験結果

著者らは、LIBERO および RoboTwin ベンチマークにおいて、3 つの WAM バリアント（Action-only, Joint, IDM WAM）に対して BadWAM を評価した。

タスク成功率の低下: 攻撃は性能を著しく低下させる。LIBERO における Action-only WAM では、行動のみの攻撃によってタスク成功率が 96.5% から 43.1% へと減少した（53.4% の低下）。Joint および IDM WAM も、行動のみの攻撃下で 30～36% の低下が見られた。
隠密性: 想像維持型の攻撃は、予測される未来の距離をクリーンなロールアウトに近く保ちながら、強力な攻撃性能（例：Joint WAM で成功率を約 63% まで低下させる）を維持することに成功した。これは、未来の妥当性のみに依存する安全監視器では、これらの攻撃を検知できないことを裏付けている。
系統的な失敗: 失敗はランダムではなく系統的であり、特に小さな行動誤差が時間の経過とともに蓄積する空間的および長期間のタスクにおいて顕著であった。攻撃は即座の破滅的な失敗ではなく、漸進的なドリフトを誘発した。
転移性: ある WAM バリアントで最適化された摂動は、他のバリアント（例：Joint $\to$ IDM）へ効果的に転移した。これは、攻撃がモデル固有の過学習ではなく、観測空間における共通の感度方向を利用していることを示唆している。
防御の限界: 単純な非適応型防御（ガウスぼかし、JPEG ノイズ）は攻撃を部分的に緩和したが、クリーンな性能の低下や不完全な保護という代償を伴った。拡張一貫性検出器（Augmentation-consistency detectors）は、実用的な偽陽性率において低い再現率を示しており、現在の検知手法が不十分であることを示している。

5. 意義と主張

本論文は、行動と世界予測の結合が、しばしば安全機能として称賛されるものの、独自の脆弱性を導入するということを主張している。主な意義は、**「未来予測だけでは信頼できる安全信号にはならない」**ことを示した点にある。

著者らは、セキュリティ上の重要な対象は、行動や想像のいずれか単体ではなく、それらの**「整合性（アライメント）」**であると論じている。WAM は、タスク失敗を引き起こすような同期していない行動を実行させつつ、「妥当な」想像された未来を維持するように操作され得る。この発見は、エンボディドAIの安全メカニズムが、想像された未来の妥当性をチェックする段階を超え、敵対的な条件下での「想像された軌道」と「実行される行動」の間の同期を明示的に検証するように進化しなければならないことを示唆している。本論文は、BadWAM が世界・行動モデルの真の堅牢性を評価するために必要な診断プロトコルを提供すると結論付けている。