🤖 AI

ARB4WM: An Adversarial Robustness Benchmark for World Models in Continuous Control

本論文は、様々な摂動戦略および時間的攻撃モードの下で、ポリシー、バリュー、および潜在ダイナミクスの各レベルにおける5つのホワイトボックス損失目的関数を体系的にテストすることにより、連続制御におけるワールドモデルエージェントの敵対的堅牢性を評価する統一されたベンチマークフレームワークであるARB4WMを導入する。

原著者： Junjian Zhang, Hao Tan, Ruonan Li, Dong Zhu, Aiping Li, Zhaoquan Gu

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Junjian Zhang, Hao Tan, Ruonan Li, Dong Zhu, Aiping Li, Zhaoquan Gu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ハイテクな工場にあるロボットアームを想像してみてください。このロボットは、単に「今見えているもの」に反応するだけではありません。このロボットには「夢を見る」脳が備わっています。単に画像を見るのではなく、世界がどのように動くかという「心の内の映画」を作り上げるのです。「もし腕をこのように動かせば、コップはあそこに滑っていくだろう」と想像します。この想像上の映画を使って、動きを計画するのです。これは**ワールドモデル（世界モデル）**と呼ばれます。

この論文では、ARB4WMという新しいテストツールを紹介しています。ARB4WMは、これら「夢を見るロボット」のための「ストレス・テスト」や「ヴィラン（悪役）シミュレーター」のようなものだと考えてください。その役割は、カメラの映像に対して、目にはほとんど見えないほど微細な変化を加えることで、いかに簡単にロボットの「夢」を欺けるかを検証することです。

論文の内容を、簡単な比喩を用いて以下のように解説します。

1. 問題点：「ロボットを壊すささやき」

かつて、研究者は主に、ロボットがいかに「今、間違った動きをするか」をテストしてきました。しかし、これらの「夢を見る」ロボットは異なります。カメラをほんの少し騙すだけで、現在の動きを狂わせるだけでなく、ロボットの記憶と想像力をも汚染してしまうのです。

比喩： カーナビを使用して前方の道路を予測しながら運転している車を想像してください。もし誰かがカーナビの画面に、目に見えないほど小さなステッカーを貼ったらどうなるでしょうか。車は「今」曲がり方を間違えるだけでなく、「5分後には道が崖になっている」と信じ込んでしまうかもしれません。ロボットの「心の内の映画」はホラー映画へと変貌し、たとえカメラの状態が元に戻ったとしても、後になってパニックを起こしたり衝突したりする原因となります。

2. 解決策：ARB4WM（「ヴィラン・シミュレーター」）

著者らは、4種類の異なる「夢を見る」ロボット（Dreamer、R2-Dreamer、Dreamer-InfoNCE、Dreamer-Proと呼ばれます）を、ブロックを積み上げたり棒をバランスよく立たせたりする20種類のタスクを通じてテストするフレームワークを構築しました。

彼らは単に「ロボットにブロックを落とさせることができるか？」と聞いたのではありません。「どうすればロボットの脳を壊せるか？」を問いかけたのです。彼らはシステムを破壊する5つの具体的な方法をテストしました。

「混乱した決定」攻撃： ロボットが「何をすべきか」について確信を持てないようにする。
「怯えた脳」攻撃： あらゆる状況をひどい状況だと思い込ませる（信頼度スコアを下げる）。
「悪い記憶」攻撃： ロボットの内部メモリを汚染し、自分がどこにいるのかを忘れさせる。
「壊れたタイムマシン」攻撃： 未来に対する予測（「夢」）を、実際に起きたことと矛盾させる。
「間違った地図」攻撃： 世界がどのように動くかという、ロボットの内部マップをめちゃくちゃにする。

3. 知見：いつ、どのように壊れるのか

研究者たちは、これらのロボットが失敗する仕組みについて、いくつかの驚くべき発見をしました。

アクション（動作）だけが問題ではない： ロボットに今すぐ腕を間違った方向に動かすよう騙す必要はありません。もし「価値判断（状況がどれほど良いかという判断）」や「記憶」を騙せば、ロボットは後で失敗します。
「初期毒入れ」効果： タスクの「最初」にロボットを騙すと、タスクの「最後」に騙すよりも、ロボットが回復するのははるかに困難になります。これは、長い旅の始まりに水を毒されるようなものです。たとえ後で水がきれいになっても、旅人は病気になり、目的地に到達できません。
「フラッシュ（閃光）」効果： 毎秒ごとにロボットを騙す必要はありません。数秒に一度、ほんの一瞬だけ騙すだけでも、ロボットの「夢」は十分に汚染され、クラッシュに至ります。ロボットの記憶は、悪い情報を長く保持してしまうのです。
単純な対策は通用しない： 研究者たちは、攻撃を防ぐための「フィルター」（画像をぼかしたり、圧縮したりすること）を試みました。多少の効果はありましたが、「ヴィラン」がそのフィルターを知っていれば、フィルターを回避するようにトリックを微調整できてしまいます。それは、ジャケットを着ることでスリを防ごうとするようなものです。スリがそのジャケットの存在を知っていれば、ポケットの抜き方を変えるだけです。

4. 勝者と敗者

論文では、4つのロボットの脳を比較しました。

勝者： R2-Dreamerが最も堅牢（ロバスト）でした。最も騙しにくく、攻撃を受けた後の回復も最も優れていました。著者らは、これが、冗長な（重複した）記憶を持たないように訓練されたためであり、それによってメンタルマップがよりクリーンになり、混乱しにくくなったためであると示唆しています。
敗者： Dreamer-Proは、物体を認識する能力が非常に高い設計でしたが、実際には最も騙しやすいことが分かりました。物体をグループ化するその複雑な仕組みが、かえって微細な変化に対して非常に敏感になってしまったのです。

5. 大きな教訓

この論文の主要なメッセージは、ロボットが正しい動きをするかどうかをテストするだけでは不十分であるということです。そのプロセス全体、つまり記憶、想像力、そして自信（確信度）をテストしなければなりません。

もし私たちがこれらのロボットを実生活（工場や病院など）で使用したいのであれば、単に「ボタンを押すカメラ」として見るのをやめる必要があります。彼らを複雑な「夢を見る存在」として扱い、その夢がいかに簡単に乗っ取られてしまうかをテストしなければならないのです。ARB4『SB4WM』は、最も重要な局面でロボットが悪夢を見ることがないようにするための、新しい「ストレス・テスト」なのです。

技術要約: ARB4WM – 連続制御におけるワールドモデルのための敵対的堅牢性ベンチマーク

1. 問題提起

Dreamer型のエージェントに代表されるワールドモデルは、潜在的なダイナミクスを学習してプランニングや意思決定を行う能力を持つため、ロボティクスや自動運転などの安全性が極めて重要な連続制御システムへの導入が進んでいます。ダイレクトに観測から行動へとマッピングするモデルフリーのエージェントとは異なり、ワールドモデルは視覚入力をコンパクトな潜在状態へとエンコードし、再帰的なダイナミクスを学習し、想像された軌跡を通じて行動を最適化します。

先行研究では、強化学習（RL）エージェントが敵対的な観測に対して脆弱であることが確立されていますが、既存の評価手法はワールドモデルに対しては不十分です。現在のベンチマークの多くはモデルフリーのポリシーに焦点を当てているか、あるいはエージェントを単純なポリシーネットワークとして扱い、行動空間の堅牢性のみを評価しています。このようなアプローチでは、敵対的な摂動が以下の要素をどのように破壊するかという、ワールドモデルのパイプライン特有の失敗モードを捉えることができません：

再帰的な信念状態（潜在ダイナミクス）。
想像されたロールアウトで使用される価値予測。
再帰型状態空間モデル（RSSM）における事後分布と事前分布の一貫性。

その結果、異なるワールドモデルのアーキテクチャにおいて、敵対的な視覚的摂動が潜在的な意思決定パイプラインの「どこ」で「どのように」破壊を引き起こすのかを診断するための統一されたフレームワークが欠如しています。

2. メソドロジー: ARB4WM フレームワーク

著者らは、視覚的摂動下でのワールドモデル・エージェントを評価するために設計された、再現可能な堅牢性テストフレームワークである ARB4WM を提案しています。このフレームワークは、MetaWorldおよびDeepMind Control Suite（DMC）の20のタスクを用いて、4つのDreamerファミリーのエージェント（Dreamer, R2-Dreamer, Dreamer-InfoNCE, Dreamer-Pro）を評価します。

2.1. 統一された攻撃インターフェース

ARB4WMは、推論および想像のロールアウト中にDreamerパイプラインの内部コンポーネントにアクセスする統一されたインターフェースを定義しています。これにより、最終的な行動出力だけでなく、特定のアーキテクチャ要素を標的にしたターゲット攻撃が可能になります。

2.2. 5つのホワイトボックス攻撃目的

本フレームワークは、ワールドモデルのパイプラインの異なるコンポーネントを標的にするために、5つの異なる損失目的関数を導入しています。

ポリシー分岐攻撃 (Policy Divergence Attack, PDA): クリーンなポリシー分布と敵対的なポリシー分布の間のカルバック・ライブラー（KL）ダイバージェンスを最大化します ( $\mathcal{L}_{PDA} = D_{KL}(\pi_{clean} \parallel \pi_{adv})$ )。
ポリシーエントロピー攻撃 (Policy Entropy Attack, PEA): 決断不全を誘発するために、敵対的なポリシーのエントロピーを最大化します ( $\mathcal{L}_{PEA} = \mathcal{H}(\pi_{adv})$ )。
価値抑制攻撃 (Value Suppression Attack, VSA): 長期的なプランニングを不安定にするために、クリティックの予測状態価値を最小化します ( $\mathcal{L}_{VSA} = -V(\tilde{f}_t)$ )。
潜在ドリフト攻撃 (Latent Drift Attack, LDA): 信念状態を破壊するために、クリーンな潜在状態と敵対的な潜在状態（確率的な $z_t$ と決定論的な $h_t$ の両方）の間の二乗 $L_2$ 距離を最大化します ( $\mathcal{L}_{LDA} = \|z_t - z^{clean}_t\|^2_2 + \|h_t - h^{clean}_t\|^2_2$ )。
ダイナミクス一貫性攻撃 (Dynamics Consistency Attack, DCA): 潜在的な想像の一貫性を壊すために、RSSMの事後分布と事前分布の間のKLダイバージェンスを最大化します ( $\mathcal{L}_{DCA} = D_{KL}(q(z_t) \parallel p(z_t))$ )。

2.3. 最適化と時間的プロトコル

最適化器: 本フレームワークは、シングルステップ（FGSM）およびマルチステップ反復（PGD）の両方の勾配ベースの攻撃を採用しています。
時間的露出モード: 現実的な制約をシミュレートし、再帰的な状態の伝播を研究するために、以下のモードを評価します：
- フルフレーム (Full-frame): すべてのフレームを摂動させる（最大圧力をかける）。
- ハーフシーケンス (Half-sequence): エピソードの最初または後半の半分のみを摂動させ、回復力と長期的な伝播をテストする。
- 疎な周期性 (Sparse-periodic): $n$ フレームごとに摂動を与え、間欠的な攻撃に対する潜在ダイナミクスの耐性をテストする。

2.4. 評価指標

フレームワークは以下を報告します：

クリーン正規化AUC (nAUC): 摂動予算全体にわたるパフォーマンスを集計します。
防御回復 (Defense Recovery): 入力防御（例：JPEG圧縮、メディアンフィルタリング）がどの程度パフォーマンスを回復させるかを測定します。
適応防御ギャップ (Adaptive-Defense Gap): 防御側が防御手法を認識している場合の、防御の有効性の低下を定量化します。
ポリシーサリエンス診断 (Policy Saliency Diagnostics): 敵対的な目的関数が、ポリシーによって使用される空間的な証拠（サリエンスマップ）をどのように変化させるかを分析します。

3. 主な結果

20のタスクと4つのエージェントにわたる実験から、以下の知見が得られました。

コンポーネントレベルの脆弱性: 価値推定（VSA）、潜在表現（LDA）、およびRSSMダイナミクス（DCA）を標的とした攻撃は、直接的なポリシー破壊（PDA/PEA）と同等のダメージを与えることが判明しました。多くの場合、VSAとPEAが最も強力な攻撃目的であり、これはクリティックやポリシーの不確実性を破壊することが非常に効果的であることを示しています。
時間的伝播: フルフレーム攻撃は最も深刻な劣化を引き起こしました。決定的なことに、初期の摂動（前半の攻撃）は後半の摂動よりもダメージが大きいことが多く、これは再帰的な潜在状態に注入されたエラーが、攻撃が停止した後も持続し、伝播することを示唆しています。疎な攻撃（2フレームごと）も大幅な劣化を引き起こしましたが、より長い間隔（4〜6フレームごと）では潜在状態が再びアンカー（固定）されることができました。
アーキテクチャの感受性: R2-Dreamer は、ベンチマーク全体で最も高い平均的な堅牢性を示しましたが、Dreamer-Pro は、表現学習のために設計されているにもかかわらず、一貫して最も脆弱でした。これは、名目上の表現の質が、必ずしも敵対的な安定性を保証するわけではないことを示唆しています。
防御の限界: 入力レベルの防御（JPEG、メディアンフィルタリング）は、非適応的な攻撃に対しては部分的な回復を提供しましたが、適応的な攻撃に対しては限定的な保護しか提供できませんでした。防御の有効性はタスクに強く依存しており、例えば、冗長な視覚的手がかりを持つ操作タスクでは効果的でしたが、精密な特徴抽出を必要とするバランス制御タスクでは失敗しました。
サリエンスの変化: 敵対的な目的関数は、ポリシーの空間的な感度を変化させました。価値およびダイナミクスの一貫性（VSA, DCA）に対する攻撃は、ポリシーレベルの攻撃よりも、ターゲット領域からポリシーの注意を逸らす傾向が強いことがわかりました。

4. 意義と主張

本論文は、単なる行動空間の堅牢性を超えて、ワールドモデル・エージェントの安全性評価における重要なギャップをARB4WMが埋めるものであると主張しています。その主な貢献と含意は以下の通りです。

包括的な安全性評価: 著者らは、ワールドモデルの堅牢性評価は、ポリシー出力、クリティック推定、潜在表現、およびダイナミクスの一貫性を含む、完全な潜在的意思決定パイプラインをカバーしなければならないと主張しています。行動空間の指標のみに頼ることは、システム内を伝播する内部の失敗モードを見逃すことになります。
時間的リスクの認識: 本フレームワークは、時間的露出プロトコルがリスク評価において不可欠であることを強調しています。潜在状態の破壊の持続性は、コントローラーが間欠的または初期段階の乱れから回復できるかどうかを、安全性評価において考慮する必要があることを意味します。
防御のリアリズム: 結果は、入力レベルの防御を、認証メカニズムではなく、部分的な緩和策として扱うべきであることを示唆しています。顕著な「適応防御ギャップ」は、防御側が防御パイプラインを通じて最適化できる攻撃者に対して、防御を評価しなければならないことを示しています。
アーキテクチャへの示唆: これらの知見は、表現学習の目的（例：R2-Dreamerにおける冗長性削減 vs Dreamer-Proにおけるプロトタイプ学習）の選択が、エンコーダ・RSSM・ヘッドの構成における局所的な幾何学に直接影響を与え、それが敵対的な堅牢性に影響を与えることを示唆しています。

要約すると、ARB4WMは、ワールドモデル・エージェントの特定の失敗モードを診断するための標準化された再現可能なワークフローを提供し、産業用および安全性が重要なアプリケーション向けの、より堅牢な視覚的モデルベース制御システムの開発に向けた基礎を提供します。