技術概要：WMAttack

問題定義

強化学習（RL）における意思決定エージェントとして世界モデルの採用が増加しているにもかかわらず、その敵対的堅牢性は未だ十分に研究されていない。現在の評価手法は、精度と効率性の間で決定的なトレードオフに直面している。弱く、手動で調整された攻撃は堅牢性を過大評価する傾向があり、一方、網羅的なハイパーパラメータ探索は計算コストが許容できないほど高い。その理由は、世界モデルの文脈における単一の攻撃候補の評価には、学習された潜在ダイナミクスを通じたクローズドループロールアウトが必要であり、これは標準的な教師あり学習の評価よりもはるかに高コストであるためである。さらに、攻撃の有効性は環境ダイナミクス、観測空間、敵対的ハイパーパラメータに極めて敏感であるため、手動調整は信頼性が低い。本論文は、敵対的条件下における世界モデルエージェントの失敗モードを体系的に露呈し、定量化するための専用かつ自動化されたフレームワークの欠如を指摘している。

手法

著者は、有限の評価予算の下で世界モデルエージェントを評価するために設計された、自動化された攻撃探索フレームワーク「WMAttack」を提案する。中核的な目的は、攻撃構成（攻撃ファミリー、摂動予算、最適化ステップ、リスタート、割り当てルールを含む）に対する探索問題として定式化され、スカラー化されたユーティリティ関数を最大化することである。このユーティリティは、報酬の低下、行動の不安定性、評価時間、ロールアウトの変動性をバランスさせる。

WMAttack は、広大な探索空間を navigat するために、2 段階の最適化プロセスを採用する。

1. 表現誘導型攻撃検索（RGAR）:
   新規のタスク - エージェントペアに対して有効な攻撃に関する事前知識が評価者に欠如している「コールドスタート」問題に対処するため、RGAR は表現が類似するタスクから過去の攻撃構成を検索する。これは、クリーンな軌跡（潜在状態、予測、行動、報酬）に基づいて、新規タスクの潜在行動要約（$\psi_\tau$）を構築する。多様なダイナミクスを統合された潜在空間に射影することで、RGAR は上位 K 個の類似する履歴レコードを特定し、攻撃提案分布（$q_0$）の初期化に用いる。これにより、無知なランダム初期化ではなく、タスク間経験を活用したウォームスタートが可能となる。

2. 自己修正型攻撃探索（SCAS）:
   初期化に続き、SCAS は評価された試行からのフィードバックを用いて探索戦略を反復的に洗練させる。これは、ランク付けされた候補生成器を暗黙的な提案分布（$q_t$）として扱う。クローズドループロールアウトを通じて候補のバッチを評価した後、SCAS は多次元のフィードバック（報酬の低下、行動の不安定性、実行時間、変動性）を用いて提案分布を更新する。高ユーティリティの試行は局所洗練のアンカーとして機能し、フィードバック信号は探索方向を調整する（例えば、摂動予算や最適化ステップの修正）。この自己修正ループは、世界モデルの失敗を露呈する可能性が高い攻撃空間の領域に評価予算を集中させる。

理論的基盤: 本論文は、提案の洗練（RGAR または SCAS を通じて）が確率質量を高ユーティリティの攻撃構成の集合（$G_\eta$）へとシフトさせる場合、有限予算内で有効な攻撃を発見する確率が向上することを示す理論的説明を提供する。具体的には、$q^*$ をユーティリティに偏った参照分布とする更新規則 $C_\gamma(q) = (q + \gamma q^*)/(1+\gamma)$ は、参照分布が現在の提案よりも有効な集合に集中している場合、有効な構成をサンプリングする確率の増加を保証する。

主要な貢献

1. 問題定式化: 著者は、世界モデルに対する敵対的堅牢性評価を、有限予算の攻撃構成探索問題として定式化し、多様なタスク、モデル、ハイパーパラメータ設定において高影響な攻撃を効率的に特定することを目指している。
2. WMAttack フレームワーク: 彼らは RGAR と SCAS を組み合わせた自動化フレームワークを開発した。RGAR は潜在行動表現を介したタスク間経験転移を可能にし、SCAS はフィードバック駆動型の提案洗練を用いて探索努力を適応的に集中させる。
3. 理論的洞察: 本論文は、フィードバック駆動型の提案洗練が探索効率を向上させる理由についての理論的説明を提供し、確率質量を高ユーティリティ構成へとシフトさせることが、有効な攻撃を発見するための期待ヒット時間の短縮につながることを示している。
4. 実証的評価: さまざまな世界モデルアーキテクチャ（DreamerV2、DreamerV3、TD-MPC2、IRIS）を用いて、Atari および DeepMind Control（DMC）スイートの 46 タスクにおいて広範な実験が行われた。

結果

評価により、WMAttack がランダム探索および Claudini 型の自動検索ベースライン（反復フィードバックを使用するが、タスク間検索を持たないもの）よりも一貫して強力な攻撃を発見することが示された。

• 攻撃強度: DreamerV3 Atari において、WMAttack は正規化された報酬低下率で 1.034 を達成し、Claudini ベースライン（0.497）およびランダム探索（0.446）を大幅に上回った。これは、探索コストが攻撃強度によって正当化されることを示す正のスカラー化ユーティリティ（0.430）をもたらした唯一の手法であった。DMC においては、WMAttack は報酬低下率を Claudini の 0.319 から 0.682 へと改善した。
• モデル間汎化: このフレームワークは、DreamerV2、TD-MPC2、IRIS における脆弱性を成功裡に露呈し、これらの異なるアーキテクチャ全体で報酬低下と行動不安定性において一貫した改善を達成した。
• 探索効率: Atari において、WMAttack はタスク - 攻撃ペアの 87.5% で最終的な最高ユーティリティの 90% に到達し、ベースラインの約 53% と比較して優れていた。DMC においては、ヒット率が約 18% から 49.0% に向上した。
• アブレーション研究:
  • RGAR と SCAS: RGAR は初期候補の品質（1 ラウンド目のユーティリティ）を大幅に向上させたのに対し、SCAS はこれらの候補を高ユーティリティの最終攻撃へと洗練させるために不可欠であった。どちらのコンポーネント単独でも、組み合わせたシステムのパフォーマンスには達し得なかった。
  • LLM バックボーン: LLM バックボーンの選択（例：Qwen2.5-3B 対 7B）は、パフォーマンスに非単調な影響を与えた。報酬低下やユーティリティの観点では、より小さなモデル（3B）がより大きなモデル（7B）を上回る場合があり、これはパラメータ数だけでなく、強度とコストのトレードオフに有効性が依存することを示唆している。

意義と主張

本論文は、WMAttack が、教師ありビジョンにおける AutoAttack などの静的な敵対的評価プロトコルと、世界モデル評価の動的かつ高コストな要件との間のギャップを埋めると主張している。評価を自動化された有限予算の探索として扱うことで、WMAttack は手動調整やランダム探索では見逃される可能性のある失敗モードを露呈させる体系的な方法を提供する。

著者は、彼らの目的がグローバルな堅牢性を証明することではなく、高影響な攻撃を効率的に発見することであると強調している。その意義は、世界モデル間の内在的な類似性（RGAR による）を活用し、クローズドループフィードバックに基づいて探索戦略を適応させる（SCAS による）ことで、固定された計算予算の下で、実質的により強力な敵対的構成を発見できることを示した点にある。このアプローチは、ますます複雑化する世界モデルエージェントの安全性志向評価に対する実践的な道筋を提供する。