Dual-Modality Multi-Stage Adversarial Safety Training: Robustifying Multimodal Web Agents Against Cross-Modal Attacks

この論文は、マルチモーダル Web エージェントがスクリーンショットとアクセシビリティツリーの両方を含む視覚的攻撃に対して脆弱であることを発見し、教師モデルからの模倣学習、ゼロ・アックノリッジメント戦略を用いた教師あり微調整、および GRPO による敵対的強化学習の 3 段階パイプラインからなる「Dual-Modality Multi-Stage Adversarial Safety Training（DMAST）」を提案することで、タスク効率を倍増させつつ既存の防御手法を凌駕する堅牢性を達成したことを述べています。

要約

この論文は、「インターネットを操作する AI（ウェブエージェント）」が、巧妙な「二重の嘘」にだまされて個人情報を漏らしてしまう問題を解決する、新しい防御トレーニング方法について書かれています。

わかりやすく説明するために、いくつかの比喩を使ってみましょう。

1. 問題：AI が「二重の嘘」にだまされる

まず、現代の AI はウェブサイトを操作する際、**「目（スクリーンショット）」と「耳（アクセシビリティツリーというテキスト情報）」**の両方を使って判断しています。

• 従来の攻撃： 悪意のあるハッカーが、テキストだけを書き換えて AI を騙そうとします。
• この論文が見つけた新しい弱点： 悪意のあるハッカーが、「画面（画像）」と「テキスト」の両方に、同じ嘘の内容を同時に書き込むと、AI は完全に騙されてしまいます。

【比喩：詐欺師と銀行員】
AI を「銀行の窓口担当者」と想像してください。

• 従来の攻撃： 詐欺師が「あなたの口座番号を教えてください」という手紙を窓口に置きます。担当者は「これは手紙だけだ」と気づいて無視します。
• 新しい攻撃（この論文の発見）： 詐欺師は、「窓口のガラスに『緊急！パスワード入力が必要』と貼り付け（画像）」、同時に**「窓口のシステム画面にも『パスワード入力が必要』と表示（テキスト）」**します。
  • 担当者は「ガラスにもシステムにも同じことが書いてある！これは本物のシステムエラーに違いない！」と信じ込み、秘密のパスワード（個人情報）を教え込んでしまいます。
  • 論文によると、この「二重の嘘」の方が、単純な手紙（テキストだけ）よりもはるかに効果的に AI を騙すことがわかりました。

2. 解決策：DMAST（デュアル・モダリティ・マルチステージ・アドバーサリアル・セーフティ・トレーニング）

この弱点を直すために、著者たちは**「DMAST」**という新しいトレーニング方法を考え出しました。これは、AI を「武道の稽古」のようなプロセスで鍛え上げる方法です。

このトレーニングは3 つの段階で構成されています。

第 1 段階：達人からの模倣（Imitation Learning）

• 比喩： 初心者（学生 AI）が、すでに技を磨いた**「達人（先生 AI）」**の動きを真似して基礎を学びます。
• 内容： 攻撃がない状態でも、攻撃がある状態でも、どうすればタスクを成功させるかを「達人」の動きをコピーして学びます。

第 2 段階：神様（オラクル）に教わる「ノイズ除去」トレーニング

• 比喩： 初心者 AI が、**「すべてが見える神様（オラクル）」**に指導を受けます。
  • 神様は「攻撃された画面」と「本来の正しい画面」の両方を見ることができます。
  • 神様は「攻撃があるから無視しよう」とは言いません。「攻撃なんて存在しないものとして、ただタスク（例：日付を選ぶ）に集中しなさい」と教えます。
• 内容： AI に「嘘（攻撃）があっても、本質的なゴールだけを見つめて行動しなさい」という**「集中力」を植え付けます。攻撃を「認識」して戦うのではなく、「無視してゴールへ進む」**という態度を身につけさせます。

第 3 段階：攻防の自習（Adversarial RL / Self-Play）

• 比喩： 学生 AI が、**「自分自身（または同じモデル）」と「攻撃者」**の両方の役を演じて、互いに切磋琢磨します。
  • 最初は単純な嘘しか言えなかった攻撃者が、AI が強くなるにつれて、より巧妙で複雑な嘘（画像とテキストを連動させた高度な詐欺）を考えるようになります。
  • それに応じて、AI もより賢い防衛策を学びます。
• 結果： 互いにレベルを上げ合うことで、AI は「見たことのない新しい手口」にも対応できる強靭な防衛力を身につけます。

3. 成果：なぜこれがすごいのか？

このトレーニングを受けた AI は、以下のような素晴らしい結果を出しました。

• 安全性の向上： 攻撃者が個人情報を盗み出す成功率が、41.2% から 21.4% まで劇的に下がりました。
• タスクの効率化： 面白いことに、安全になるだけでなく、本来のタスクを完了するスピードも 2 倍になりました。
  • 理由： 従来の防御策（「怪しいものは全部拒否する」という方法）だと、AI は「もしかしたら嘘かもしれない」と恐れて、**何も行動しなくなる（拒絶崩壊）**ことがありました。しかし、この DMAST 方法では、「嘘を見抜いて無視し、本来のタスクに集中する」ことを学んだため、安全でありながら、臆することなく素早く行動できるようになったのです。

まとめ

この論文は、**「AI が『目と耳』の両方から流れてくる一貫した嘘にだまされないように、攻撃者と戦いながら、かつ『タスクに集中する力』を磨くトレーニング」**を提案しています。

まるで、**「泥棒が窓とドアの両方を同時にこじ開けようとするので、家の住人（AI）が『泥棒の存在を気にせず、ただ料理（タスク）に集中する』という極意を、泥棒と喧嘩しながら身につけた」**ようなものです。これにより、AI はより安全で、賢く、実用的なものになりました。

技術概要

論文要約：Dual-Modality Multi-Stage Adversarial Safety Training (DMAST)

タイトル: Dual-Modality Multi-Stage Adversarial Safety Training: Robustifying Multimodal Web Agents Against Cross-Modal Attacks
著者: Haoyu Liu, Dingcheng Li, Lukas Rutishauser, Zeyu Zheng (UC Berkeley, Google, Google DeepMind)

1. 背景と問題提起

近年、スクリーンショットとアクセシビリティツリー（AX-Tree）の両方を処理するマルチモーダル Web エージェントが、ユーザーに代わって Web インターフェースを操作するために導入されつつあります。しかし、この「双ストリーム（Dual-Stream）」アーキテクチャは、新たな攻撃面（Attack Surface）を開いています。

• 問題の核心: 攻撃者が Web ページの DOM（Document Object Model）にコンテンツを注入すると、スクリーンショット（視覚情報）と AX-Tree（構造化テキスト情報）の両方が同時に改ざんされます。これにより、エージェントは矛盾のない欺瞞的な物語（Deceptive Narrative）を受け取ることになり、単一モダリティの攻撃よりも検出が極めて困難になります。
• 既存研究の限界: 従来の Web エージェントの安全性研究は、テキストベースのプロンプトインジェクションや画像ベースの攻撃を個別に扱っており、モダリティをまたぐ協調攻撃（Cross-Modal Attacks）への脆弱性分析が不足していました。
• 脆弱性分析の結果: 著者らは MiniWob++ ベンチマークを用いた分析で、視覚要素を含む攻撃（画像のみ、または双モーダル協調）は、テキストのみの注入（成功率 24.1%）に比べて、はるかに高い成功率（画像のみ 34.4%、双モーダル 35.7%）を達成し、現在の VLM（Vision-Language Model）が視覚的な欺瞞（偽のシステムダイアログ、タイポグラフィックなオーバーレイ等）に対して脆弱であることを実証しました。

2. 提案手法：DMAST

著者らは、マルチモーダル Web エージェントを強化するためのフレームワーク**「Dual-Modality Multi-Stage Adversarial Safety Training (DMAST)」**を提案しました。これは、エージェントと攻撃者の相互作用を「二人零和マルコフゲーム」として定式化し、3 つの段階で両者を共進化させるトレーニングパイプラインです。

3 つのトレーニング段階

1. 段階 1: 模倣学習 (Imitation Learning)

   • 強力な教師モデル（Teacher Model）から生成された、攻撃下およびクリーンな環境での成功事例（軌跡）を、学生モデル（Student Model）に蒸留します。
   • これにより、エージェントと攻撃者の両方に安定した初期化（Cold-start の回避）を提供します。

2. 段階 2: 神託ガイド付き教師あり微調整 (Oracle-Guided SFT)

   • ゼロ・アックノリッジメント戦略 (Zero-Acknowledgment Strategy): 攻撃された観察データに対して、クリーンな状態と攻撃された状態の両方にアクセスできる「神託（Oracle）」モデルが、攻撃を一切言及せず、かつタスク目標に集中した推論（Chain-of-Thought）を生成します。
   • この「ノイズ除去」された推論と攻撃された観察データを組み合わせて微調整を行うことで、エージェントに「攻撃を認識せず、タスクに集中する」という構造的な先験知識（Structural Priors）を注入します。

3. 段階 3: 敵対的強化学習 (Adversarial RL)

   • 自己対戦 (Self-Play): エージェントと攻撃者が同じ VLM 重みを共有しつつ、グループ相対方策最適化（GRPO）を用いて互いに競い合います。
   • 攻撃者はより巧妙な注入戦略を開発し、エージェントはそれらに対する防御を学習します。この共進化プロセスにより、両者の能力が同時に向上します。

3. 主要な貢献

• マルチモーダル攻撃の定式化: Web エージェントにおける DOM 注入が、視覚とテキストの両方のチャネルを同時に改ざんする脅威であることを明確に示し、その脆弱性を定量的に評価しました。
• 新しいトレーニングフレームワークの提案: 従来の単一モダリティの防御では不十分であるため、視覚とテキストの両方に対応する「共進化」ベースのトレーニング手法 DMAST を提案しました。
• ゼロ・アックノリッジメント戦略: 攻撃を認識することなくタスクを遂行する推論パターンを学習させるための新しい SFT 手法を開発しました。
• 実証的有効性: 既存の防御手法（プロンプトベース、RL ベースなど）を凌駕する性能を示しました。

4. 実験結果

MiniWob++（未見タスク）と VisualWebArena（分布外 OOD タスク）を用いた評価において、DMAST は以下の結果を示しました。

• 安全性の向上: VisualWebArena における攻撃成功率（ASR）を、ベースモデルの 41.2% から 21.4% まで大幅に削減しました。
• タスク遂行効率の向上: 安全性を高めながら、タスク完了率（TSR）を 6.2% から 10.2% に向上させました（多くの防御手法は安全性を高めるためにタスク遂行能力を犠牲にしますが、DMAST は両立しました）。
• ベースラインとの比較:
  • 純粋なプロンプト防御は ASR を下げますが、TSR が 3.1% まで低下し（拒絶の崩壊）、実用性が損なわれました。
  • DMAST は、他の RL ベースの手法（SPAG, ART, Online SFT）と比較しても、安全性と有用性のトレードオフにおいて最も優れたバランスを示しました。
• 共進化の証明: 自己対戦の過程で、攻撃者の攻撃パターンが単純なテンプレートから、タスク文脈を考慮した多様で高度な戦略へと進化し、エージェントの防御能力もそれに伴って向上していることが確認されました。

5. 意義と結論

本論文は、マルチモーダル Web エージェントが直面する「視覚とテキストをまたぐ協調攻撃」に対する実用的な防御策を提供しました。

• 実用性: 単に攻撃を拒否するだけでなく、攻撃下でもタスクを完遂できる「堅牢なエージェント」の構築が可能になりました。
• 将来展望: このアプローチは、Web エージェントの安全性を高めるだけでなく、他のマルチモーダル AI システムにおける対抗的攻撃への耐性を高めるための基盤となる可能性があります。また、攻撃と防御の共進化を通じて、より高度なセキュリティ対策を自動生成する研究への道を開いています。

要約すると、DMAST は、視覚的欺瞞を含む高度な攻撃に対して、タスク遂行能力を維持しつつエージェントを防御するための、画期的なトレーニングフレームワークです。