技術要約：マルチモーダルOSエージェントを乗っ取る悪意のある画像パッチ（MIPs）

問題定義

OSエージェントの最近の進歩により、視覚言語モデル（VLM）がスクリーンショットをキャプチャし、視覚情報を解析し、API（例：マウスのクリック、キーボード入力）を介して低レベルのアクションを実行することで、ユーザーのコンピュータを自律的に制御することが可能になりました。受動的なテキスト生成モデルとは異なり、これらのエージェントはOSと直接対話するため、敵対的な操作はデータの漏洩や金銭的被害といった、即時的かつ具体的な結果を招く可能性があります。

既存の敵対的研究は、テキストベースのプロンプトインジェクションや明白なポップアップ攻撃に焦点を当てていますが、これらは検知可能であったり、エージェントのテキスト入力パイプラインへの直接的なアクセスを必要としたりすることが多いです。本論文は、決定的なギャップとして、**悪意のある画像パッチ（MIPs: Malicious Image Patches）**に対するOSエージェントの脆弱性を特定しています。これらは、人間の観察者には無害に見えますが、OSエージェントによってスクリーンショットとしてキャプチャされると、有害なAPI呼び出しをトリガーする特定のテキスト命令をモデルに生成させる、敵対的に摂動された画面領域です。核心となる課題は、攻撃者がエージェントの全ディスプレイではなく、通常は画面上の小さなパッチ（例：ソーシャルメディアの投稿やデスクトップの壁紙）のみを制御していること、そして、攻撃が非微分的なスクリーンパーサーや画像のサイズ変更操作を含むエージェントのマルチコンポーネント・パイプラインを生き残らなければならないことです。

手法

形式的フレームワーク

著者らは、OSエージェントを以下の3つのコンポーネントからなるパイプラインとしてモデル化しています：

1. スクリーンパーサー ($g$): スクリーンショット $s$ を、構造化された視覚情報（バウンディングボックス）およびテキスト情報（Set-of-Marks, SOMs）の記述に変換します。
2. VLM ($f_\theta$): ユーザープロンプト、システムプロンプト、メモリ、SOMs、および注釈付きスクリーンショットを処理し、一連のテキストトークン（推論およびアクションプラン）を生成します。
3. API ($a$): VLMの出力から派生した特定のアクションを実行します。

攻撃の目的は、摂動を加えたスクリーンショットがキャプチャされた際に、エージェントが事前定義された悪意のあるターゲット出力 $y$（例：データを漏洩させるためのPythonスクリプト）を生成するように、特定の画像パッチ領域 $R$ 内の摂動 $\delta$ を見つけることです。

最適化の制約と戦略

著者らは、実用性と隠密性を確保するために厳格な制約を設けた最適化問題として攻撃を定式化しています：

• パッチ制約: 摂動は特定の領域 $R$（例：アップロードされた画像）に限定されます。
• 離散性: 摂動は有効な整数のピクセル値でなければなりません。
• パーサー不変性: 摂動は、非微分的なスクリーンパーサー $g$ の出力を変化させてはなりません。具体的には、パーサーがパッチと交差するバウンディングボックスを $R$ 内に生成してはならず、画面のテキスト記述も変更されない必要があります。
• リサイズ耐性: 攻撃は、VLMの入力次元に合わせてスクリーンショットがリサイズされた後も効果的であり続けなければなりません。

これを解決するために、著者らは**投影勾配降下法（PGD）**を採用しています。彼らはリサイズ関数を近似して微分可能にし、VLMの出力とターゲットとなる悪意のあるテキスト $y$ との間のクロスエントロピー損失を最小化するように摂動 $\delta$ を最適化します。決定的な点として、彼らは $g(s) = g(s + \delta)$ であることを検証し、バウンディングボックスがパッチ領域と交差した場合にはロールバックを行うことで、パーサー不変性の制約を強制します。

実験設定

実験は Microsoft Windows Agent Arena (WAA) で行われ、以下を使用しました：

• スクリーンパーサー: OmniParser（推奨）および、GroundingDINO + TesseractOCRを用いたベースライン。
• VLM: Llama 3.2 Vision シリーズ（11Bおよび90Bパラメータ）。
• 設定: 2つの主要な攻撃ベクトル：(1) デスクトップ（MIPが背景の壁紙に埋め込まれている）、および (2) ソーシャルメディア（MIPがソーシャルメディアのフィード内の画像である）。
• ターゲット: 2つの悪意のある挙動をテストしました：(1) 特定のトークンシーケンスによるメモリオーバーフローの誘発、および (2) 明示的または敵対的なウェブサイトへのナビゲーション。

主な貢献

1. MIPsの導入: 本論文は、OSエージェントを特に対象とする新しい攻撃ベクトルとして、悪意のある画像パッチ（MIPs）を定義し、実証しています。従来の研究とは異なり、MIPsはテキスト入力パイプラインへの直接的なアクセスなしに、スクリーンショットへの依存を利用してシステムを乗っ取ります。
2. 実用的な制約の特定: 著者らは、入力の限定的な制御（パッチのみ）、スクリーンパーサーの非微分性、および画像リサイズを生き残る必要性を含む、現実世界のOSエージェント攻撃の制約を体系的に扱っています。
3. 汎用性の実証: 研究は、MIPsが以下の要素に対して汎用性を持てるように作成できることを示しています：
   • 未知のユーザープロンプト: ユーザーのタスクが良心的でパッチと無関係であっても、攻撃は機能します。
   • 未知の画面レイアウト: 攻撃は、異なるスクリーンショット（例：異なるソーシャルメディアの投稿やデスクトップアイコンの配置）でも成功します。
   • 未知のスクリーンパーサー: あるパーサー（OmniParser）に対して最適化されたMIPは、別のパーサー（GroundingDINO/Tesseract）へ効果的に転移します。
   • 複数の実行ステップ: エージェントがタスク実行の数ステップ後にパッチに遭遇した場合でも、攻撃は効果を維持します。
   • 複数のVLM: 結合最適化により、単一のMIPが異なるVLMアーキテクチャ（11B vs 90B、事前学習済み vs 指示チューニング済み）を乗っ取ることが可能です。

結果

• 標的型攻撃: 特定のプロンプトとスクリーンショットに対して最適化されたMIPは、そのペアに対して100%の成功率を達成しました。また、未知のプロンプトにも転移し、平均成功率（ASR）は0.33–0.91となりましたが、さらなる最適化なしでは未知のスクリーンショットへの転移には失敗しました（ASR 0.0）。
• ユニバーサル攻撃: 多様なプロンプトとスクリーンショットのバッチに対して最適化することで、著者らは「ユニバーサルMIP」を作成しました。これらは、同じ設定における未知のプロンプトおよびスクリーンショットに対して高いASR（0.89–1.00）を達成しました。
• クロスパーサー転移: ユニバーサルMIPは、未知のスクリーンパーサーに対してテストされた際も高い有効性（ASR 0.36–0.90）を維持し、画面がどのように解析されるかのバリエーションに対する堅牢性を示しました。
• クロスVLM転移: 3つのVLM（Llama 3.2 11B-PT, 11B-IT, 90B-IT）上で共同最適化された単一のMIPは、これらすべてにおいて高い成功率（0.92–0.97）を達成しました。しかし、訓練セットに含まれていない完全に未知のVLM（90B-ITを訓練に入れていない場合）への転移は限定的であり、これはVLMにおける敵対的転移性に関する先行研究の結果と一致しています。
• 実行ステップの堅牢性: エージェントが良心的なタスクを完了するために複数のステップを経てナビゲートした後でも、MIPは効果を維持しました。

重要性と主張

本論文は、MIPsがOSエージェントのリスクランドスケープにおける根本的な転換を意味すると主張しています。MIPsは良心的なコンテンツ（壁紙、ソーシャルメディアの投稿、広告）に埋め込まれ、検知されることなく広く拡散できるため、OSエージェントにとっての「コンピュータワーム」のように機能します。著者らは次のように述べています：

• 隠密性と拡散: テキストベースの攻撃とは異なり、MIPsは検知が困難であり、エージェントが侵害された投稿（例：「いいね！」やシェア）に反応した場合、自律的に拡散する可能性があります。
• 深刻度: OSエージェントが持つOSへの直接的な制御権により、成功したMIP攻撃は、従来のテキストベースのハルシネーション（幻覚）のリスクをはるかに超え、即時のデータ漏洩やシステム侵害を招く可能性があります。
• 緊急性: これらの知見は、OSエージェントの広範な展開前に対処すべき重大なセキュリティ脆弱性を浮き彫りにしています。著者らは、現在の防御策は不十分であることを指摘し、これらのコンポーネントを跨ぐ脅威を軽減するための、ベリファイア（検証）モジュールやコンテキスト依存の整合性チェックなどの新しいフレームワークを求めています。

結論として、MIPsはすべてのOSエージェントのセキュリティ問題に対する万能薬ではありませんが、将来のマルチモーダルエージェントの安全性を確保するために体系的な防御戦略を必要とする、特定の、かつ影響力の大きい脆弱性を露呈させています。