技術要約：偽造された回答：OCRフリーの文書視覚的質問応答に対する敵対的偽造

問題提起

文書視覚的質問応答（DocVQA）システム、特にOCRフリーのエンドツーエンド型アーキテクチャを利用するシステムは、文書画像に対する推論を行う強力なツールとして台頭している。これらのモデルは、生の画像と自然言語の質問を処理して回答を生成し、従来の光学文字認識（OCR）パイプラインに伴う計算コストや誤差の伝播を回避する。しかし、深層学習（DL）モデルに対する敵対的摂動（望ましくない挙動を引き起こす微細な入力操作）への脆弱性は、DocVQAの文脈において十分に調査されていない。

本論文は、決定的なセキュリティ上のギャップを特定している。それは、「文書偽造」による敵対的攻撃の可能性である。標準的な画像分類攻撃とは異なり、DocVQAへの攻撃は、複雑な文書レイアウトから導き出される特定の意味的な出力（回答）を操作することを目的とする。著者らは、視覚的に知覚できない程度の摂動であっても、攻撃者が特定の誤った回答（例：請求書の合計金額の改ざん）を誘発したり、系統的なモデルの失敗を引き起こしたりすることを可能にすると主張している。Agents Payments Protocol（AP2）のようなプロトコルによって実現される自動化されたパイプラインにおいて、これらの脆弱性は、直接的な金銭的損失や不正な取引につながる可能性がある。

手法

脅威モデル

著者らは、対象となるDocVQAシステム（そのアーキテクチャ、前処理パイプライン、パラメータを含む）に関する完全な知識を持つ攻撃者が存在するホワイトボックス脅威モデルを定式化している。攻撃者は、元の文書画像 $x$ と正解の回答 $y$ にアクセスできるが、質問 $q$ は固定されている（例：システムプロンプト）。攻撃者の目標は、モデルに操作された回答 $y^*$ を出力させるような摂動を加えた文書 $x' = x + \delta$ を生成することである。

この攻撃は以下の制約条件下で動作する：

• 入力空間の操作： 摂動は、モデル固有の前処理が行われる前の、文書画像の生の画素値に対して直接適用される。
• 不可知性（知覚不可能性）： 摂動 $\delta$ は、視覚的に目立たないように $\ell_\infty$ ノルム（$\|\delta\|_\infty \leq \epsilon$）によって制約される。
• シナリオ： フレームワークは以下の3つの攻撃シナリオをサポートしている：
  1. ターゲット・シングルQA（Targeted Single-QA）： 特定の誤った回答を強制する。
  2. ターゲット・マルチQA（Targeted Multi-QA）： 複数の質問に対して同時に特定の誤った回答を強制する。
  3. 回答拒絶（Denial of Answer: DoA）： 文書上のすべての質問に対して、一般的に誤った回答を誘発する（可用性の侵害）。

攻撃の定式化と最適化

著者らは、摂動を最適化するために**投影勾配降下法（PGD）**を採用している。目的関数は、モデルの出力とターゲットとなる回答 $y^*$ の間の損失を最小化する（ターゲット攻撃の場合）、または正解に対する損失を最大化する（非ターゲットのDoA攻撃の場合）ものである。

主要な技術的貢献は、モデル固有の前処理の取り扱いである。Pix2StructやDonutのようなDocVQAモデルは、独自の、しばしば微分不可能な前処理ステップ（例：パッチ抽出、特定の正規化、質問のレンダリング）を採用しているため、著者らはこれらのパイプラインをリバースエンジニアリングして、完全に微分可能な計算グラフを作成した。これにより、モデルの出力から生の入力画像へと勾配を逆伝播させることが可能になり、エンドツーエンドの最適化が可能となった。

2つの異なる損失関数が利用された：

1. 標準的なファインチューニング損失： 元のモデル訓練で使用される負の対数尤度。
2. カスタム・ロジット損失： Donutモデルにおける攻撃の有効性を向上させるために特別に設計された新しい損失関数。この損失は、現在最大ロジットではないターゲットトークンのみを罰することで、既存の正しいトークンを乱すことなく、ターゲットトークンを「引き出す」ように最適化を導く。

実験設定

本研究では、2つの最先端のOCRフリーモデルを用いて攻撃を評価している：

• Pix2Struct： 質問を画像の視覚的なヘッダーとしてレンダリングする、ビジョン・ランゲージ・トランスフォーマー。
• Donut： 質問をテキストプロンプトとして受け取る、トランスフォーマーベースのモデル。

実験は、1,000件の一意な請求書文書（各文書に5つの関連する質問・回答ペアが付随）を含むPFL-DocVQAデータセットを用いて行われた。著者らは、フルドキュメント攻撃（画像全体に摂動を加える）とパッチベース攻撃（例：右下隅の15%の正方形領域など、局所的な領域に摂当を加える）の両方をテストした。

主な結果

攻撃成功率（ASR）

• ターゲット・シングルQA： 攻撃は非常に効果的であった。フルドキュメント攻撃の場合、ASRはPix2Structでほぼ100%、Donutで80%弱に達した。パッチ攻撃もPix2Structに対しては成功したが（ASR 約100%）、Donutに対しては著しく効果が低かった（ASR 20%未満）。
• ターゲット・マルチQA： 最適化される質問の数（$B$）が増えるにつれて、複数の制約を同時に満たすことが困難になるため、ASRは低下した。Pix2Structは小さな $B$ に対して高いASRを維持したが、Donutの性能は急速に低下し、$B=2$ でゼロに近づいた。
• 回答拒絶（DoA）： 非ターゲット攻撃は、モデルの性能を低下させる上で非常に効果的であった。単一の最適化ステップ（$K=1$）であっても、モデルは混乱した。DoAのASRは $B=1$ では高水準を維持したが、より多くの質問が対象になると低下した。ただし、ターゲットシナリオと比較すると、Donutにおける低下は緩やかであった。

副次的被害（CDMG）およびANLS

• 副次的被害（Collateral Damage）： ターゲット・シングルQA攻撃において、CDMGは低水準に留まり、これは同一文書内の非ターゲットの回答が概ね正しいまま維持されていることを示している。しかし、マルチQAおよびDoAシナリオでは、予想通りCDMGが増加した。特にDoAにおいては、目標がグローバルな混乱であるため顕著であった。
• ANLSスコア： 平均正規化レーベンシュタイン類似度（ANLS）指標は、攻撃のダイナミクスを裏付けた。ターゲット攻撃では、ANLS-B（ターゲット回答への類似度）が増加し、一方でANLS-C（非ターゲット回答に対する正解への類似度）は高いまま維持された。DoA攻撃では、ANLS-B（正解への類似度）が大幅に減少し、正しい出力の劣化が確認された。

意義と主張

本論文は、OCRフリーのDocVQAシステムにおける敵対的脆弱性を具体的に分析した最初の脅威モデルを提示していると主張している。その主な意義は、以下の点を実証したことにある：

1. エンドツーエンドの脆弱性： 現在のDocVQAシステムは、小さく局所的な、あるいは文書全体の摂動によって、特定の意味的に誤った回答を誘発できる「敵対的偽造」に対して脆弱である。
2. 現実世界への影響： これらの攻撃は単なる理論的なものではない。これらは、財務データ（例：請求書の合計金額）を操作したり、自動化された文書処理パイプラインにおいてサービス拒否条件を誘発したりするように作成可能である。
3. モデルの感受性： アーキテクチャによって耐性が異なる。Pix2StructはDonutよりもパッチ攻撃に対して脆弱であることが判明し、一方でDonutはマルチターゲット最適化においてより苦戦した。
4. 防御への呼びかけ： これらの知見は、文書のモダリティに適応した敵対的訓練、異常な入力の検出、および前処理パイプラインの強化を含む、堅牢な防御策の切実な必要性を強調している。

著者らは、本研究がホワイトボックス設定（攻撃能力の上限）を想定しているものの、その結果はこのような攻撃の有効性の明確な上限を確立するものであり、これらの脆弱性が実環境で悪用される前に、原理的な緩和策を開発することをコミュニティに促すものであると強調している。