テクニカル・サマリー：パッチサイズを盗む：ビジョン・ランゲージ・モデルへの敵対的操作

問題提起

デプロイされたビジョン・ランゲージ・モデル（VLM）は、複雑で、しばしば文書化されていない視覚的前処理パイプラインに依存しています。これらのパイプラインには、視覚的パッチサイズ（$P$）、入力リサイズ戦略、パディング／クロッピング・ルール、およびターゲット解像度（$S$）といった、極めて重要なアーキテクチャおよびシステムレベルの設計上の選択が含まれます。これらのパラメータは、モデルの効率、精度、および堅牢性に大きな影響を与えますが、通常、APIやドキュメントを通じて公開されることはなく、プライベートなデプロイ時の情報として扱われます。

本論文は、ブラックボックスVLMにおける「盲点」に対処します。それは、特定の構造的整合性が入力画像とモデルの内部トークナイゼーション・グリッドの間に発生した際、これらのモデルが単純なタスク（グリッドセルのカウントなど）を実行できなくなるという現象です。著者らは、これらの失敗はランダムなものではなく、ViT型のパッチ化によって誘発される決定論的なタスクレベルのサイドチャネルであると断定しています。核心となる研究課題は、勾配、内部活性化、または学習データへのアクセスなしに、APIアクセスのみを通じて、ブラックボックスVLMの非公開のアーキテクチャおよび前処理パラメータを体系的に復元できるかどうかです。

手法

提案される攻撃手法である**パッチサイズ・マッチング（PSM）**は、入力グリッドの境界とモデルの内部パッチグリッドとの間の幾何学的関係を利用します。

1. メカニズム：パッチサイズ・マッチング（PSM）

ほとんどのVLMは、入力を重複のない $P \times P$ のパッチに分割するVision Transformer（ViT）を使用して画像をトークン化します。

• 現象： セルサイズ $D$ を持つ合成グリッド画像が処理される際、トークナイザーの入力空間における実効セルサイズ（$D_{eff}$）がパッチサイズの整数倍（$D_{eff} = kP$）である場合、グリッドの境界がちょうどパッチの間に位置することになります。
• 結果： 各グリッドセルの内部は一定の色であるため、セル内に完全に含まれるパッチにはエッジ情報が含まれません。このトークナイゼーション・プロセスにより境界の手がかりが抑制され、モデルはグリッド構造に対して「盲目」になります。
• シグナル： グリッドのセルサイズ $D$ をスイープ（走査）していくと、$D_{eff}$ が $P$ の倍数に一致するたびに、モデルの精度に周期的な低下（谷）が現れます。

2. 3段階のブラックボックス攻撃

著者らは、未知のリサイズおよびパディング条件下で隠されたパラメータを復元するための体系的な手順を提案しています。

• ステージ1：アンパディッド・スイープ（動的解像度 vs 固定解像度）
  攻撃者は、パディングを行わずに、様々なセルサイズ $D$ のグリッド画像を用いてモデルにクエリを送ります。

  • モデルが動的解像度を使用している場合、精度の周期的な谷が直接的に現れるため、その低下の周期からパッチサイズ $P$ を直接推論できます。
  • モデルが固定解像度（入力をターゲット $S$ にリサイズする）を使用している場合、$D$ が非線形にリスケールされるため、周期性は不明瞭になります。

• ステージ2：ゼロパディングによる周期性の回復
  固定解像度を使用している疑いがあるモデルに対して、攻撃者はキャンバス $L \times L$ 内にゼロパディングを用いてグリッド画像を埋め込みます（コンテンツを左上に配置）。

  • これにより、制御可能なスケーリング係数が導入されます。もしモデルが $L \times L$ を固定ターゲット $S$ にリサイズする場合、実効セルサイズは $D_{eff} = (S/L)D$ となります。
  • 様々なキャンバスサイズ $L$ に対して $D$ をスイープすることで、攻撃者は精度の低下の周期 $T(L)$ が $L$ に対して線形にスケールすることを観察します。
  • これにより、関係式 $S/P = L/T(L)$ を通じて、スケール比 $S/P$ を復元することが可能になります。

• ステージ3：ターゲット解像度のための整合性チェック
  ステージ2により、候補となる $(S, P)$ のセットが得られます。真のターゲット解像度 $S$ を特定するために、以下の手順を行います。

  • 攻撃者は、モデルの出力の一貫性を比較する仮説検定を行います。
  • そのロジックは、もしモデルの内部ターゲットが $S$ であるならば、クエリを行う前に画像を $S$ に事前リサイズして実行することが、生のクエリに対してより一貫した回答をもたらすはずである、というものです。
  • 統計的なトーナメントを行い、回答の一貫性を継続的に最大化する唯一の $S$ を選択します。

3. 統計的検証

精度の低下を主観的に解釈することを避けるため、著者らは観測された周期性がノイズによるアーティファクトではないことを確認するために、非パラメトリックな置換テスト（Welch方式）を採用し、周期性の統計的有意性を判断しています。

主な結果

この攻撃は、オープンソースモデル（Qwen-VLのバリアント、InternVL）およびプロプライエタリなモデル（GPT-4.1-mini、GPT-4o、Claude 3.7、Claude 4.5）を用いて評価されました。

• パラメータの復元： この手法は、パッチサイズおよび前処理の挙動の復元に成功しました。
  • Qwen3-VL 30B： 動的解像度および $P=16$ を特定。
  • Claude 3.7： 動的解像度および $P=14$ を特定。
  • GPT-4.1-mini： 動的解像度および $P=16$ を特定。
  • GPT-4o： 固定解像度の前処理を特定。3段階のプロセスを通じて、著者らはターゲット解像度 $S=512$ およびパッチサイズ $P=16$ を推論しました。
• 堅牢性： この攻撃は、モデルが未知のリサイズ、パディング、または動的解像度戦略を採用している場合でも効果的に機能しました。
• コスト： 高い信頼区間を得るために、この攻撃は約 $4.8 \times 10^4$ 回のクエリ（約 $10^7$ トークン）を必要とし、典型的なAPI価格設定の下で、およそ \10 \sim $50$ の費用がかかります。

重要性と影響

本論文は、これらの「実装の詳細」を復元することは単なる学術的な演習ではなく、高度なセキュリティ攻撃の前提条件であると主張しています。

1. 前処理を考慮した転移攻撃： 正確な前処理パイプラインを知ることで、攻撃者はリサイズやパディングによる歪み（エイリアシング）を回避する敵対的摂動を設計できるようになり、転移性を大幅に向上させることができます。
2. モデル標的型の敵対的操作： 漏洩したパラメータを用いることで、異なるパイプラインを持つ他のモデルには無害でありながら、特定のターゲットモデルをセレクティブに操作する敵対的例を作成できることが示されています。
   • 実験的証明： GPT-4o（復元された $S=512, P=16$ を使用）に特化した攻撃をNIPS 2017データセットに対して行った実験では、GPT-4oに対して86.5%の成功率を達成した一方で、Claude 3.7に対する成功率は4.5%まで低下しました。逆に、Claude 3.7を標的とした攻撃は、それに対して（18.5%）成功しましたが、GPT-4oに対しては失敗しました。

結論

著者らは、ViT型のパッチ化がブラックボックスの振る舞いに検出可能なシグネチャを生み出し、プライベートなデプロイ時の構成を漏洩させると結論付けています。彼らは、「実装の詳細」はビジョンのフロントエンドにおけるセキュリティに関連する機密事項であると主張しています。本論文は、このようなパラメータの漏洩と、それに続くモデル標的型の操作を防ぐために、ランダム化／確率的な前処理、境界保存型のトークナイゼーション、またはクエリ制御などの緩和策が必要であることを示唆しています。