Scalable Black-Box Model Attribution for Images

技術要約：画像に対するスケーラブルなブラックボックス・モデル属性特定

問題提起
生成モデルの急速な普及により、画像そのもののみを用いて、どの特定のモデルがその画像を生成したかを判断する能力である「モデル属性特定（model attribution）」に対する切実なニーズが生じています。現在の属性特定手法には、実世界のシナリオでは利用できないことが多い重大な実用的限界があります。多くの手法は、モデルの内部情報（重み、オートエンコーダー、プロンプト）へのホワイトボックス・アクセスに依存しています。また、他の手法は粗い粒度の識別に陥っており、同じアーキテクチャのファミリーやオートエンコーダーを共有するモデル間の区別に失敗します。さらに、既存のアプローチは一般的な画像の劣化（JPEG圧縮、ブラー、リサイズ）に対して脆弱であり、候補モデルの数が増えるにつれて（例：再構成ベースの手法は候補数に対して線形にスケールする）、高い計算コストを強いる傾向があります。

手法：Raw-Patch Attribution (RPA)
著者らは、モデルの重み、プロンプト、またはシードへのアクセスなしに画像を属性特定する、軽量で厳格なブラックボックス・アプローチであるRPA (Raw-Patch Attribution) を提案しています。この手法は、生成パイプラインが周波数領域において、各ジェネレーターごとに明確に区別可能な、持続的で高度に分離可能なスペクトル署名（低レベルのアーティファクト）を埋め込んでいるという観察に基づいています。

RPAのパイプラインは以下の3つのステップで構成されます：

1. パッチ分割（Patch Division）: 入力画像を重複する $256 \times 256$ のパッチに分割します。これにより解像度の不変性が確保され、モデルを再学習させることなく、$256^2$ から $4096^2$ ピクセルまでの画像を処理できます。
2. パッチごとの分類（Per-Patch Classification）: 約 600万パラメータを持つコンパクトな畳み込みニューラルネットワーク（CNN）が、生のRGBピクセルから各パッチを直接分類します。ネットワークは、単一のフォワードパスですべての候補ジェネレーターに対するクラス・ロジットを出力します。
3. マルチパッチ集約（Multi-Patch Aggregation）: 最終的な画像レベルの予測は、各ピクセルが等しく寄与することを保証するためにエッジの重なりを考慮した、パッチごとのクラス確率の加重平均となります。

主な貢献

• 正確なブラックボックス属性特定: RPAは、最も厳格なブラックボックス設定において最先端の精度を達成し、25クラスのDRAGONベンチマークで 98.0%、27クラスのOpenFakeベンチマークで 92.9% に達しました。これは、テキストプロンプトやホワイトボックス・アクセスを必要とすることが多い従来の手法を凌駕しています。
• スケーラビリティと効率性: 推論コストは候補モデルの数に依存しません（$O(1)$）。画像をすべての候補に対して逐次スコアリングする必要がある再構成ベースの手法（$O(C)$）とは異なり、RPAはすべての候補を同時に処理します。モデルはコンパクトで、学習が速く、ミリ秒単位で推論を行います。
• 堅牢性: 破損増強（corruption-augmented）バリアントを用いたRPAは、JPEG圧縮、ガウス・ブラー、リサイズ、クロッピングといった、従来の手法を通常は敗退させる条件下でも高い精度を維持します。
• オープンセット属性特定: 分類器の信頼度スコアのみを使用して、未知のジェネレーターからの画像を「未知（unknown）」として確実にフラグ立てすることができます。これにはキャリブレーション・セットや補助的な外れ値データは必要ありません。
• 少ショット適応（Few-Shot Adaptation）: 学習済みのバックボーンを凍結し、線形ヘッドのみを適合させることで、新しいジェネレーターを追加できます。この適応には数秒から数分しかかからず、最小限のデータしか必要としません。
• モデル発見（Model Discovery）: 最終層直前の特徴量は、ジェネレーター間の関係性を自然にエンコードしています。これらの特徴量を用いた教師なし階層クラスタリングは、モデルの系統（lineage）（共有のオートエンコーダーやベースとなる重みによるグループ化）を正常に復元し、未知のジェネレーターからの画像をその真のソースごとにクラスタリングすることに成功しています。

実験結果

• クローズドセット性能: DRAGONデータセット（25モデル）において、RPAは98.0%の精度を達成し、DE-FAKE (62.0%) や OCC-CLIP (8.6%) を大幅に上回りました。OpenFake (27モデル) では92.9%に達しました。
• ホワイトボックス比較: ホワイトボックス・アクセスを用いる手法（LatentTracerが70.3%、AEDRが95.1%）と比較しても、厳格なブラックボックス操作を行うRPAは、AEDRベンチマークにおいて 97.7% の平均ペアワイズ精度を達成しました。
• 推論速度: RPAは画像1枚あたり 8.5 ms で推論しますが、AEDRのようなホワイトボックス・ベースラインは、候補セットが増えるにつれて0.53秒から3.71秒へとスケールします。
• 堅牢性: 強力なJPEG圧縮（Q=60）およびリサイズ条件下でも、モデルは高い精度を維持しており（例：Q60で89.3%）、実世界の画像劣化に対する耐性を示しています。
• 適応性: GenImageベンチマークにおける少ショット・シナリオ（1-shotおよび10-shot）において、RPAはLIDA、ResNet、DIREなどのベースラインを上回り、10ショットで約60%の精度を達成しました。

意義と主張
本論文は、シンプルさが高性能には十分であると主張しています。洗練されたジェネレーターには洗練された属性特定器が必要であるという仮定に反して、生のパッチに対して動作する軽量なCNNが、必要な「指紋」を捉えることが可能です。

著者らは、RPAが厳格なブラックボックス属性特定の新しい標準を確立すると主張しており、以下を示しています：

1. モデルの内部情報へのアクセスなしに、高い精度が達成可能であること。
2. 学習された特徴空間は多用途であり、分類だけでなく、オープンセット検出、少ショット適応、および教師なし系統発見をサポートすること。
3. 分野は、重厚な再構成ベースの仕組みから、効率的で判別的なベースラインへと移行すべきであること。
4. モデル属性特定は、バイナリのディープフェイク検出を特殊なケースとして包含する可能性のある、それ自体で基礎的な問題として捉えられるべきであること。

なお、本論文では限界についても明記しています。本モデルは実画像に関する学習を行っていないため、実画像 vs 偽造画像（real-vs.-fake）の検出を解決するものではなく、最適化された攻撃に対する敵対的堅牢性についても評価しておらず、これらは別途、将来の研究課題として扱っています。