技術要約：デノイザーの応答におけるスペクトル結合による拡散モデルの属性特定

1. 問題提起

本論文は、**拡散モデルの属性特定（Diffusion Model Attribution）**という課題に取り組んでいる。これは、与えられた画像がどの特定の拡散モデルによって生成されたかを特定する問題である。これは、プロベナンス（由来）の検証、知的財産保護、および悪用検知において極めて重要である。

核心的な困難は、異なるデータセットで学習された拡散モデルが、しばしば類似したスコア関数へと収束し、視覚的に区別がつかない出力を生成するという点にある。その結果、生成された画像（出力空間の信号）のみに依存する属性特定手法は、本質的な曖昧さに直面する。既存の非侵入的アプローチには以下の根本的な限界がある：

• 分類器ベースの手法は、視覚的に類似した出力を生成する、アーキテクチャが類似したバリアントを区別することに苦慮する。
• 反転ベースの手法（例：RONAN、LATENTTRACER）は、再構成損失に依存している。候補となるモデルが同じオートエンコーダ（VAE）を共有している場合、これらの損失は情報を持たなくなり、結果として手法がランダムな推測へと崩壊する。
• 侵入的手法（例：電子透かし）は、モデルの修正や再学習を必要とし、生成品質を低下させるだけでなく、既存のオープンソースモデルには適用できない。

本論文は、識別信号は生成された出力の中にではなく、**デノイジング関数（denoising function）**自体、具体的にはそのスペクトル幾何学の中に存在すると主張している。

2. 手法：スペクトル・デノイジング・シグネチャ (SDS)

著者らは、生成された出力を分析するのではなく、そのデノイジング挙動をプロービング（探索）することによってモデルの指紋を特定する、非侵入的な属性特定手法である**スペクトル・デノイジング・シグネチャ（Spectral Denoising Signatures: SDS）**を提案する。

核心となる洞察

モデルのデノイジング・スコア関数は、特有のスペクトル幾何学を示しており、それはデノイジング過程において空間周波数帯域間でエネルギーをどのように再分配するかに反映される。この挙動は、モデルの学習されたスコア関数に固有のものであり、生成に使用される特定のプロンプトやノイズシードには依存しない。

SDSパイプライン

1. 標準化: シグネチャがアーティファクトではなくモデルのアイデンティティを反映するように、すべての候補モデルは、入力画像を一貫した潜在空間（$z_0$）にエンコードするための共有VAEと、共有スケジューラを使用する。プロンプト依存の信号を除去するため、プロービングは空のテキスト埋め込みを用いて行われる。
2. スペクトル分割: 潜在空間の周波数平面を、$K$個の同心円状のラジアルリングに分割する。リング0は低周波（グローバルな構造）をカバーし、リング $K-1$ は高周波（微細なテクスチャ）をカバーする。
3. 周波数制御プロービング:
   • 注入: 選択されたタイムステップ $t$ において、特定の周波数リング $k$ に帯域制限ノイズ（$\eta^{(k)}$）を注入する。
   • デノイザーへのクエリ: デノイザー $\hat{\epsilon}_\theta(z_t, t, \emptyset)$ を呼び出し、ノイズを予測させる。
   • 残差分析: 残差 $r = \hat{\eta} - \eta^{(k)}$ を計算する。この残差のエネルギーを、すべての出力周波数リング $j$ にわたって測定する。
   • 結合行列: これにより、結合行列 $C \in \mathbb{R}^{K \times K}$ が得られる。ここで $C[k, j]$ は、リング $k$ に注入されたエネルギーがデノイザーによってどのようにリング $j$ へルーティングされるかを定量化する。この行列は、デノイザーのヤコビアンの投影である。
4. シグネチャの集約:
   • 測定は、複数の摂動振幅（$S$）および、デノイジング軌跡にわたる複数のタイムステップ（$T_n$）にわたって行われる。
   • 得られた結合行列を連結して平坦化（flatten）することで、高次元のシグネチャベクトル $\Phi(M, z_0)$ を形成する。
   • プロトタイプの構築: 各モデルについて、$N$ 個のリファレンス画像からのシグネチャを平均することで、プロトタイプ・シグネチャ $\Psi(M)$ を作成する。コンテンツ依存のスケール変動を除去するために、行正規化が適用される。
5. 識別: クエリ画像がエンコードされ、プローブされてそのシグネチャが生成された後、最近傍プロトタイプ一致（argmin）または学習済み線形分類器（LinearSVC）を用いて、保存されたプロトタイプと比較される。

3. 主な貢献

1. SDSフレームワーク: 標準的なフォワードパスのみを使用して、反転、最適化、またはモデルの修正を必要とせずに、デノイザーのスペクトル幾何学をプローブする非侵入的な属性特定手法。
2. 固有のモデル・シグネチャ: スペクトル結合シグネチャが、学習データ、アーキテクチャ、および学習手順の変化に対して、モデル固有であり、歪みに強く、かつ識別力があることを実証した。
3. ベースラインの失敗モードの解決: スペクトル幾何学を直接プローブすることが、モデルが同じオートエンコーダを共有している場合に発生する、既存の反転ベースの手法の根本的な失敗を解決することを証明した。

4. 実験結果

本手法は、多様な学習データ、アーキテクチャ、および学習手順を持つ8つの多様な拡散モデル（Stable Diffusion v1.4/v1.5、SDXL、PixArt-$\alpha$、およびファインチューニングされたバリアントを含む）を用いたクローズドセットのタスクで評価された。

• 属性特定精度: SDSは、LinearSVC分類器を用いてこれら8つのモデルに対して約99.9%の精度を達成した。特に、ほぼすべての重みと同一のVAEを共有しているSD v1.4とSD v1.5を、SDSは正常に区別できた。これは、出力ベースの特徴量が完全に失敗したケースである。
• クロスドメインの汎化性能: SDプロンプトから構築されたプロトタイプをMS-COCOプロンプトから生成された画像に対してテストした際、LinearSVCは96.2%の精度を維持した（低下はわずか3.8ポイント）。これは、シグネチャが主にモデル固有であり、プロンプトに依存しないことを示している。
• 堅牢性: SDSは、強力な後処理による歪み（回転、JPEG圧縮、クロッピング、明るさのスケーリング、ノイズ、およびブラー）に対しても高い堅牢性を示した。ピクセル空間の歪みが画像品質を著しく低下させた一方で、スペクトルルーティングのシグネチャは維持され、深刻なノイズやブラーの下でもLinearSVCは90%以上の精度を達成した。
• ベースラインとの比較:
  • RONAN および LATENTTRACER（反転ベース）は、同じVAEを共有する5つのモデルに対して、ランダムな推測に近い約20〜27%の精度へと崩壊した。
  • SDSは、これら同じモデルに対して100%の精度を達成し、最も困難なモデルペアにおいて、最高のベースラインであるLATENTTRACERを55ポイント、RONANを70ポイント上回った。

5. 意義と主張

本論文は、モデルのアイデンティティは、生成された出力ではなく、デノイザーのヤコビアンのスペクトル幾何学にエンコードされていると主張している。この発見は、使用されるオートエンコーダに依存しない、原理に基づいた属性特定の基礎を確立するものである。

• 実用性: SDSは標準的なフォワードパスのみを必要とするため、モデルの再学習や電子透かしを必要とせず、広大な既存のオープンソース拡散モデルのエコシステムに適用可能である。
• 根本的な洞察: 本研究は、モデルが視覚的に類似したスコア関数へと収束する場合であっても、エネルギーを周波数帯域間でルーティングする方法において、明確に異なる「スペクトル指紋」を保持していることを示している。
• 限界: 著者らは、SDSが現在クローズドセットの設定で動作していること（ソースモデルがレジストリに存在する必要があること）、および候補モデルの重みへのホワイトボックスアクセスを必要とすることを認めている（ただし、これはオープンソースモデルにおいては満たされる条件である）。また、生成後の改ざんを検知するものではない。

要約すると、本論文は、何を生成するかからどのようにデノイズするかへと焦点を移すことで、モデルがアーキテクチャやオートエンコーダを共有している最も困難なシナリオにおいても、信頼性の高い非侵入的な属性特定が可能になることを論じている。