Cyclic Denoising Reveals Ultrastable Memories in Diffusion Models

技術要約：循環的デノイジングによる拡散モデル内の超安定メモリの解明

問題提起
大規模な生成モデル、特に拡散モデルは、大規模なウェブスケールのデータセットで学習されており、著作権のある芸術作品、独自のメディア、機密性の高い個人データなどの特定の学習例を保持・再現するリスクがあります。既存の抽出攻撃（例：「生成とフィルタリング」）は、既知の学習キャプション、学習セットへのアクセス、あるいは補助的な分類器といった外部信号に大きく依存しています。これらの手法は、大規模な生成とその後の事後的なフィルタリングやメンバーシップ推論を必要とすることが多く、学習データの知識やプロンプトを必要とせず、重みの検査や勾族へのアクセスなしに動作できる抽出手法が求められています。

手法：循環的デノイジング（Cyclic Denoising）
著者らは、駆動された無秩序系（具体的にはランダム組織化および機械的アニーリング）の物理学に着想を得たプロトコルである循環的デノイジングを導入しています。この手法は、拡散モデルを単なるサンプラーとしてではなく、動的システムとして扱います。

1. プロトコル: 初期状態（画像または潜在変数）から開始し、モデルは以下のサイクルを繰り返します。

   • 前方ノイジング（Forward Noising）: 制御された中間振幅 $\gamma$（ここで $\gamma \in [0, 1]$ は推論軌跡の辿られた割合を表す）まで、状態にノイズを付加します。
   • 逆方向デノイジング（Reverse Denoising）: 状態をクリーンな画像（$\gamma=0$）へと完全にデノイズします。
   • 反復（Iteration）: 1つのサイクルの出力が次のサイクルの初期値となり、各サイクルの終了時に観測されるストロボスコピックな軌跡を作成します。

2. 制御パラメータ: 循環振幅 $\gamma$ は、駆動振幅として機能します。低い $\gamma$ は弱い摂動を与え、高い $\gamma$ は強い摂動を与えます。このプロセスは、各ステップで新鮮なガウスノイズを用いる標準的なサンプラー（DDPM）を使用しており、確率的な循環駆動プロセスとなります。

3. 検出メカニズム: 著者らは、連続するストロボスコピックな状態（$z_n$ と $z_{n-1}$）間のコサイン類似度を監視します。

   • 吸収エピソード（Absorbing Episodes）: 類似度が1に近い長いプラトー（停滞）は、軌跡が安定したアトラクターの盆地（アトラクタ・ベイスン）にロックされたことを示します。
   • ベイスン・ホッピング（Basin Hopping）: 類似度の急激な低下は、盆地間の遷移を示します。
   • 超安定性（Ultrastability）: 深刻な破損（高い $\gamma$）の後でも、数百から数千サイクルにわたって持続するアトラクターは、「超安定」であると特定されます。

主な貢献

1. 生成的景観の動的プローブ: 本論文は、循環的デノイジングを、生成的な景観を横断するための物理学に触発されたツールとして確立しています。独立した点を描画する標準的なサンプリングとは異なり、この手法はサンプリングを $\gamma$ によって制御される動的システムへと変え、モデルの安定構造を明らかにします。
2. 長時間ダイナミクスの特性評価: 著者らは、豊かなダイナミクス挙動のスペクトルを特定しました。
   • 自明な吸収状態: 低振幅では、軌跡は特徴のない固定点またはリミットサイクル（振動パターン）へと崩壊します。
   • ベイスン・ホッピング: 中間振幅では、システムは景観を探索し、盆地間をホッピングします。
   • 超安定アトラクター: 高振幅では、システムは深く、長寿命のアトラクターに落ち着き、変化に抵抗します。
3. 降伏のような遷移（Yielding-Like Transition）: 本研究は、無秩序な固体における降伏に類似した遷移を示しています。$\gamma$ が増加するにつれ、システムは「スタック」フェーズ（吸収状態）から探索フェーズ（ベイスン・ホッピング）へと移動し、最終的に最も深いアトラクターを孤立させます。
4. プロンプトフリーの抽出攻撃: 著者らは、これら多くの深い超安定アトラクターが、記憶された学習画像（例：ストックフォト、ブランドの透かし、ウェブクロールのアーティファクト）に対応していることを示しています。これは、サンプラーレベルの制御のみを必要とし、学習データへのアクセス、キャプション、あるいは勾配を必要としない抽出攻撃を構成します。
5. 記憶の診断としての安定性: プロンプト条件付きの設定において、著者らはプロンプトを取り除いて循環を継続することで、回収された画像の固有の安定性を明らかにできることを示しています。真に記憶された画像は、条件付けがない場合でもロックされた状態（超安定）を維持しますが、概念ベースの盆地は急速にデコレーション（相関消失）します。

結果

• Stable Diffusion v1.4 (潜在空間): この手法は、特定のストックフォトのテンプレート（例：黄色い椅子のある部屋、白いソファ）やブランドロゴを含む、記憶された画像を正常に回収しました。逆画像検索により、これらが学習セットに存在する重複したウェブクロールのアーティファクトであることが確認されました。回収されたアトラクターは、異なるランダムシードや初期条件を超えて繰り返し現れる「動的な指紋」を形成しました。
• CIFAR-10 DDPM (ピクセル空間): この現象は、より小規模なピクセル空間モデルでも再現されました。循環的デノイジングは、システムを記憶されたCIFAR-10の学習画像（例：特定の車）へと導き、これらは既知の記憶ベンチマークに対して検証されました。ダイナミクスは、「二準位系」の挙動を示し、記憶された画像とその水平反転バリアントの間をホッピングしました（おそらく学習時の拡張によるもの）。
• 振幅依存性:
  • 低 $\gamma$: 自明な固定点またはリミットサイクル。
  • 中間 $\gamma$: 単純で繰り返されるアーティファクト（ロゴ、ウェブテンプレート）。
  • 高 $\gamma$: 豊かで複雑な記憶された画像（製品写真、詳細なシーン）。
• プロンプト除去実験: 既知の記憶プロンプトを用いて循環を行うと、システムは記憶された画像へと収束しました。プロンプトを取り除いた場合でも、これらの画像は超安定（数千サイクルにわたって持続）していましたが、非記憶概念のプロンプト（例：「Abbey Road」）は、プロンプト除去直後にデコレーションする変動する概念アトラクターとなりました。

意義と主張
本論文は、循環的デノイジングが記憶を調査するための新しい動的な経路を提供すると主張しています。記憶された例は、標準的なサンプリングにおける単なる稀な出力ではなく、循環的な摂動によって駆動されない限り、めったに訪問されることのない、深く、超安定したアトラクターであると断じています。

• プライバシーと監査: この手法は、学習セットに関する知識や特定のプロンプトを必要とせずに、著作権保護されたコンテンツや機密性の高い学習内容を特定できる、実用的な記憶監査ツールとして機能します。
• 脅威モデル: 著者らは、標準的なサンプリングは記憶のリスクを大幅に過小評価している可能性があると主張しています。サンプラーレベルのアクセスを持つ攻撃者は、循環的な強制を用いることで、通常の操作中には隠されている機密コンテンツを抽出することができます。
• 物理学との接続: 本研究は、生成AIと統計物理学を橋渡しし、拡散モデルにおける学習された表現の安定性が、駆動された無秩序固体に見られる降伏遷移を反映していることを示しています。

著者らは、この攻撃にはサンプラーレベルの制御が必要であること（最終サンプルのみを返す標準的なAPIエンドポイントには適用されない）、およびアトラクター分布の体系的な特性評価（例：回収可能な全記憶データの割合）にはさらなる定量的調査が必要であることを述べ、限界についても謙虚な姿勢を保っています。