技術要約：推論時のプロンプト・ノイズ最適化（PNO）によるテキストからの画像生成の安全性確保

1. 問題提起

テキストからの画像生成（T2I）拡散モデルは、高品質で多様な画像を生成する能力を持つ一方で、大規模かつフィルタリングされていない学習データセットから継承されたバイアスにより、機密情報や不適切な内容を含む安全でないコンテンツを生成してしまう傾向があります。既存の安全メカニズムには、以下のような重大な限界が存在します：

• データフィルタリングと再学習： 計算コストが高く、すべての不安全なコンテンツを除去することに失敗することが多い。
• ファインチューニング： 多大なリソースを必要とし、未知のプロンプトへの汎用性に欠け、画像品質を低下させるリスクがある。
• 推論時の介入（ガイダンス/編集）： ネガティブプロンプトなどの手法は回避が容易であり、堅牢性に欠ける。
• 根本的な対立： ユーザーのプロンプトに忠実に従うことと、不安全な出力を回避することの間には、本質的な緊張関係が存在する。現在の手法はこの両方の目標をバランスよく達成できず、安全性を損じるか、意図したセマンティクスから大きく逸脱するかのいずれかになりがちである。

さらに、T2Iシステムは、安全フィルターを回避するために細工された悪意のあるプロンプトによる敵対的攻撃に対して非常に脆弱です。本論文は、モデルの広範な再学習を必要とせずに、毒性のある生成を効果的に抑制しつつ、高いプロンプト・画像整合性を維持できる、堅牢でトレーニングフリーなアプローチが存在しないという決定的なギャップを特定しています。

2. 手法：プロンプト・ノイズ最適化（PNO）

著者らは、推論フェーズで動作する新しいトレーニングフリーのフレームワークである**プロンプト・ノイズ最適化（PNO）**を提案しています。PNOは、安全な画像生成を最適化問題として扱い、拡散サンプリングプロセスの2つの基本要素を共同で調整します。

2.1. 最適化変数

モデルの重みや離散的なテキストプロンプトを変更する代わりに、PNOは連続空間において最適化を行います：

1. 連続プロンプト埋め込み ($c$)： テキストプロンプト（例：CLIP経由）の潜在表現。この連続空間での最適化により、離散的なテキスト変更と比較して、より微細なセマンティクスの制御が可能になります。
2. 注入ノイズ軌跡 ($\tau = \{x_T, z_T, \dots, z_1\}$)： デノイジングプロセス（具体的にはDDIMサンプリング）中に使用されるノイズサンプルのシーケンス。ノイズ軌跡は、低レベルの詳細と画像の具体的な実現を制御します。

2.2. 目的関数

目標は、ガウス分布の性質を保持し、かつ元のプロンプトとの整合性を維持しながら、毒性損失関数を最小化することです。最適化問題は次のように定式化されます：
$$\min_{c, \tau} L_{toxic}(x_0) + \lambda L_{reg}(\tau)$$
制約条件：
$$x_0 = \text{DDIM}(c, \tau)$$

• $L_{toxic}(x_0)$： 生成された画像 $x_0$ の不適切さを定量化する損失関数。通常、事前学習済みの画像安全性分類器（例：Q16）によって測定されます。
• $L_{reg}(\tau)$： 最適化されたノイズ軌跡が標準的なガウス分布に近い状態を維持し、生成プロセスが不安定になるのを防ぐための正則化項。
• $\lambda$： 正則化の強さを制御するハイパーパラメータ。

2.3. アルゴリズム

PNOは、勾配ベースの最適化ループ（アルゴリズム2）を採用しています：

1. 初期化： ユーザーのテキストからプロンプト埋め込み $c$ を、ランダムサンプリングからノイズ軌跡 $\tau$ を初期化する。
2. サンプリング： 現在の $c$ と $\tau$ を用いて、DDIMサンプラーを使用して画像 $x_0$ を生成する。
3. 評価： 毒性損失と正則化損失を計算する。
4. 更新： 両方の変数に対する勾配を計算し、オプティマイザ（例：Adam）を用いてそれらを更新する。
5. 終了： 毒性損失が閾値を下回るか、最大反復回数に達するまでこのプロセスを繰り返す。

2.4. 共同最適化の理論的正当性

本論文では、プロンプトのみ、あるいはノイズのみを最適化することは不十分であると主張しています：

• ノイズのみ： 低レベルの詳細しか調整できません。プロンプト埋め込みが毒性のある概念をエンコードしている場合、ノイズの摂動では高レベルのセマンティックな毒性を取り除くことはできません。
• プロンプトのみ： 毒性を取り除くことはできますが、多くの場合、埋め込み空間において大きな逸脱を必要とし、元のプロンプトとのセマンティックな整合性が著しく損なわれます。
• 共同最適化： 両方向を利用することで、ノイズ軌跡が「毒性の勾配」の一部を吸収できるようになり、プロンプト埋め込みが毒性領域から脱出するために必要な分だけ移動することを可能にします。これにより、安全性と整合性の間で優れたトレードオフが得られます。

3. 主な貢献

1. 新しいフレームワーク： モデルの再学習なしにT2Iの安全性を高めるために、プロンプト埋め込みと拡散ノイズ軌跡の両方の推論時最適化を活用する最初のアプローチであるPNOを導入した。
2. 相乗効果の発見： 安全性の目標を達成するために、プロンプト埋め込み（「何を」生成するかを制御）とノイズ軌跡（「どのように」描画するかを制御）の間の理論的および経験的な相乗効果を実証した。
3. 堅牢性： 既存の安全メカニズムを回避するために設計された敵対的攻撃に対して、PNOが堅牢であることを検証した。
4. 最適なトレードオフ： PNOが、既存の手法よりも優れたパレートフロントを形成し、画像の安全性とプロンプトの整合性をより良くバランスさせていることを示す経験的証拠を提示した。
5. 効率性： 重いリソースを必要とするファインチューニングや再学習を必要とせず、わずかな推論コストしか発生しないトレーニングフリーの手法である。

4. 実験結果

著者らは、Stable Diffusion 1.5 (SD1.5) をバックボーンとして、I2Pデータセット（自然な毒性プロンプト）およびRing-a-bellデータセット（敵対的プロンプト）を用いてPNOを評価しました。

4.1. 毒性の低減

• I2Pデータセット： PNOは、ほとんどのカテゴリにおいてほぼ100%の安全な生成を達成し、SafeGen、SalUn、UCEといったベースラインや、SLDやネガティブプロンプトのような推論時手法を大幅に上回りました。
• 敵対的堅牢性： Ring-a-bellデータセットにおいて、PNOは毒性率を0.00%（Q16指標）に減少させましたが、他の手法は苦戦し、ベースモデルと同等かそれ以上の割合で不安全な画像を生成しました。
• 汎用性： 独立した視覚言語モデル（VLM）による評価や、異なる安全性分類器（MHSC）を用いたクロスチェックにおいても一貫した結果が得られ、単一の評価器に対する報酬ハッキング（reward hacking）ではないことが示されました。

4.2. 品質と整合性

• CLIPスコア： PNOは高いCLIPスコア（テキストと画像の整合性）を維持しており、安全性の強制がユーザーのプロンプトを無視することによる犠牲を伴わないことを示しています。
• トレードオフ： PNOの設定（学習率の変更）は支配的なパレートフロントを形成し、評価された他のどの手法よりも優れた安全性と整合性のトレードオフを提供しました。
• 効率性： PNOは、プロンプトの60%以上に対して3回の反復（20秒未満）で安全な生成に到達しました。追加の学習データやモデルのファインチューニングを必要とせず、コンシューマーグレードのGPUでも効果的に動作します。

4.3. アブレーション研究

• 共同 vs 単独： ノイズとプロンプトの共同最適化は、いずれか一方のみの最適化よりも大幅に優れており、合理的な整合性を保ちながら、より少ない反復回数で毒性をほぼゼロに抑えました。
• 初期化： 初期ノイズ軌跡のランダム探索は、すべての指標においてパフォーマンスを向上させました。
• ステップサイズ： 大きなステップサイズは毒性をより速く最小化し、小さなステップサイズは整合性を優先するため、ユーザーの優先順位に応じた柔軟性を提供します。

5. 重要性と主張

本論文は、PNOがT2I拡散モデルを信頼できるものにするための重要な一歩であると主張しています。その主な意義は以下の通りです：

• トレーニングフリーの安全性： 大規模モデルの再学習やファインチューニングに伴う膨大なコストを必要としない、実用的でデプロイ可能なソリューションを提供します。
• 堅牢性： 現在のシステムにおける決定的な脆弱性である敵対的攻撃に対処し、回避が困難な防御メカニズムを提供します。
• バランスの取れた最適化： ノイズ軌跡とプロンプト埋め込みが提供する直交する制御を活用することで、安全性と有用性の衝突を解決し、従来の安全性介入では不可能であったレベルの整合性維持を実現しました。

著者らは、PNOが安全な画像生成の標準的なアプローチとなる可能性を秘めていると結論付けており、今後の課題として、推論速度の最適化と、安全性評価のためのより堅牢な目的関数の開発を挙げています。