技術概要：SafeDiffusion-R1

問題定義

大規模なウェブデータで訓練されたテキストから画像への（T2I）拡散モデルは、視覚コンテンツの生成を民主化したが、同時に安全でないおよび露骨な関連性を無意識に内部化してしまった。既存の安全対策には重大な限界がある：

1. データ不足とコスト: 教師あり微調整（SFT）またはオフライン強化学習（RL）に依存する手法は、安全/安全でない画像 - テキストペア、または否定的/肯定的な画像ペアの、高価でキュレーションされたデータセットを必要とし、スケーリングが困難である。
2. 破滅的忘却: 合成データを生成するか固定データセットに依存するオフライン手法は、しばしば破滅的忘却に陥り、モデルの一般的な生成能力と構成的品質を劣化させる。
3. 静的監督: 現在のパラダイム（SFT とオフライン RL）は、固定された例または事前に生成されたデータに対して最適化する。それらは、訓練中に動的に現れる安全でないコンテンツを追跡・抑制するために、訓練信号をモデルの進化する生成行動に適応させることができない。
4. 報酬モデルのオーバーヘッド: 多くの安全アライメント手法は、画像を安全または安全でないものとして分類するために、専門の報酬モデルの訓練または微調整を必要とし、追加の計算オーバーヘッドを導入する。

手法

著者らは、教師あり対データや専門の報酬モデルの微調整なしに、拡散モデルを安全制約に整合させるために設計されたオンライン強化学習フレームワークであるSafeDiffusion-R1を提案する。このフレームワークは、2 つの中核コンポーネントを統合する：

1. GRPO によるオンライン方策最適化

この手法は、訓練アルゴリズムとして**グループ相対方策最適化（GRPO）**を採用する。標準的な PPO やオフライン RL と異なり、GRPO はオンポリシーで動作する：

• 動的サンプリング: モデルは訓練中に、 benign（安全）なプロンプトと安全でないプロンプトの両方から画像サンプルを継続的に生成する。
• グループベースのアドバンテージ: 各プロンプトに対して、$K$個の独立したサンプルが生成される。アドバンテージはグローバルではなく、グループ内で正規化される（$A_{i,k} = \frac{r_{i,k} - \bar{r}_i}{\sigma_i + \delta}$）。これにより、benign プロンプトと安全でないプロンプト間の報酬スケールの不一致が軽減され、過補正を防ぎ、現在の方策の分布に対する安定した更新を確保する。
• オンポリシー学習: 安全最適化をモデルの進化するサンプリング分布と結合することで、この手法は分布のミスマッチを回避し、安全でない概念を漸進的に忘却しながら、一般的な生成能力を維持する。

2. 幾何学的認識型ステアリング報酬

安全/安全でない分類器または報酬モデルを別途必要としないために、著者らは CLIP 埋め込みの幾何学的性質を利用するステアリング報酬メカニズムを導入する：

• 安全方向ベクトル（$v_{safe}$）: 小さな安全なテキストアンカー（$T_{safe}$）と安全でないテキストアンカー（$T_{unsafe}$）の平均埋め込みの正規化された差として、テキスト埋め込み空間に単位ベクトルが計算される：
  $$v_{safe} = \frac{\bar{z}_{safe} - \bar{z}_{unsafe}}{\|\bar{z}_{safe} - \bar{z}_{unsafe}\|_2}$$
• 条件付きステアリング: 入力プロンプト $c$ に対して、テキスト埋め込み $z_T$ を $v_{safe}$ に射影する。プロンプトが安全でないものとして識別された場合（負の射影）、埋め込みは幾何学的に安全な方向へステアリングされる：
  $$z'_T = \text{normalize}(z_T + \alpha v_{safe})$$
  ここで、$\alpha$ はステアリング強度のハイパーパラメータである。
• 報酬計算: 報酬は、安全でないプロンプトの場合は画像埋め込み（$z_I$）とステアリングされたテキスト埋め込み（$z'_T$）との間のコサイン類似度として計算され、安全なプロンプトの場合は元のテキスト埋め込みとして計算される。これにより、モデルが「安全でないプロンプトを理解した」ことに対して明示的に罰を与えることなく、安全な意味属性への整合を促すように最適化信号が再構成される。

主要な貢献

1. オンライン方策定式化: この論文は、T2I 拡散モデルの安全アライメントをオンライン方策最適化問題として定式化し、安全学習をモデルの進化する生成分布と結合して破滅的忘却を防ぐ、GRPO ベースのフレームワークを導入する。
2. ステアリング報酬メカニズム: 安全を CLIP 埋め込み空間内の方向として表現する、新しい幾何学的認識型報酬が提案される。これにより、専用の安全/安全でない報酬モデルの訓練や教師あり対データへの依存なしに、概念抑制が可能となる。
3. 実証的検証: 広範な実験により、このフレームワークは、構成的生成品質を維持または向上させながら、安全ベンチマークにおいて教師あり微調整やオフラインアライメント手法を上回る性能を示すことが実証された。

実験結果

この手法は、I2P ベンチマーク（ヌード検出）と GenEval（構成的有用性）を使用して、Stable Diffusion v1.4 上で評価された。

• 安全性能:
  • ヌード検出: SafeDiffusion-R1 はヌード検出数を15に削減した（ベースラインの SD v1.4 は 646、RECE ベースラインは 66）。
  • 不適切なコンテンツ: この手法は、不適切なコンテンツの全体的な発生率を**18.07%**に削減した（SD v1.4 は 48.9%）。注目すべきは、主にヌードに焦点を当てたプロンプトで訓練されたにもかかわらず、7 つの有害カテゴリー（ヘイト、ハラスメント、暴力、自傷、性的、衝撃的、違法行為）全体で強力な性能を達成し、分布外（OOD）の汎化能力を示した点である。
• 有用性の維持:
  • 構成的品質: 有用性を劣化させるベースラインとは異なり、SafeDiffusion-R1 は GenEval スコアを（SD v1.4 の）**42.08%から47.83%**に向上させた。
  • 視覚忠実度: 定性的分析により、モデルは構造的完全性、顔の詳細、照明の一貫性を維持し、EraseDiff や ESD などの手法で観察される歪み、過剰平滑化、または意味的不整合を回避していることが示された。
  • CLIP スコア: モデルはベースラインに近い CLIP-T スコアを維持した（0.311 対 0.313）、指示追従が維持されていることを示している。

意義と主張

この論文は、SafeDiffusion-R1 が拡散モデルにおける安全と有用性の間の重要なトレードオフに対処すると主張する。オンライン GRPOと幾何学的ステアリングを利用することで、このアプローチは以下の点を実現する：

• データ依存性の排除: 高価でキュレーションされた教師安全データセットの必要性を排除する。
• 報酬モデルオーバーヘッドの回避: 専門の報酬分類器の訓練にかかる計算コストを回避する。
• 安定性の確保: オンポリシー定式化とグループ相対正規化により、破滅的忘却と分布の崩壊を防ぐ。
• 堅牢な汎化: 狭い範囲の安全でない概念で訓練された場合でも、多様な有害カテゴリーにわたる分布外（OOD）の安全でないプロンプトに対して、最先端の安全性能を達成し、堅牢に汎化する。

著者らは、この研究を、ゼロから再訓練することなく事前訓練済みモデルを直接調整して安全でない概念を抑制し、Stable Diffusion のような公開システムと互換性を保つ、実用的な事後訓練修正戦略として位置づけている。