Training-Free Debiasing of Diffusion Models via CLIP-Guided Denoising Optimization

技術要約：CLIP誘導型デノイジング最適化による拡散モデルの学習なしのデバイアス（偏り除去）

問題提起
Stable Diffusionのようなテキストからの画像生成（T2I）拡散モデルは、高品質な画像を生成する一方で、しばしば顕著な人口統計学的バイアスを示す。中立的なプロンプト（例：「CEOの写真」）を受け取ったとしても、これらのモデルは一貫して性別や人種に関するステレオタイプな表現を生成し、既存の社会的バイアスを強化し、特定のグループの体系的な過小表現を招いている。既存の解決策には決定的な限界がある。学習ベースのアプローチ（再学習やファインチューニング）は計算コストが高く、デプロイ済みまたはクローズドソースのモデルに適用することが困難である。一方、推論時の手法は、ヒューリスティックなプロンプトエンジニアリングや静的な潜在空間の操作に依存することが多く、画像の品質や意味的な整合性を低下させたり、動的な適応性に欠けたりする。

手法：テキスト埋め込みステアリング（TES）
著者らは、拡散プロセス中にモデルのパラメータを変更することなく、条件付きテキスト埋め込みを直接最適化することで人口統計学的バイアスを軽減する、学習なしのフレームワークであるText Embedding Steering (TES) を提案している。TESを駆動する核心的な観察は、人口統計学的属性は、画像のグローバルな構造が形成されるデノイジングの初期段階で主に決定されるという点にある。

この手法は、DDIMサンプリングを用いた標準的なClassifier-Free Guidance (CFG) パイプラインに統合された、2段階の最適化戦略を通じて動作する。

1. 初期段階のグローバルアライメント（Global Alignment）: 細かな視覚的詳細が現れる前に、TESはテキスト埋め込みに対して初期の勾配更新を行い、グローバルな生成軌道を、あらかじめ定義されたターゲットとなる人口統計学的分布へと誘導する。
2. 反復的なデノイジング時リファインメント（Refinement）: 初期のアライメントに続き、TESは後続のデノイジングステップを通じて埋め込みを継続的に洗練させる。このリファインメントは、各タイムステップで再構成された中間的な「クリーン画像」の推定値（$\hat{x}_0$）から得られるCLIPベースのフィードバックを利用する。

最適化目的関数
TESは、元のテキスト埋め込み（$e_0$）に対する加法的摂動（$\Delta e$）を最適化し、$e_t = e_0 + \Delta e$ となるようにする。最適化は、再構成された画像が意味的に意味を持ち、かつ軌道が柔軟な状態を維持できる特定のタイムステップウィンドウにおいて、以下の合成損失関数（$L_{total}$）を最小化する：

• 属性損失（$L_{attr}$）: 生成された画像が、ターゲットとなる属性の説明（例：「女性」）と一致し、かつ対照的な属性（例：「男性」）とは反対であることを、CLIPコサイン類似度を用いて促す。
• 職業損失（$L_{prof}$）: モデルが意図した主題から逸脱することを防ぐため、元のプロンプト（例：「CEO」）の意味的内容を保持する。
• 正則化（$L_{reg}$）: 埋め込みの摂動に対する$L_2$ペナルティであり、元の埋め込みからの過度な逸脱を防ぐ。

本フレームワークは、タイムステップに基づいて学習率を動的に調整し、高ノイズフェーズでは小さな更新を適用し、信頼できる意味情報が得られるにつれて強度を高める。

主な貢献

1. 学習なしのフレームワーク: TESは、モデルの再学習、ファインチューニング、または補助モジュールを必要とせず、推論中にテキスト埋め込みを継続的に最適化することで、人口統計学的バイアスを軽減する。
2. 2段階戦略: 著者らは、グローバルな軌道制御のための初期段階の介入と、安定性を維持しバイアスへの回帰を防ぐための反復的なリファインメントの両方が重要であることを特定した。
3. 動的なコンテキスト認識制御: 固定された方向や静的なマッピングに依存する手法とは異なり、TESは中間的なクリーン画像推定に基づいて埋め込みを適応させ、コンテキストに応じた人口統計学的ステアリングを可能にする。

実験結果
Stable Diffusion v2.1（および汎用性のためのv1.5）を用い、6つの職業カテゴリ（例：CEO、看護師、タクシー運転手）と2つの人口統計学的属性（性別と人種）にわたって広範な実験が行われた。

• 公平性: TESは、既存の学習なしのベースライン（LightFair、EntiGenなど）および元のStable Diffusionを大幅に上回る性能を示した。性別のデバイアスにおいて、TESはBias-O指標を0.85（ベースライン）から0.26へ、Fairness Discrepancy (FD) を0.54から0.13へと減少させた。人種のデバイアスでは、Bias-Oは0.63から0.15へと低下した。
• 品質と意味: 積極的なデバイアスにもかかわらず、TESは競争力のある画像品質を維持している。TESは最高のFIDスコア（性別で226.13、人種で228.52）と高いCLIP-Tスコアを達成しており、これはテキストと画像の強い意味的整合性を示している。本手法は、人口統計学的属性を変更しながらも、職業の意味と視覚的な一貫性を維持することに成功した。
• アブレーション研究: 実験結果は、初期段階のアライメントと反復的なリファインメントの両方が必要であることを裏付けている。片方のステージのみを使用した場合、公平性の制御が不十分になるか、あるいは意味的な整合性が不安定になる。さらに、職業保持のための損失の導入が、意図した主題を維持するために不可欠であることも示された。

意義と主張
本論文は、推論時のテキスト埋め込み最適化が、公平性を考慮した生成のための実用的かつスケーラブルな解決策であることを示している。TESは、バイアス緩和をモデルの再学習から切り離すことで、既存のデプロイ済み拡散モデルに適用可能なプラグアンドプレイのメカニズムを提供する。著者らは、本手法が従来の技術と比較して、生成物の信頼性や視覚的忠実度を損なうことなく、公平性と画像品質の間の優れたバランスを実現していると主張している。本研究は、動的でコンテキストを認識した埋め込みのステアリングが、生成AIにおける体系的な人口統計学的バイアスを削減するための有効な道筋であることを浮き彫りにしている。