技術的サマリー：DebFilter

問題定義

テキストから画像への拡散モデルは、理論的にはスコアベースの生成モデルと同等であるものの、本質的な社会的・意味的バイアスに悩まされています。これらのバイアス、特に性別、年齢、職業に関するものは、事前学習されたビジョン・ランゲージモデル（例：CLIP）から抽出されたテキスト埋め込み内に符号化されています。ノイズ除去プロセス中、これらのバイアスを含んだ埋め込みは、モデルのガイダンス機構、特にクロスアテンション層を通じて伝播・増幅されます。その結果、中立なプロンプト（例：「医者として働く人」）であっても、偏ったまたはステレオタイプな出力が生じることがよくあります。既存の軽減戦略は、通常、スコアネットワークまたはテキストエンコーダの計算集約的な再学習または微調整に依存しており、バランスの取れたデータセットと広範なリソースを必要とするため、実世界への応用における実用性が制限されています。

手法：DebFilter

著者は、テキストから画像への拡散モデルの推論段階におけるバイアスを軽減するために設計された、軽量で学習不要なフレームワーク「DebFilter」を提案します。この手法は、モデルの重みを変更するのではなく、クロスアテンション機構内の値成分を選択的に調整することで動作します。

中核メカニズム

1. 値調整によるバイアス補正: この手法は、各ノイズ除去ステップにおけるモデルの誤差予測が主にクロスアテンションのダイナミクスに影響を受けることを観察します。具体的には、条件付け埋め込み $c$ がキーと値の表現を定義します。DebFilter は、元の条件付け信号にバイアス補正ベクトル $\Delta c$ を導入します。
2. クロスアテンションの整合: このアプローチは、中立なプロンプト $c$ のクロスアテンション出力を、明示的なバイアス補正プロンプト $c'$（例：「医者」と「女性の医者」を整合させる）の出力と整合させることを目指します。
   • ノイズ除去予測 $\hat{\epsilon}_\theta(z_t, c)$ は、クロスアテンション出力の関数として扱われます。
   • この手法は、特定のトークンインデックス $m$（バイアスのある概念に対応）に対して、最小二乗最適化問題を解くことで、ターゲット値ベクトル $\hat{v}_m$ を計算します。この最適化は、ソースのクロスアテンション出力と、明示的なプロンプトから導かれたターゲット出力との差を最小化します。
3. 統合ガイダンス推定: U-Net には、異なる深さとヘッドを持つ複数のアテンションブロックが含まれているため、この手法は各層および各ヘッドに対してターゲット値ベクトルを独立して推定します。これらの推定値は、重み付き最小二乗回帰を用いて集約され、統合されたバイアス除去埋め込み $c^{new}_m$ が導き出されます。
4. 安定したバイアス除去ガイダンス（DebFilter）: スケーラビリティを確保し、すべてのプロンプトに対して補正を計算することを避けるため、この手法は複数のプロンプトにわたってオフセット $\Delta c = c^{new}_m - c_m$ を計算し、それらを平均化します。この平均化されたオフセット、すなわちDebFilterは、ターゲット概念を含む任意のプロンプトに適用可能な、安定した普遍的な補正方向として機能します。
5. 推論時適用: 推論中、この固定されたオフセットは条件付け埋め込みに加算されます。この手法は、粗い構造や高レベルの属性が決定される初期のノイズ除去ステップ（通常、最初の 2 ステップ）に焦点を当て、バイアス補正が後のテクスチャやスタイルの微調整に干渉しないようにします。

主要な特徴

• 学習不要: 追加データやモデルの更新を必要としません。
• 微細な制御: 特定のトークンインデックスを特定することで、複数のオブジェクトが描かれたシーンにおいてオブジェクトレベルの制御を可能にします（例：「医者」の性別を変更しつつ「看護師」は変更しない）。
• 可逆性: 補正ベクトルを反転（符号を変更）させることで、フィルタを逆方向に適用できます（例：男性から女性へ、または女性から男性へ）。

主要な貢献

1. 学習不要なバイアス除去: 推論中にクロスアテンション機構を調整することでバイアスを軽減し、再学習の必要性を排除する、Stable Diffusion 向けの手法の導入。
2. オブジェクトレベルの制御: 複数のオブジェクトが描かれた画像における標的制御の実証。特定の概念のバイアスを除去しつつ、空間的一貫性や他の属性を保持することを可能にします。
3. 実用的なスケーラビリティ: モデルアーキテクチャを変更したり、各新しいアプリケーションのためにキュレーションされたバイアス除去データセットを必要としたりすることなく公平性を向上させる、柔軟なアプローチの提示。

実験結果

著者は、性別および年齢バイアス指標を用いて、Stable Diffusion v2.1（特定の比較には SDXL）上で DebFilter を評価しました。

• 性別バイアスの軽減:
  • 87 の職業（58 の男性優位、29 の女性優位）で評価。
  • バイアス比率（$\Delta$）: DebFilter は、職業全体における 50% の性別バランスからの正規化された絶対偏差を大幅に減少させ、TIME、UCE、MIST などのベースラインを上回りました。
  • 遷移スコア（TS）: この手法は、ターゲット比率（例：0.5）に近い遷移スコアを達成し、バイアス除去サンプルの割合に対する精密な制御を実証しました。
  • 歪み（Skew）: DebFilter は、他の手法と比較して最も低い SKEW スコア（62.1）を達成し、職業全体におけるよりバランスの取れた性別分布を示しました。
  • CLIPScore: バイアス除去された画像はテキストプロンプトとの高い整合性を維持しており、しばしばバニラモデルの CLIPScore と同等かそれ以上であり、意味的忠実度が保持されていることを確認しました。
• 年齢バイアスの軽減:
  • 特定の年齢層に関連する職業（例：「時計職人」対「バリスタ」）の年齢バイアスを成功裡に軽減しました。
  • この手法は、動作や背景を保持しつつ、髪型や肌質感などの視覚的属性を自然に調整しました。
• 複数オブジェクトのシナリオ:
  • 単一のプロンプト内の異なるオブジェクトに対して異なるバイアス除去フィルタを適用する能力を実証しました（例：「医者と看護師」）。これにより、他のオブジェクトに影響を与えることなく、特定のエンティティの性別表現を反転させることに成功しました。

意義と主張

本論文は、DebFilter が、公平でより包括的なテキストから画像への生成に向けたスケーラブルかつ効率的な道筋を提供すると主張しています。完全に推論時に動作することで、大規模モデルの再学習に伴う計算上の非現実性に対処しています。著者は、この手法がバイアス除去の強度に対する微細で解釈可能な制御を提供しつつ、生成出力の意味的忠実度を維持することを強調しています。

その意義は、テキストガイダンスへの微妙な摂動が、潜在的なバイアスを抑制するためにスコア関数のランドスケープを効果的に再形成し得ることを実証した点にあります。著者は、DebFilter をデータセットのキュレーションやモデルの再学習の代替手段としてではなく、展開された生成モデルにおける社会的バイアスを軽減するための実用的かつ即効性のある解決策として位置づけています。また、この手法は民族性や文化的属性などの他のバイアス概念にも拡張可能であると指摘していますが、現在の実験は性別と年齢に焦点を当てています。

論文は、制御されたガイダンス調整が、社会的責任ある AI 駆動の創造性のための強力なメカニズムを提供し、追加学習のオーバーヘッドなしに生成モデルの包括性と制御性を前進させることを結論付けています。