技術要約: CO-ALIGN – コンセプトグラフを用いたT2I拡散モデルにおける効率的なバイアス緩和

1. 問題提起

テキスト-to-画像（T2I）拡散モデルは、学習コーパス（例：LAION-5B）から継承された人口統計学的バイアス（性別、人種、年齢）を系統的に再現し、増幅させる。これらのバイアスは単なる表面的なアーティファクトではなく、バイアスのある概念がステレオタイプな属性と不釣り合いなほど大きなニューラル基質を共有しているという、モデルの学習された概念連合における構造的な特性である。

既存のバイアス緩和技術は、通常、生成パイプラインのいずれか一つのレベルにのみ介入する：

• テキストエンコーダーのみ: 埋め込みを微調整したり、推論時の信号をステアリング（制御）したりして、バイアスのある方向性を除去する。しかし、これによりデノイザーの内部概念構成は変化しない。その結果、デノイザーは一貫した解釈ができないアウト・オブ・ディストリビューション（分布外）の条件付け信号を受け取ることになり、意味的に不整合な出力を引き起こす。
• デノイザーのみ: クロスアテンションの重みや潜在空間を編集してプロンプトを再ルーティングする。しかし、テキストエンコーダーは、指定の不十分なプロンプト（例：「看護師」）を依然としてバイアスのある属性の埋め込みへとルーティングし続けるため、デノイザー側での修正を部分的に無効化してしまう。

特定された核心的な問題は、テキストエンコーダーとデノイザーを独立した修正対象として扱うことは最適ではないということである。一方を修正しても他方を修正しなければ、両者の幾何学的整合性が崩れ、「公平性の向上と意味的一貫性の低下」というトレードオフが生じる。

2. 手法: CO-ALIGN

著者らは、CO-ALIGN (Concept Ontology Alignment) を提案する。これは、両方のコンポーネント（テキストエンコーダーとデノイザー）の内部概念オントロジーをターゲットとなるトポロジーへと整列させることで、バイアスを緩和するフレームワークである。中心となる仮説は、バイアスは個々の表現ではなく「概念間の関係」に存在しており、効果的なデバイアスにはコンポーネント間の共同的な幾何学的調和が必要であるという点にある。

A. コンセプトグラフの抽出

CO-ALIGNは、ノードが概念を表し、エッジが共有されるニューラル基質の強さを表す、重み付きコンセプトグラフ ($G$) を両方のコンポーネントに対して構築する。

• テキストエンコーダー・グラフ ($G_{TE}$): 概念語彙 $C$ に対する、$L_2$ 正規化された平均プーリングによる最終隠れ状態埋め込みのペアごとのコサイン類似度によって定義される。
• デノイザー・グラフ ($G_U$): 「コンセプトニューロン・フィンガープリント」を用いて定義される。著者らは、特定の概念にとって重要となるクロスアテンション投影行列 ($W^K, W^Q, W^V$) 内の疎なパラメータのサブセット（コンセプトニューロン）を特定する。グラフのエッジは、これらのニューロンのマスクされた勾配プロファイル（フィンガープリント）の、レイヤーおよびヘッドを横断した平均コサイン類似度として計算される。

B. 整列目的関数

本フレームワークは、現在のコンセプトグラフ ($A$) を、望ましいトポロジー（例：「看護師」と「男性看護師」および「女性看護師」の近接性を等しくする）をエンコードしたターゲット隣接行列 ($A_{GT}$) へと整列させる。

• 微分可能なランキング損失 ($L_{rank}$): 監督された概念のサブセットに対して行方向（row-wise）に作用する。現在の類似度ランキングを、 $A_{GT}$ から導出されたハードなランク目標に合わせるために、微分可能なシグモイドによるペア比較を用いたソフトランクを使用する。
• 静的アンカー損失 ($L_{anchor}$): 「アンカー」概念（特定の属性バリアントなど）のドリフトを防ぐため、整列前の表現からの偏差にペナルティを課す。
• 保存損失 ($L_{pres}$): 参照ペアに対する標準的なノイズ予測損失であり、編集範囲外の概念に対する破滅的忘却を防ぐ。

全目的関数は $L = \delta \cdot L_{rank} + \gamma \cdot L_{pres} + L_{anchor}$ である。整列は逐次的に行われる：まずテキストエンコーダーに対して行われ、次に（更新された幾何学に合わせて再校正された）デノイザーに対して行われる。

C. 創発的特性: ネイバーフッド伝播 (Neighborhood Propagation)

主要な知見として、監督された概念を整列させると、直接的な監督なしにその意味的な近傍（neighborhood）がターゲットのトポロジーへと引き寄せられることが挙げられる。この「ラベル伝播」効果は、グラフベースの半教師あり学習に類似しており、未学習の対象から回避される（unlearnを回避しようとする）アドバーサリアルなバイパス概念に対しても、それらを未学習対象の局所半径内に取り込むことで対処することを可能にする。

3. 主な貢献

1. 単一コンポーネントの失敗の診断: 本論文は、単一コンポーネントのデバイアス手法（エンコーダーのみ、またはデノイザーのみ）が、公平性と生成の一貫性の間で必然的にトレードオフを生じさせ、残留バイアスを残すか、あるいは不整合な出力を生成することを実証している。
2. CO-ALIGN フレームワーク: テキストエンコーダーとデノイザーの両方からコンセプトグラフを抽出し、それらの間の幾何学的調和を維持しながら共同で整列させる新しいアプローチを提案する。
3. 優れた性能: CO-ALIGNは、高い画像品質と意味的一貫性を維持しながら大幅なバイアス低減を実現することで、最先端の手法を凌駕する。
4. 堅牢なアンラーニングへの応用: 「ネイバーフッド伝播」効果を活用することで、事後的なコンセプト・アンラーニング技術の敵対的堅牢性を大幅に向上させ、アンラーニングの手順を変更することなく、バイパスプロンプトに対して効果的に機能させる。

4. 実験結果

実験は Stable Diffusion v1.5 を用い、4つの職業（看護師、医師、消防士、受付係）と3つの人口統計学的軸（性別、人種、年齢）に対して行われた。

• 公平性: CO-ALIGNは最も低い公平性格差（Fairness Discrepancy: FD）スコアを達成し、次点のベースラインと比較して、ジェンダーに関する公平性で 30%、人種に関する公平性で 75.4% の改善を示した。
• 画像品質: 本手法は、ベースモデルと比較して画像忠実度（CLIP-I）を 2.8% 向上させ、Fréchet Inception Distance (FID) を 11.4 低減させ、すべてのベースラインを上回った。
• 一貫性: 極めて重要なことに、CO-ALIGNはベースモデルと比較して意味的な不整合な出力を 88% 減少させた。対照的に、単一コンポーネントの手法は、公平性が向上するにつれて不整合性が急増する傾向が見られた。
• アンラーニングの堅牢性: アンラーニング（「裸体」をターゲットとする）の前段階としての整列として適用した場合、CO-ALIGNはアドバーサリアルなバイパスプロンプトの成功率を大幅に低下させた。例えば、「Creampie」というプロンプトは、ベースラインでは88〜100%のケースで裸体を生成したが、CO-ALIGNによる事前整列後は0〜32%に低下した。

5. 意義と主張

本論文は、CO-ALIGN が、バイアスを個々のパラメータの特性としてではなく、モデルの内部的な概念トポロジーにおける非対称性として捉えるパラダイムシフトを提示していると主張している。共同の整列を強制することにより、本手法は、単一コンポーネントの手法では到達できない、公平性と生成品質のパレート最適（Pareto-optimal）なバランスを実現する。

直接的なバイアス緩和を超えて、著者らは 「ネイバーフッション伝播」 を重要な創発的特性として強調している。これにより、本フレームワークは既存の安全性メカニズム（コンセプト・アンラーニングなど）を敵対的攻撃に対して強化することが可能となり、モデルのオントロジーの構造的な整列が、責任あるAI展開のための強力なツールであることを示唆している。

著者らは限界についても謙虚に述べており、デノイザーのグラフ抽出が計算集中的であること、および本手法は現在 Stable Diffusion v1.5 で検証されており、DiT や SDXL のようなトランスフォーマーベースのアーキテクチャへの適応が必要であることを指摘している。また、CO-ALIGN はバイアスを減少させるものの、ウェブスクレイピングされた学習データに内在する構造的バイアスを完全に排除することはできないことも認めている。