技術要約：One-and-Onlyなアライメントを強化するための、中間テキスト表現に導かれたテキスト画像生成

1. 問題提起

テキスト画像（T2I）拡散モデルは、明示的なテキスト記述を忠実にレンダリングすることに頻繁に失敗する。特に、それらの記述がモデルの強力に学習された視覚的事前知識（visual priors）と矛盾する場合である。この現象は**概念連合バイアス（concept association bias）**と呼ばれる。このバイアスは、One-and-Only (OAO) エンティティ、すなわち単一の標準的な形態を持つオブジェクト（例：地球、モナ・リザ、エッフェル塔）において最も深刻である。これらのエンティティに対しては、モデルに深く刻み込まれた視覚的アイデンティティが、明示的なテキストの指示（例：「灰色の地球」や「編み物で作られたモナ・リザ」の生成失敗）を上書きしてしまう。

著者らは、この失敗はテキストエンコーダーの情報理論的特性に起因すると仮定している。エンコーダーの初期レイヤーでは単純な概念が出現するものの、条件付けに使用される最終的なテキスト埋め込みは、過度な抽象化を通じて特定の概念レベルの情報を破棄してしまう。その結果、入力テキストと最終的な埋め込みとの間の相互情報量は、中間隠れ状態のそれよりも低くなり、デノイジング過程における特定の属性の抑制につながる。

2. 手法：IR誘導型拡散（IR-Guided Diffusion）

本論文は、テキストエンコーダーの中間隠れ状態を条件付け信号に注入することで、抑制された概念を回復させる、トレーニングフリーかつ最適化不要の手法である中間テキスト表現（Intermediate Text Representation: IR）誘導型拡散を提案している。

2.1 理論的基礎

情報理論的な観点を用いて、著者らは概念欠落の問題を定式化している。彼らは、オブジェクト $A$ を属性 $b$ で記述するテキストプロンプト $Y$ に対して、生成された潜在変数 $x_t$ は、$A$ が考慮された後では $b$ に関する情報をほとんど含まなくなる（$I(b; x_t | A) \approx 0$）ことを示している。
テキストエンコーダーをマルコフ連鎖 $Y \rightarrow c_h \rightarrow c_f$ （ここで $c_h$ は中間表現、$c_f$ は最終的な埋め込み）として分析することにより、**データ処理不等式（Data Processing Inequality: DPI）**を適用する。これにより、入力テキストと中間表現との間の相互情報は、最終的な埋め込みのそれ以上であることを証明する：
$$I(Y; c_h) \ge I(Y; c_f)$$
著者らは、$c_h$（または $c_h$ と $c_f$ の組み合わせ）でデノイジング過程を条件付けることが、$c_f$ で失われた属性固有の情報を保持すると主張している。

2.2 注入メカニズム

本手法は、中間表現を最終的な埋め込みに加えることで、IR誘導型埋め込み $\tilde{c}$ を構築する：
$$\tilde{c} = c_f + \lambda c_h$$
ここで $\lambda \in [0, 1]$ は注入強度を制御する。互換性を確保するため、中間表現 $c_h$ は、その分布を $c_f$ に合わせるために、テキストエンコーダーの最終レイヤーのレイヤー正規化（Layer Normalization）を受ける。この修正された埋め込み $\tilde{c}$ が、スコア関数 $\nabla_{x_t} \log p_\theta(x_t | \tilde{c})$ の計算に使用される。

このアプローチは、中間状態をすべてのエンコーダーから抽出し、それらを結合して最終的な埋め込みに加算することで、単一エンコーダーアーキテクチャ（Stable Diffusion 2.1など）とマルチエンコーダーアーキテクチャ（Stable Diffusion 3.0など）の両方をサポートしている。

2.3 適応型スケジューリング

中間表現をデノイジング過程全体にわたって注入することは、アーティファクトを導入する可能性がある。著者らは、拡散モデルが初期ステップでグローバルな構造を確立し、後半のステップで細部を精緻化することを観察している。したがって、最適な遷移点 $t^*$ を決定するために**適応型スケジュラー（Adaptive Scheduler）**を採用している：

1. 初期ステップ ($t > t^*$): モデルは $\tilde{c}$（中間誘導）によって条件付けられ、グローバルな構造を確立し、抑制された属性を取り込む。
2. 後半ステップ ($t \le t^*$): モデルは詳細の精緻化のために、標準的な最終埋め込み $c_f$ に戻る。

遷移点 $t^*$ は、推定されたクリーンな画像 $\hat{x}_{0|t}$ の構造的加速 $\Delta D_t$ を監視することによって動的に決定される。スケジューラーは、構造の変化が安定したとき（$\Delta D_t \le 0$）に注入を停止する。

3. 主な貢献

1. 情報理論的分析: 本論文は、最終的なテキスト埋め込みが中間レイヤーに存在する概念レベルの情報を破棄し、デノイジングプロセスで利用可能な相互情報を減少させていることを特定した。
2. IR誘導型拡散: 中間テキスト表現をデノイジングの初期ステップにおいて条件付け信号に注入する、新しいトレーニングフリーの手法。これは、外部モデルや定義済みの概念セット、あるいは追加の最適化を必要とせずに、抑制された概念を回復する。
3. OAO-AttackBench: 天体、ランドマーク、芸術作品の3つのカテゴリにわたり、OAOエンティティの核となる視覚的アイデンティティを攻撃するように設計された504個の反事実的プロンプトからなる新しいベンチマーク。このベンチマークは、概念連合バイアスを体系的に評価する。

4. 実験結果

本手法は、Stable Diffusion 2.1および3.0を用い、4つのベンチマーク（OAO-AttackBench、Whoops、Gecko(R)、Gecko(S)）で評価された。

• テキスト画像アライメント: IR誘導型拡散は、OAO-AttackBenchにおいて、ベースラインと比較してVQAScoreで最大19.1パーセントポイントの向上を達成した。微細な属性を捉える能力において、ベースラインや代替のポストプロセッシング戦略（例：平均・標準偏差正規化、直交投影）を一貫して上回った。
• 忠実度と人間による嗜好性: 本手法は生成の忠実度を維持しており、Kernel Inception Distance (KID) スコアはベースラインと同等またはそれ以上であった。人間による嗜好性スコア（HPSv2およびHPSv2.1）も向上しており、生成された画像がプロンプトに対してより忠実であるだけでなく、視覚的にも妥当であることを示している。
• 汎用性: Geckoのような一般的なデータセットにおいて、本手法はベースラインと同等の性能を維持しており、標準的なプロンプトに対して品質を低下させないことを示した。
• 定性的改善: 本手法は、オブジェクトのアイデンティティを維持しながら、強力な事前知識を上書きすることに成功した（例：「ガラス製の土星」や「八角形の地球」の生成）。一方で、ベースラインはしばしば属性を無視するか、あるいは正しいオブジェクトに関連付けることに失敗していた。

5. 意義と主張

本論文は、IR誘導型拡散が、現在のT2Iモデルにおける根本的な限界、すなわち再学習なしにOAOエンティティの深く根付いた視覚的事前知識を上書きできないという問題に対処することを主張している。テキストエンコーダーの中間状態という「未利用の内部リソース」を活用することで、本手法は追加のトレーニングや外部モデルを必要としない、実用的な推論時のソリューションを提供する。

著者らは、自身のアプローチが、特徴量を除去したり多様性を導入したりすることを目的とする先行研究とは異なり、モデルが通常は抑制してしまう、明示的に指定された概念を生成するという補完的な問題を解決するものであることを強調している。OAO-AttackBenchの導入は、将来の研究において概念連合バイアスを評価し対処するための厳格なプロトコルを提供するものである。本手法は、最先端の拡散モデルの高い生成品質を維持しながら、アライメントを向上させる堅牢で適応的な戦略として提示されている。