技術要約：破滅的な組成生成（Catastrophic Compositional Generation）

問題提起

本論文は、限定的なソース分布のサブセット（$A_o$）で学習された条件付き生成モデルを用いて、それらのソース分布の幾何学的な組み合わせ（加重組成）によって定義されるターゲット分布からサンプルを生成する、**組成生成（compositional generation）**というタスクに取り組んでいる。これは、実験予算の制約により、あらゆる組み合わせの摂動（例：遺伝子ノックアウトや薬物投与量）をテストすることが困難な生物学などの分野において、特に重要となる。

著者らは、標準的な（vanilla）条件付き拡散モデルに焦点を当てている。理論的枠組みでは、密度レベルにおける分布の幾何学的組み合わせは、それらのスコア関数の線形結合に対応するとされているが、本論文は、この関係性が推論プロセスにおいて効率的に成立しないことを指摘している。具体的には、著者らは、組成を妨げる2つの明確なエラー源を特定している：

1. 推論時の近似誤差（Inference-time approximation error）： ノイズ付加と組成が可換ではないため、真の組成分布のスコアと、デノイジング中に用いられる素朴な線形結合スコアとの間に生じる不一致。
2. スコア推定誤差（Score estimation error）： ソース分布における不完全なスコア学習（$S_\theta \neq S^*$）から伝播する誤差。

中心的なテーゼは、最近の手法（Feynman-Kac Correctorなど）は第一のエラーには対処できるものの、第二のエラーが支配的になる場合、特にターゲット分布がソースの学習データに対して**分布外（OOD）**の領域にある場合には、破滅的な失敗を招くということである。

手法

著者らは、幾何学的に加重された組成を用いて組成生成タスクを定式化している。ソース分布の集合 $\{P_a\}_{a \in A_o}$ と重み $w$ が与えられたとき、ターゲット分布は以下のように定義される：
$$P_w(x) = \frac{1}{Z_w} \prod_{a \in A_o} P_a(x)^{w_a}$$
スコアレベルでは、これは $t=0$ （または特定の条件下）においてのみ $S_w(x) = \sum w_a S_a(x)$ を意味する。

失敗モードを調査するために、本論文はこれら2つのエラー源を分離する厳密な実験フレームワークを採用している：

• 理論的分析： 著者らは多変量ガウス分布を分析し、真の組成分布と素朴なデノイジングによって生成される分布の両方について閉形式の解を導出した。彼らは、ガウス分布において、素朴なデノイジングは正しい加算的／逆加算的関係ではなく、共分散の乗法的結合をもたらし、潜在的に無限の発散を招くことを証明している。
• Feynman-Kac Corrector (FKC)： 本研究では、重要度重みを追跡して推論時の近似誤差を補正する粒子ベースの逐次モンテカルロ法であるFKCを利用している。
• 実験デザイン： 実験は以下の3つの設定で行われた：
  1. 2Dガウス分布： 近似誤差と推定誤差を分離するための、解析的に扱いやすい設定。
  2. ガウス混合モデル (GMM)： より複雑で、非分解的な分布。
  3. 半合成の視覚データ： テキスト・トゥ・イメージ・モデルを通じて生成された、現実的な部屋の画像。オブジェクトの配置（例：ソファ vs 絵画 vs コーヒーテーブル）を操作することで、「因子化（factorization）」（オブジェクトが互いに排他的な空間領域を占めているかどうか）を制御している。

決定的な点として、実験では学習データサイズ ($N$) を変化させてスコア推定誤差を制御し、粒子数 ($K$) を変化させて推論時近似誤差の補正を制御している。また、「分布内（ID）」ターゲット（組成がソースデータの支持範囲内に存在する場合）と「分布外（OOD）」ターゲットを比較している。

主な貢献

1. 破滅的な失敗の特定： 本論文は、ターゲットがOODである場合、標準的な条件付き拡散モデルは組成ターゲットへの効率的な外挿ができないという証拠を提示している。著者らは、推論時の手法がいかなるものであっても、これらの領域におけるスコア推定誤差という根本的な限界を克服することはできないと主張している。
2. エラーの分離： 本研究は、推論時の近似誤差（FKCなどの手法で補正可能）と、スコア推定誤差（モデルの学習に固有）を形式的に分離している。
3. 理論的限界： ガウス分布の分析を通じて、完璧なスコア推定が行われたとしても、素朴なデノイジングは正しい分布を回復できないことを示している。逆に、不完全な推定が行われる場合、FKCは推定ノイズを増幅させることで、性能を積極的に悪化させることがある。
4. 実証的検証： OOD設定においては、FKCの粒子数を増やすこと（近似誤差を減少させること）が、しばしばサンプル品質を悪化させることを示す。これは、補正メカニズムが基礎となるスコア推定誤差を増幅してしまうためである。この効果は、合成および半合成の視覚データの両方で観察されている。

結果

• 分布内 (ID) 設定： ターゲットの組成がソース分布の高密度領域にある場合、スコア関数が十分に学習されていれば、FKCは推論時の近似誤差を正常に補正できる。
• 分布外 (OOD) 設定：
  • 素朴なデノイジング： 近似誤差により性能は低いが、破滅的な発散は起こらない。
  • 学習済みスコアを用いたFKC： 粒子数 ($K$) が増加するにつれて、性能が著しく低下する。近似誤差を修正するために設計された補正メカニズムが、逆に推定されたスコアが誤っている領域に粒子を集中させてしまい、「破滅的な」失敗を引き起こす。
  • 解析的スコアを用いたFKC： 真のスコアが提供された場合（推定誤差を排除した場合）、FKCはOOD設定においてもターゲット分布を正常に回復できる。これにより、失敗の原因は近似誤差ではなく、スコア推定誤差によるものであることが確認された。
• 因子化 (Factorization)： 分布が「因子化された条件付き分布」（例：画像内の互いに離れた領域にオブジェクトが存在する場合）であれば、素朴なデノイジングは理論的に正確であり、FKCのメリットはない。しかし、非因子化またはOODの設定では、推定誤差が支配的となる。
• モデルアーキテクチャ： 単一の条件付きモデルと、個別の「エキスパート」モデルを比較した実験により、条件付きモデルにおける重み共有は、個別のモデルを訓練する場合よりも、OODの推定誤差を緩和する暗黙的な正則化を提供することが示唆されている。

意義と主張

本論文は、標準的な拡散モデルを用いた組成生成の分野に対する決定的な負の結果を提示している。著者らは以下の通り主張している：

• 推論時の修正は不十分である： 推論時のみに作用するFKCのような手法は、標準的なモデルが低密度（OOD）領域のスコア空間へと汎化できないという根本的な能力不足を補うことはできない。
• 「破滅的」な性質： OODの領域では、近似誤差を補正しようとする試み（FKCによるもの）が、スコア推定誤差の影響を増幅させ、素朴な手法を用いるよりもサンプル品質を劣化させる。
• 今後の方向性： 著者らは、堅牢な組成生成を実現するには、パイプラインのより早い段階での介入が必要であると結論付けている。今後の研究は以下に焦点を当てるべきであると示唆している：
  • 明示的な潜在表現を学習するアーキテクチャ（例：潜在拡散モデル）の構築。
  • 組成生成のために明示的に設計されたモデル（例：オブジェクト中心、あるいは因果的な生成モデル）の開発。
  • 高密度領域から低密度領域への外挿を促進する、特殊なポストトレーニング手順の開発。

本論文は、組成生成が不可能であると主張しているのではなく、「標準的な拡散モデルを訓練し、その後推論時に組成を行う」という現在のパラダイムが、外挿タスクにおいて根本的な限界を持っていることを主張している。