技術的サマリー：因数分解されたクラスターフリーガイダンス

問題定義

反事実的生成は、因果的介入下での現実的な仮定的結果をシミュレートすることを目的としています（例：「もしこの患者が治療Bではなく治療Aを受けた場合、この患者の疾患の進行はどうなるでしょうか？」）。拡散モデルをDDIM反転およびクラスターフリーガイダンス（CFG）と組み合わせる手法は、このタスクにおいて最先端の地位を占めていますが、著者らは標準的なCFGに属性増幅という決定的な限界を特定しました。

標準的なCFGは、単一のグローバルなガイダンス重み（$\omega$）を Conditioning 埋め込み全体に適用します。反事実的生成において、この均一な強化は、介入された属性だけでなく、因果的介入下で不変であるべき属性も誤って増幅してしまいます。この「的を外した」増幅は、意図された因果グラフに違反し、因果経路外の属性を変更し、生成軌道を元のデータ多様体から逸脱させます。その結果、同一性の保持と、推論された反事実の公理的妥当性が低下します。

手法：因数分解されたクラスターフリーガイダンス（FCFG）

著者らは、基礎となる拡散モデルを変更することなく、偽の属性増幅を軽減するために、**因数分解されたクラスターフリーガイダンス（FCFG）**を提案しました。これは、因果グラフに従って属性ごとの制御を可能にする、柔軟でモデルに依存しない推論時の技術です。

1. 属性分割 Conditioning 埋め込み

この手法は、 Conditioning メカニズムに構造的な変更を導入します。複数の属性を単一のベクトルに絡み合わせるのではなく、FCFG は属性分割エンコーダーを採用します。各意味的親属性 $pa_i$ は、専用の多層パーセプトロン（MLP）$E_i$ を通じて独立して埋め込まれます。最終的な Conditioning ベクトル $c$ は、これらの独立した埋め込みを連結することで形成されます：
$$c = \text{concat}(E_1(pa_1), E_2(pa_2), \dots, E_K(pa_K))$$
このアーキテクチャは、埋め込み空間における各属性のアイデンティティを保持し、推論中に個々の属性を選択的に null トークン化または変調することを可能にします。

2. グループ別ガイダンス定式化

FCFG は、意味的属性を $M$ 個の互いに素なグループに分割します（例：介入された属性とその子孫を含む「影響を受けた」グループと、変化しないことが期待される属性を含む「不変」グループ）。これらのグループが潜在変数 $x_t$ が与えられた条件付きで独立であると仮定し、著者らは因数分解された代理事後分布を導出します：
$$p_\omega(x_t | pa) \propto p(x_t) \prod_{m=1}^M p(pa^{(m)} | x_t)^{\omega_m}$$
ここで、$\omega_m$ はグループ $m$ 固有のガイダンス重みです。

ガイダンス付きノイズ予測 $\epsilon_{\text{FCFG}}$ は、無条件予測に各グループの重み付き差分を加算することで計算されます：
$$\epsilon_{\text{FCFG}}(x_t, t, c) = \epsilon_\theta(x_t, t, \emptyset) + \sum_{m=1}^M \omega_m \left( \epsilon_\theta(x_t, t, c^{(m)}) - \epsilon_\theta(x_t, t, \emptyset) \right)$$
ここで、$c^{(m)}$ は、グループ $m$ に属する属性のみを保持し、他の属性を null トークンに置き換えたマスク付き埋め込みです。

3. 反事実推論との統合

FCFG は、標準的な 3 段階の反事実推論パイプライン（帰納、行動、予測）に統合されます：

• 帰納（Abduction）: 観測画像と事実的属性から DDIM 反転を用いて外因性ノイズ $u$ を推定します。
• 行動（Action）: 因果的介入を適用して反事実的属性を生成します。
• 予測（Prediction）: FCFG によってガイダンスされた逆 DDIM 軌道を使用します。重要なのは、予測ステップにおいて、介入に向けた生成を誘導しつつ不変因子を保持するために、影響を受けた属性には $\omega_{\text{aff}}$ を、不変な属性には $\omega_{\text{inv}}$ という異なる重みを適用することです。

このフレームワークは、それぞれのスコア定式化に同じグループ別分解を適用することで、CFG++ や 適応的投影ガイダンス（APG） などの高度なガイダンス方式とも互換性があります。

主要な貢献

1. CFG 起因の失敗の特定: 著者らは分析・実証し、標準的な CFG におけるグローバルなガイダンス機構が属性増幅の主要な原因であり、因果グラフが既知であっても不変属性に偽の変化を引き起こすことを示しました。
2. FCFG の提案: 属性グループに個別のガイダンス重みを割り当てるという単純な拡張である、因数分解されたクラスターフリーガイダンス（FCFG）を導入しました。これにより、モデルアーキテクチャの変更や再トレーニングを必要とせず、生成プロセスに対する微細で解釈可能な制御が可能になります。
3. 実証的検証: 自然画像（CelebA-HQ）および医療画像（EMBED、MIMIC-CXR）データセットにおける広範な実験を通じて、FCFG がオフターゲット増幅を大幅に削減しつつ、介入効果を維持または向上させることを実証しました。

実験結果

著者らは、3 つのデータセットにおいて、FCFG を標準的な CFG および他の反事実的生成手法（HVAE、HVAE-soft、SA-DCG）と比較評価しました：

• CelebA-HQ: 「笑顔」「男性」「若年」などの属性を標的とした介入において、高いガイダンス重み（$\omega \ge 2.0$）を用いたグローバル CFG は、標的とされていない属性（笑顔のみを標的とした場合の年齢や同一性など）に意図しない大きな変化を引き起こしました。FCFG は、不変属性に対して低い重み（$\omega_{\text{inv}} \approx 1.0-1.2$）を、影響を受けた属性に対して高い重み（$\omega_{\text{aff}} \ge 2.0$）を用いることで、標的属性の変化を同等に達成しつつ、不変属性を安定させました。その結果、可逆性に関する平均絶対誤差（MAE）および LPIPS スコアが低下し、より優れた同一性の保持が示されました。
• EMBED（乳房マンモグラフィー）: 乳房密度に対して介入を行った際、グローバル CFG は円形の皮膚マーカーの存在を誤って増幅しました。FCFG はこの偽のシフトを抑制し、介入されていない属性において安定した性能を維持しました。
• MIMIC-CXR（胸部 X 線）: 疾患所見（"finding"）に対する介入において、グローバル CFG は人種や性別の属性に意図しない変化をもたらしました。FCFG は変化を疾患所見のみに局在化させ、オフターゲットの AUC 変化を、増幅を示す大きな正の値から、ほぼゼロまたは負の値に減少させました。

すべてのケースにおいて、FCFG は介入効果とオフターゲット増幅の間のトレードオフを改善しました。さらに、FCFG は CFG++ および APG との互換性を示し、それらの高度な手法に内在する属性増幅も軽減しました。

意義と主張

本論文は、FCFG が因果推論におけるガイダンス付き拡散モデルの根本的な限界に対処することを主張しています。意味的または因果的に定義されたグループ間でガイダンス信号を分離することにより、FCFG は公理的により妥当な（因果グラフに準拠した）およびより可逆的な（同一性を忠実に保持した）反事実の生成を可能にします。

著者らは、FCFG が追加の予測器ベースの学習目的（HVAE 変種とは異なり）、複雑な拡散 - オートエンコーダーフレームワーク（SA-DCG とは異なり）、因果発見（事前に指定された因果グラフまたは意味的グループ化へのアクセスを前提とする）を必要としない、単純な推論時の対策であることを強調しています。

この研究は、標準的な CFG の「グローバル」な性質が、信頼性の高い反事実推論のボトルネックであり、因果的コンテキストにおける精密で制御された画像編集のために、ガイダンス信号を因数分解することが必要なステップであることを示唆しています。著者らは、FCFG が構造化された Conditioning 変数と事前に指定されたグループ化に依存しており、ガイダンス重みが現在、適応的ではなく経験的に選択されているという限界を指摘しています。