技術要約: Causal Variational Deep Embedding (CAUVADE)

問題提起

深層生成モデル（VAE、GAN、拡散モデルなど）は、訓練データの観測分布を再現するように設計されている。しかし、訓練データに未観測の交絡因子（$U$）に起因する**偽相関（spurious correlations）**が含まれている場合、これらのモデルはそのバイアスを継承してしまう。因果的な設定において、ユーザーが属性 $X$（例：数字の識別）を操作し、その結果生じる従属属性 $Y$（例：背景の色）の分布を観察したい場合、標準的なモデルは介入的な分布 $P_x(Y)$ ではなく、観測的な条件付き分布 $P(Y|X)$ を出力してしまう。

核心となる課題は**部分的識別可能性（partial identifiability）**である。$U$ が隠れているとき、観測データ $P(X, Y)$ は、それぞれ異なる $P_x(Y)$ を予測する一連の異なる因果メカニズムと矛盾しない。既存の因果生成アプローチの多くは、単一の介入分布を選択するために、強い構造的仮定（特定の関数形式やノイズの独立性など）を課すことで、この曖昧さを解決しようとする。画像領域において、このような仮定が正当化されることは稀である。単一の点推定値を返すモデルは、区別不可能な一連の因果的説明の中から、黙して一つの要素を選択しているに過ぎず、過剰に自信満々な状態にある。目標は、単一の点にコミットすることではなく、実行可能領域（feasible region）——すなわち、観測されたデータおよび正当化可能な構造的仮定と整合する、すべての介入分布の集合——を特徴付けることである。

手法

1. 正準拡張構造因果モデル (Canonical Augmented Structural Causal Models: CASCMs)

著者らは、画像生成に拡張された拡張構造因果モデル (Augmented Structural Causal Models: ASCMs) に基づく理論的基礎を提案している。ASCMには、意味変数（$X, Y, Z$）と外生ノイズによって生成される画像変数 $I$ が含まれる。

• 理論的正当性: 本論文では、正準ASCM (CASCM) のクラスが、観測的および介入的な1-Wasserstein距離（$W_1$）の下で、与えられた因果ダイアグラムと互換性のあるすべてのASCMのクラスにおいて稠密であることを証明している。
• 正準構造: CASCMにおいて、未観測の交絡因子 $U$ は、有界なサポートを持つ離散潜在変数（$U \in \{1, \dots, d\}$）に制限され、連続的な変動は独立した外生ノイズ（$E_Z, E_X, E_Y, E_I$）に吸収される。この削減により、無限次元の探索空間である一般的なASCMを、交絡因子が離散的なクラスターとなる扱いやすいクラスによって近似することが可能になる。

2. CAUVADE アーキテクチャ

Causal Variational Deep Embedding (CAUVADE) は、Gaussian混合型変分オートエンコーダ（VAE）を用いてCASCMクラスを具体化するものである。

• 潜在変数:
  • クラスター $C$: 正準な交絡因子 $U$ を表す離散変数。
  • 連続潜在変数 $Z$: 前処置属性と独立した外生ノイズをまとめたもの。
• 生成プロセス: モデルは、$C$ と $Z$ が $X, Y$ および画像 $I$ の生成を駆動する結合分布を定義する。
• 介入: 介入的なサンプル $P_x(I)$ を生成するために、モデルは $(C, Z)$ を（$X$ の下での事後分布ではなく）それらの結合事前分布からサンプリングし、$X=x$ と固定した後、デコーダを通じて $Y$ と $I$ へと伝播させる。これにより、交絡経路を断ち切り、選択と介入を区別する。

3. 学習と $\gamma$-Sweep

CAUVADEは、$X$ のみがラベル付けされた交絡データを用いて学習される。目的関数は、標準的なVAE項と、2つの特定の正則化項を組み合わせたものである。

1. 処置一貫性項 ($L_X$): 補助的な分類器により、潜在表現 $(C, Z)$ が観測された処置 $X$ を予測するために十分な情報を含むことを保証する。
2. クラスター・エントロピー正則化項 ($L_{ent}$): スカラー $\gamma$ で重み付けされた、クラスター事後分布 $q_\phi(C|I)$ に対するエントロピー項。
   • 低 $\gamma$: 事後分布が崩壊（低エントロピー）し、観測的な条件付き分布 $P(Y|X)$ を追跡する決定論的なVAEのような挙動を示す。
   • 高 $\gamma$: 事後分布が一様（高エントロピー）になり、画像を特定の交絡因子の実現から切り離し、事前分布にわたって平均化する。
   • スウィープ: $\gamma$ を $[0, \infty)$ の範囲でスウィープすることで、CAUVADEは連続的な生成モデルの族をトレースする。各 $\gamma$ は、観測データに対して同等の尤度を持ちながら、異なる介入的分布 $P_x(I)$ を誘発する異なる最適解に対応する。

主な貢献

1. 正準拡張SCM: 交絡因子が離散的な潜在クラスターである構造モデルのクラスを導入。著者らは、このクラスが高次元の画像空間における複雑な連続的未観測交絡因子を近似する上で、Wasserstein距離の下で稠密であることを証明し、この単純なクラスを使用することの正当性を与えた。
2. CAUVADE フレームワーク: 混合VAEを用いた、この正準クラスの実用的な具体化。強力な構造的仮定や補助的な監督を必要とせずに、介入的分布の実行可能領域をナビゲートするためのエントロピー正則化を導入している。
3. $\gamma$-Sweep による部分的識別: $\gamma$ の変化が、観測データと整合する因果的説明の実行可能領域を通る曲線を描くことを示した。これにより、モデルは単一のバイアスのかかった推定値ではなく、多様な介入的サンプルを生成することができる。

実験結果

著者らは、Confounded Color-MNIST、CelebA、MIMIC-CXR-JPG の3つのデータセットでCAUVADEを評価している。

• Color-MNIST: 数字の識別と背景の色が隠れた交絡因子を介して偽相関を持っている設定において、標準的なVAEやANCMは単一の点推定（観測的な条件付き分布、またはManskiの境界内の単一の点）に収束する。CAUVADEは、$\gamma$ をスウィープすることで、Manskiの境界によって定義される実行可能領域全体をカバーする、多様な数字と色の関連性を生成する。
• CelebA: 「Attractive（魅力的）」を隠れた交絡因子として、「Young（若い）」が「Heavy Makeup（厚化粧）」に与える影響をモデリングする場合、CAUVADEは異なる $\gamma$ 値において、視覚的に非交絡のグラウンドトゥルースと一致するサンプルを生成するが、ベースラインは偽相関の分離に失敗する。
• MIMIC-CXR-JPG: 患者の体位によって交絡された「Pneumonia（肺炎）」が「Lung Opacity（肺の不透過性）」に与える因果効果をモデリングする場合、CAUVAVEは（非交絡の参照データに対して）VAE (354.97) や ANCM (407.73) よりも大幅に低い Fréchet Inception Distance (FID) (284.57) を達成した。ベースラインは、バイアスを直接継承するか、あるいは単一の誤った因果的説明にコミットしてしまう。

意義と主張

本論文は、隠れた交絡因子が存在する場合、「モデル化すべき正しい対象」は単一の点推定ではなく、介入分布の実行可能領域であると主張している。

• 控えめな主張: 著者らは、真の因果メカニズムを特定できると主張しているのではない（それは追加の仮定なしには不可能である）。代わりに、データと整合する妥当なメカニズムの集合を忠実に特徴付ける手法を提供していると主張している。
• 実用的影響: 単一の点推定器の過剰な自信を避けることで、CAUVADEは因果的な画像生成における不確実性のより誠実な表現を提供する。この手法は、多様で高品質な、因果的説明の範囲をカバーするサンプルを生成する「脱交絡画像生成」のための実用的なツールとして提示されている。
• 理論的貢献: 密度定理（Theorem 2.2）は、高次元の画像空間において離散的な潜在クラスターを使用して複雑な連続的未観測交絡因子を近似することの厳密な正当性を与えており、理論的な因果推論と深層生成モデリングの間の架け橋となっている。