技術的概要：ツインネットワークにおけるドロップアウト分散の局所化

問題定義

深層ツインネットワークモデル（例：TARNet、DragonNet）は、観測データから個人別治療効果（ITE）を推定するための標準的なツールである。モンテカルロ（MC）ドロップアウトや深層アンサンブルは不確実性の推定を提供できるが、これらの推定値は通常単一的であり、モデル失敗の原因を区別できない単一の分散スコアである。実務者は、高い不確実性が以下のいずれに起因するかを判断できない：

1. エンコーダレベルの問題： 共変量空間の不適切なカバレッジ（外挿）。より多様な共変量データが必要であることを示唆。
2. ヘッドレベルの問題： 十分にカバレッジされた領域におけるノイズの多い結果マッピング。より多くの結果観測データまたはヘッド容量の増大が必要であることを示唆。

この区別がなければ、不確実性スコアは是正措置に関する指針を提供しない。本論文は、深層因果モデルにおける構造化され解釈可能な不確実性定量化の欠如に対処するため、アーキテクチャモジュールごとに不確実性を分解する手法を提案する。

手法

著者は、自然なモジュール構造（共有エンコーダ $\Phi$ に続き、個別の結果ヘッド $f_0, f_1$）と全分散の法則を活用し、ツインネットワークモデルに対する層ごとの分散分解を提案する。

1. 分散分解

ツインネットワーク出力 $\hat{Y}_t(x)$ に対して、総予測分散は 2 つの成分に分解される：
$$\text{Var}(\hat{Y}_t(x)) = \underbrace{\text{Var}_{\theta_e}(\mathbb{E}_{\theta_t}[\hat{Y}_t(x) \mid \theta_e])}_{\sigma^2_{\text{enc}}} + \underbrace{\mathbb{E}_{\theta_e}[\text{Var}_{\theta_t}(\hat{Y}_t(x) \mid \theta_e)]}_{\sigma^2_{\text{head}}}$$

• $\sigma^2_{\text{enc}}$（エンコーダ成分）： ヘッドを決定論的に保持した状態で、共有エンコーダ内のドロップアウトマスクに起因する分散を測定する。
• $\sigma^2_{\text{head}}$（ヘッド成分）： 固定されたエンコーダ実現値を条件として、結果ヘッド内のドロップアウトマスクに起因する平均分散を測定する。

2. 実用的推定

計算コストの高いネスト型モンテカルロ手順なしにこれらの成分を推定するため、著者は制御されたドロップアウト近似を使用する：

• エンコーダのみのモード： エンコーダでドロップアウトを有効化；ヘッドは決定論的。
• ヘッドのみのモード： ヘッドでドロップアウトを有効化；エンコーダは決定論的。
• 総モード： 全域でドロップアウトを有効化（標準的な MC ドロップアウト）。

推論時の総コストは $3N$ 回のフォワードパス（$N$ は MC サンプル数）であり、標準的な MC ドロップアウトの $N$ 回と比較される。著者は、$\hat{\sigma}^2_{\text{enc}} + \hat{\sigma}^2_{\text{head}} \approx \sigma^2_{\text{tot}}$ が高い忠実度（$R^2 > 0.99$）で成り立つことを経験的に検証した。

主要な貢献

1. アーキテクチャに基づく局所化： 不確実性シグナルをエンコーダ成分とヘッド成分に分離する、シンプルでアーキテクチャを考慮した分解。特定の失敗モードに対する診断を提供する。
2. 診断ワークフロー： 提案される 2 段階ワークフロー：
   • $\sigma^2_{\text{enc}}$ を使用して、潜在的な分布外（OOD）ポイントや外挿リスクをフラグ付けする。
   • $\sigma^2_{\text{head}}$ を使用して、エンコーダの不確実性が低い分布内ポイント間での不確実性をランク付けする。
3. 経験的検証： この分解が、合成共変量シフト領域および現実世界の双子コホート全体で実行可能な洞察を提供することを示す。

実験結果

本手法は、異なる程度の共変量シフトを持つ 3 つの合成データジェネレータ（v1–v3）と、誘発された多変量サンプリングバイアスを持つ現実世界の同性双子コホートで評価された。

1. 合成データの知見

• シフト下でのエンコーダ分散の優位性： 強いシフト領域（v1, v2）において、エンコーダ成分（$\sigma^2_{\text{enc}}$）は ITE 誤差の主要な予測因子（$\rho_{\text{enc}} \approx 0.53$）となり、総分散（$\rho_{\text{tot}} \approx 0.45$）を上回った。これらの領域ではヘッド成分はほぼゼロまたは負であった。
• ヘッド分散の条件付き有用性： ヘッド成分（$\sigma^2_{\text{head}}$）は、高いエンコーダ分散を持つポイントが除外された後にのみ、強力な誤差予測因子（$\rho_{\text{head}} > 0.5$）となる。これは、分布内領域内での不確実性のランク付けにおけるその有用性を確認するものである。
• アンサンブルとの比較： 強いシフト下では（おそらく真のモデル不一致による）深層アンサンブルが MC ドロップアウトを上回ったが、軽度のシフト下ではほぼゼロの相関に崩壊した。MC ドロップアウトはすべての領域で中程度のシグナルを維持した。

2. 現実世界の双子コホート

• OOD 検出： 誘発されたバイアスを持つ双子データセットにおいて、$\sigma^2_{\text{enc}}$ は OOD サンプルで著しく急上昇（$\Delta \sigma^2_{\text{enc}} \approx 0.004$）したが、$\sigma^2_{\text{head}}$ は平坦なままだった。
• 誤差予測： 誘発されたバイアス下では、$\sigma^2_{\text{enc}}$ が主要な誤差予測因子となった（$\rho_{\text{enc}} \approx 0.89$）。
• OOD 検出の限界： 著者は明示的に、この分解は信頼性の高い二値 OOD 検出器ではないと指摘している（ROC-AUC 値は偶然に近い 0.54–0.62）。その価値は分類ではなく、誤差予測と診断的局所化にある。

意義と主張

本論文は、この作業を解決された問題ではなく、診断ツールの概念実証として位置づけている。主な意義は実行可能性にある：

• 実用的ガイダンス： 分散を局所化することで、この手法は実務者に、$\sigma^2_{\text{enc}}$ が高い場合はより多様な共変量を収集すべきか、$\sigma^2_{\text{head}}$ が高い場合はより多くの結果データを収集すべきかを伝える。
• コスト効率： 分解は、標準的な MC ドロップアウトに対して計算コストをほとんど追加しない。
• 謙虚さ： 著者は、低次元の合成ジェネレータの使用、現実データにおける人工的に誘発されたシフト、粗い事後近似としての MC ドロップアウトへの依存など、限界を認めている。彼らは、観察された相関が合成データでは中程度であり、低ノイズの双子データセットではより強いことを強調し、究極の目標は単なるより良い不確実性の記述ではなく、この分解がより良いデータ収集とモデル更新の決定につながることを実証することであると述べている。