Calibrated Inference for the Conditional Average Treatment Effect in the Few-Placebo Regime via Gaussian Processes

技術的サマリー：ガウス過程を用いた少数プラセボ領域における CATE の較正推論

問題定義
本論文は、「少数プラセボ領域」において、較正された不確実性区間を伴う条件付き平均処置効果（CATE）、$\tau(x) = E[Y(1) - Y(0) | X=x]$ の推定という課題に取り組む。この領域は、処置群間のサンプルサイズの極端な不均衡（$N_0 \ll N_1$）によって定義され、不均等割り当ての臨床試験、予算制約のある A/B テスト、および稀な領域の研究において一般的なシナリオである。

不均衡なアームに対する標準的なメタラーナーである X-Learner は、点推定値のみを提供する。著者らは、X-Learner の第 2 段階をベイズ的に行い、信頼区間を生成する自然な拡張を検証した。その結果、このアプローチは特に少数プラセボ領域において、較正されたカバレッジ（すなわち、区間が真の効果を名目レベルよりも頻繁に含めないこと）を提供しないことが示された。

失敗の診断
本論文は、ベイズ的 X-Learner 区間の過小カバレッジの構造的な原因を特定している：

1. 一次の nuisance 偏り：X-Learner は、処置効果を推定するために疑似アウトカム（例：$D_1 = Y - \hat{\mu}_0(X)$）を構築する。機械学習の nuisance モデル（正則化木など）は、分散と引き換えに偏りを生むため、推定値 $\hat{\mu}_0$ は条件付き不偏ではない。その結果、疑似アウトカムの条件付き平均は $\tau(x) - b_0(x)$ となり、ここで $b_0(x)$ は小さな対照群に適合された nuisance モデルの正則化偏りである。
2. 事後分布の移動：これらの偏った疑似アウトカムに対するベイズ回帰は、真の効果ではなく、偏った目標（$\tau - b_0$）を中心とした事後分布を生み出す。偏りは位置のシフトであるため、事後分散を増大させる（区間を広げる）ことはカバレッジを修正しない。区間は真の値から移動したままとなる。
3. 直交スコアの失敗：nuisance 偏りの標準的な解決策は、Neyman 直交かつ二重頑健（DR）なスコアを回帰することである。著者らは、この手法も少数プラセボ領域では失敗することを示す。この領域は本質的に重なりが不良（対照群の傾向スコアが小さく、$1-\pi \approx 0$）を誘発する。DR スコアの「二次的」剰余項は $1/(1-\pi)^2$ という因子によって増幅され、剰余項が無視できなくなる。さらに、対照群の高い分散を安定化させるために逆分散重み付けを適用すると、不偏性を保証するクロスアームの打ち消しメカニズムが破壊され、結果として推定量は偏った X-Learner の形式に実質的に戻ってしまう。

手法：GP-CATE
これらの問題を解決するため、著者らは GP-CATE を提案する。これは、点推定値に事後分散を付加するパラダイムを放棄し、nuisance 関数自体に対して完全ベイズ的アプローチを採用するものである。

• モデリング：点推定値 $\hat{\mu}_0$ と $\hat{\mu}_1$ を適合させる代わりに、GP-CATE は各アームのアウトカム表面（$\mu_0$ と $\mu_1$）を独立したガウス過程（GP）を用いてモデル化する。
• 事後分布の構築：GP は、平均 $m_w(x)$ と点ごとの標準偏差 $s_w(x)$ からなる関数全体の事後分布を返す。不確実性 $s_w(x)$ は、データが希薄な場所（対照群）では自然に大きくなり、データが密集している場所では小さくなる。
• CATE 推論：CATE 事後分布は、2 つのアーム事後分布の差として導出される：
  $$\tau(x) | D \sim \mathcal{N}(m_1(x) - m_0(x), s_1(x)^2 + s_0(x)^2)$$
  この構成により、小さな対照群の不確実性は、モデル化されていない偏りとしてではなく、直接分散として CATE 事後分布に組み込まれることが保証される。
• 計算戦略：正確な GP は $O(N^3)$ であるが、著者らは少数プラセボ領域では対照群（$N_0$）が小さく、その正確な適合は計算上無視できるほど小さいと指摘する。大きな処置群（$N_1$）については、対照群の不確実性が全体の CATE 分散を支配するため、スケーラブルな代理モデル（例：スパース/誘導点 GP）で十分である。

主要な貢献

1. 診断：本論文は、不均衡データに対するベイズ的 X-Learner の過小カバレッジは、非直交な疑似アウトカムに起因する一次の nuisance 偏りによって引き起こされ、それが事後分布の平均を移動させることを確立した。
2. 否定的結果：重なり増幅と効率性重み付けと不偏性の間の根本的な対立により、傾向スコアが既知であっても、二重頑健/直交スコアによる救済策はこの領域では失敗することを示した。
3. 根本原因分析：著者らは、「学習が困難な」nuisance（希薄なデータに適合されたもの）の点推定値に分散を付加することは、正則化偏りが事後分散推定値には見えないため、構造的に欠陥があると論じる。
4. 手法と実証的検証：GP-CATE が解決策として提案され、点推定値がベイズ事後分布に置き換えられた。実証結果は、少数プラセボ領域において、線形、非線形、および半合成（IHDP）のベンチマーク全体で較正されたカバレッジを達成した唯一の手法であることを示している。

実験結果
著者らは、GP-CATE を Causal Forest、BART、および標準的なメタラーナー（X-Learner、DR-Learner）と比較評価し、3 つの設計で検証した：

• カバレッジ：少数プラセボ領域（$N_0=30$）において、標準的な区間推定量は深刻な過小カバレッジを示した。IHDP ベンチマークにおいて Causal Forest のカバレッジは 0.34 まで低下し、BART は 0.59 まで低下した。これに対し、GP-CATE はすべての設計とサンプルサイズにおいて 0.94 から 0.99 のカバレッジを維持した。
• 区間の幅：少数の対照群を持つ高次元設定において、GP-CATE によって生成された較正区間は、代替手法の区間よりも著しく広い。著者らは、これは欠点ではなく特徴であると主張する。広い区間は、希薄なデータから表面を推定することに伴う本質的な高い不確実性を正しく反映しており、他の手法からのより狭い区間は較正されていないからである。
• 点推定の精度：GP-CATE は点推定の精度（$\sqrt{\epsilon PEHE}$ で測定）において競争力があり、特に $N_0$ が増加するにつれて、Causal Forest や BART を凌駕するか、同等の性能を示すことが多かった。

意義と主張
本論文は、少数プラセボ領域が、標準的な漸近オラクル特性（固定された重なりを仮定するもの）が崩壊する構造的な境界を表すと主張する。この研究の意義は、この領域における較正推論には、修正された分散を持つ点推定値ではなく、完全ベイズ的 nuisance モデルが必要であることを特定した点にある。

著者らは、自らの貢献を新しい推定量アーキテクチャ（GP を用いたベイズ的 T-ラーナーは Alaa と van der Schaar (2017) の先行研究と類似していることに言及）としてではなく、診断的洞察として謙虚に位置づけている。すなわち、この領域におけるメタラーナーの失敗は、偏りと分散推定の分離に起因するというものである。GP-CATE は、この根本原因分析が必然的に要求する推定量として提示される。論文は、実務家は標準的な手法からの狭く較正されていない区間に依存するのではなく、データの希少性を正直に反映する広い区間を受け入れることで、不均衡な設定では GP-CATE を優先すべきであると結論づけている。