Instrumental and Proximal Causal Inference with Gaussian Processes

この論文は、未観測の交絡が存在する因果推論において、信頼性の高い不確実性推定を提供するために、カーネル推定量を事後平均として再現し、体系的なモデル選択を可能にする「条件付き外れガウス過程（Deconditional Gaussian Process）」フレームワークを提案するものである。

要約

1. 問題：見えない「邪魔者」の正体

まず、因果関係（A が原因で B が起きた）を調べるのは、実はとても難しいことです。
例えば、「アイスクリームを食べると、溺死事故が増える」というデータがあったとします。

• 間違った結論： アイスクリームは溺死の原因だ！
• 本当の理由： 夏（見えない要因）が来ているから、アイスクリームも食べるし、海に行く人も増える。だから溺死も増える。

この「夏」という**見えない邪魔者（交絡因子）**がいると、普通の計算方法では間違った結論を出してしまいます。

これを解決するために、これまで「道具（IV）」や「仲介者（Proxy）」を使う方法が考えられてきました。

• 道具（IV）： 「アイスクリームを買うかどうか」を決める「天気予報」のようなもの。
• 仲介者（Proxy）： 「夏」の代わりに、気温や海水温などの「代理データ」。

しかし、これまでの方法には大きな欠点がありました。それは**「自信のなさ（不確実性）」を測れない**ことです。「この答えは 99% 正しい」と言えるのか、それとも「たまたまそう見えているだけかも」という不安があるのか、これまでの計算では「答え」だけが出てきて、その「答えの信頼度」がわからなかったのです。

2. 解決策：「ガウス過程」という「賢い占い師」

この論文の著者たちは、**「ガウス過程（Gaussian Process）」**という、確率論に基づいた「賢い占い師」のような AI を使いました。

彼らが開発した新しい方法は、以下のような特徴を持っています。

① 答えだけでなく「自信」も教えてくれる

これまでの方法は「アイスクリームは溺死の原因です」という答え（点推定）だけを出していました。
新しい方法は、「アイスクリームは溺死の原因ですが、このデータだと 95% の確信度があります。もしデータが少なかったら、もっと自信が持てませんよ」というように、「答え」と「その答えへの自信（不確実性）」の両方を同時に教えてくれます。

② 「条件を逆転させる」魔法（Deconditioning）

この方法の核心は、**「Deconditional（条件をはずす）」**というアイデアです。

• 普通の考え方： 「天気予報（Z）を知っているから、アイスクリーム（X）の需要を予測できる」
• この論文の魔法： 「アイスクリーム（X）の需要を知りたいから、天気予報（Z）のデータから『逆算』して、見えない『夏（U）』の影響を消し去る」

これを**「条件を逆転させる（Deconditioning）」**と言います。まるで、鏡に映った逆像を見て、元の物体の形を正確に復元するようなイメージです。これにより、見えない邪魔者の影響をきれいに消し去り、本当の因果関係を見つけ出します。

3. なぜこれがすごいのか？

🎯 信頼できる「捨て」ができる（Selective Rejection）

これが一番の実用的なメリットです。
AI が「このケースは自信がない（不確実性が高い）」と判断した時、無理に答えを出さず**「判断を保留する」**ことができます。

• 例： 医療現場で、ある薬が効くかどうかを AI が診断する場合、「自信がない患者さん」には「判断保留」として、人間の医師に任せるようにします。
• これまで「自信がない」と言える方法がなかったので、AI は無理やり間違った答えを出してしまいがちでしたが、この新しい方法なら**「わからないときはわからない」と言えるようになり、事故を防げる**のです。

📈 自動的に「最適な設定」を見つける

AI を使うには、多くの「設定（ハイパーパラメータ）」が必要です。これまでの方法は、この設定を人間が手動で調整したり、データを半分に分けて試したりする必要があり、手間がかかりました。
でも、この新しい方法は**「データの自然な流れ（尤度）」を最大化するだけで、自動的に最適な設定を見つけます**。まるで、自動運転車が道を探して走るように、モデルが自分でベストな状態に調整されるのです。

4. まとめ：何ができたの？

この論文は、**「見えない邪魔者がいる状況でも、AI が『答え』だけでなく『その答えへの自信』まで正確に計算できる」**という新しいシステムを作りました。

• これまでの AI： 「答えはこれです！（でも、自信があるかどうかわかりません）」
• 新しい AI： 「答えはこれです。そして、このデータでは 95% の自信があります。もしデータが少なければ、自信は下がります。わからないときは、無理に答えず保留します。」

これは、医療、経済、政策決定など、**「間違えると大きなリスクがある分野」**において、AI をより安全で信頼できるパートナーにするための重要な一歩です。

---

一言で言うと：
「見えない邪魔者を退治し、AI に『答え』だけでなく『その答えを信じていいかどうか』まで教えてくれる、賢くて慎重な新しい計算のルールを作りました！」

技術概要

1. 問題定義と背景

• 課題: 観測データからの因果効果推定において、観測されていない交絡変数が存在すると、標準的な回帰推定量はバイアスを受け、因果的な妥当性が損なわれます。これを解決するための代表的な枠組みとして、**道具変数法（Instrumental Variable: IV）と近接因果学習（Proximal Causal Learning: Proxy）**があります。
• 既存手法の限界: 近年、カーネル法や深層学習を用いた非パラメトリックな推定量（KIV, KNC など）が開発され、点推定（point estimation）の精度は向上しました。しかし、これらの手法は主に点推定に焦点を当てており、推定値に対する「モデルの信頼度（不確実性）」を体系的に定量化する機能（Uncertainty Quantification: UQ）が不足しています。
• UQ の重要性: 安全クリティカルな領域や、リソース配分、能動学習（Active Learning）などにおいて、推定値の信頼性を評価することは不可欠です。特に交絡変数が存在する状況では、データのばらつきだけでなく、交絡に関する不完全な知識に起因する不確実性も反映させる必要があります。
• 既存 UQ 手法の問題点: ブートストラップ法に基づくモデル非依存な手法は確率的解釈が乏しく、ベイズ的手法は計算コストが高く、あるいは人工的なデータ生成メカニズムに依存している場合が多いです。

2. 提案手法：Deconditional Gaussian Process (DGP)

著者らは、道具変数（IV）と近接変数（Proxy）の両方の設定に対して、Deconditional Gaussian Process (DGP) を基盤とした統一的なベイズ非パラメトリック枠組みを提案しました。

2.1 理論的基盤

• Fredholm 積分方程式: 交絡されていない構造関数 $f$ を学習する問題は、条件付き期待値演算子の擬似逆行列を求め、Fredholm 積分方程式を解く問題に帰着されます。
• Deconditional Mean Embeddings (DME): 条件付き平均埋め込み（CME）の逆操作として、条件付き期待値から関数を復元する「条件解除（Deconditioning）」の概念を用います。
• ガウス過程（GP）への拡張: 従来の頻度論的なカーネル推定量（KIV, KNC）の背後にある DME の理論を、GP の事前分布と事後分布の枠組みに統合しました。

2.2 具体的なモデル

1. GPIV (Instrumental Variable 設定):

   • 構造関数 $f$ に GP 事前分布 $GP(0, k)$ を置きます。
   • 観測データ $(x, y, z)$ に対し、$y$ が $z$ に対して条件付き期待値 $g(z) = E[f(X)|Z=z]$ にノイズを加えたものとしてモデル化されます。
   • 事後平均: 観測データを与えられた $f$ の事後平均は、頻度論的なカーネル IV 推定量（KIV）と数学的に等価になります。
   • 事後分散: 事後分散が、構造的な不確実性を反映した**原理的な予測不確実性（Epistemic Uncertainty）**を提供します。

2. GPProxy (Proximal Causal Learning 設定):

   • 道具変数の代わりに、処置の代理変数 $Z$ と結果の代理変数 $W$ を使用します。
   • まず、橋渡し関数（bridge function）$h$ に対して GP 事前分布を置きます。
   • 観測データ $(x, y, z, w)$ に対して同様の GP モデルを構築し、$W$ を周辺化（marginalize）することで、最終的な因果効果 $f(x)$ の事後分布を導出します。
   • 事後平均: 事後平均は、Kernel Negative Control (KNC) 推定量と等価になります。

2.3 ハイパーパラメータ選択

• 従来のカーネル法では、データ分割（training/validation）や中位数ヒューリスティックによるカーネル長スケールの固定が一般的でした。
• 本手法では、周辺尤度（marginal log-likelihood）の最大化を通じてハイパーパラメータ（カーネル長スケール、正則化パラメータ、ノイズ分散など）を体系的に最適化します。これにより、データ分割を不要とし、小規模データでも効率的に学習できます。

3. 主要な貢献

1. 統一的なベイズ枠組みの提案: IV と Proxy の両方の設定に対して、不確実性定量化を備えたガウス過程ベースの推定量（GPIV, GPProxy）を提案しました。
2. 頻度論的推定量との整合性: 提案手法の事後平均は、既存の強力な頻度論的推定量（KIV, KNC）と数学的に等価であることを証明しました。これにより、既存手法の漸近的性質（consistency など）を継承しつつ、ベイズ的な不確実性定量化を付与しています。
3. 原理的なモデル選択: 周辺尤度最大化によるハイパーパラメータ最適化により、データ分割や手動調整に依存しない、堅牢なモデル選択を実現しました。
4. 不確実性の質の評価: 単なるカバレッジ（coverage）だけでなく、Accuracy-Rejection Curve (ARC) や能動学習シミュレーションを通じて、不確実性推定が下流タスク（予測の棄却やデータ選択）において実際に有用であることを実証しました。

4. 実験結果

• シミュレーションデータ: 正弦波、対数、線形、航空券需要など多様なデータ生成プロセス（DGP）において評価を行いました。
• 推定精度: GPIV と GPProxy は、KIV、MMRIV、QBIV、KNC などの最先端手法と比較して、平均二乗誤差（MSE）において同等かそれ以上の精度を達成しました。特に、データ分割をしないため、小サンプルサイズにおいて既存手法（KIV など）を凌駕する性能を示しました。
• 不確実性の質:
  • カバレッジ: 95% 信頼区間のカバレッジ率が、ブートストラップ法や QBIV に比べて 0.95 に近い値を示し、過小評価（over-confidence）を回避できています。
  • Accuracy-Rejection Curve (ARC): 不確実性が高いサンプルを優先的に棄却（rejection）した際、残りのサンプルの予測精度が向上する曲線（ARC）において、提案手法は最も高い AUC を示しました。これは、不確実性推定が「どの予測を信頼すべきか」を適切に識別できていることを意味します。
  • 能動学習: 事後分散が大きいデータ点を優先的にラベル付けする能動学習タスクにおいて、提案手法はランダムな選択や競合手法よりも効率的にモデル精度を向上させました。

5. 意義と結論

この論文は、観測されていない交絡変数が存在する因果推論において、「点推定」と「不確実性定量化」を同時に、かつ原理的に達成する初めての統一的なアプローチを提供しています。

• 実用上の意義: 医療、経済政策、自動運転など、因果推論が意思決定に直結する分野において、推定結果の信頼性を定量的に評価できることは極めて重要です。本手法は、リスクを考慮した意思決定（Selective Inference）や、限られたリソースを効率的に配分する能動学習を可能にします。
• 理論的意義: 頻度論的なカーネル推定量とベイズ的なガウス過程を、Deconditional Mean Embeddings の理論を通じて統合し、両者の長所（推定精度と不確実性定量化）を兼ね備えた新しいパラダイムを確立しました。

総じて、本研究は因果推論の信頼性を高めるための重要なステップであり、不確実性を意識した因果推論（Uncertainty-aware Causal Inference）の実用的な基盤を提供するものです。