🤖 AI

Foundation Models for Partial Causal Identification

本論文は、未観測の交絡因子が存在する状況下での部分的に識別可能な因果効果の境界推定という問題を、データと仮定から因果クエリへと写像する関数の分布を学習することへと変換するために、構造的因果モデルに対する標準的な事前分布を定義する因果基盤モデルフレームワークを提案するものである。

原著者： Alexis Bellot, Anish Dhir

公開日 2026-08-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alexis Bellot, Anish Dhir

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

データサイエンスの世界において、研究者はしばしば、見えているものと知りたいことの間のもどかしい溝に直面します。例えば、数千人の患者の症状、治療、経過を記録しているものの、治療をランダムに割り当てる対照実験を行ったことがない医師を想像してみてください。その医師は、「もし特定の患者が別の薬を投与されていたら、回復していただろうか？」ということを知りたがっています。これは因果関係に関する問いですが、データは実際に起こったことのみを示しており、異なる状況下で何が起こったかまでは示していません。通常、このような問いに確信を持って答えるためには、科学者はデータがどのように生成されたかという正確な隠れた規則を知る必要があります。これらの規則を知らない限り、答えは単一の数値ではなく、可能性の範囲となることがよくあります。この不確実性は「部分的識別（partial identification）」と呼ばれ、長らく研究者に、新しい問題ごとにカスタムの使い捨ての解決策を構築することを強いてきました。これは、多くの重要な問いに答えられないまま放置される、遅くて断片的なプロセスです。

研究チームは現在、これらのトリッキーな問いに対するユニバーサルなソルバーとして機能する、新しいアプローチを開発しました。新しいデータセットごとに独自の数学的公式を作り上げる代わりに、彼らは、あらゆる因果関係のシナリオの風景を学習するために、単一の強力なコンピュータモデルを訓練しました。このモデルは、「構造的因果モデル（structural causal models）」、つまり変数がどのように互いに影響を及ぼし合うかを示す詳細な地図を基礎として構築されており、膨大な合成例のライブラリを用いて学習されました。研究者たちは、変数がカテゴリやカウントのような離散的なものである限り、モデルがデータの生成方法として考え得るあらゆる方法を考慮することを保証する、特定の種類の数学的な出発点、すなわち「事前分布（prior）」を作成しました。これら数百万もの合成シナリオを用いて訓練することで、モデルは現実世界のデータセットを見て、起こりうる答えの全範囲を捉えた確率分布を即座に出力することを学習したのです。

その結果、このシステムは、観測データと、「もしこの変数を変えたらどうなるか」といった仮説的な介入に関する特定の問いを受け取り、答えに対して数学的に保証されたタイトな境界（bound）を返すことができます。実験において、研究者たちは、伝統的な遅い数学的手法によって正解がすでに分かっている単純な2変数システムを用いて、このシステムをテストしました。新しいモデルは、従来のメソッドと同等の精度を出しつつ、それをわずかな時間で実現しました。従来のアプローチが1つの答えを計算するのに1,000ミリ秒以上かかっていたのに対し、新しいモデルは、データ量が増大しても、10ミリ秒未満で結果を届けました。より重要なことは、モデルの出力が単なる推測ではなかったことです。データ量が増えるにつれて、提示される答えの範囲は縮まり、数学的に正しい真の限界へと正確に収束していきました。

この研究は、因果推論における不確実性の扱い方に大きな転換をもたらしています。以前は、複雑なシステム内の隠れた交絡因子がある中で、因果効果の境界を知りたい場合、研究者はゼロから新しい最適化問題を導出しなければならず、それは深い専門知識を必要とし、エラーも起こりやすい作業でした。新しい手法は、この特注の導出を、学習された能力へと置き換えます。研究者たちは、「カノニカル（標準的）」な可能性の集合を用いて訓練することで、モデルが知識の限界を定義するパターンを認識することを学習できることを実証しました。新しいデータに直面したとき、モデルは単一の値を予測するのではなく、データと因果律の法則に矛盾しない値の全集合をマッピングします。これは、あらゆる観測データに対して、モデルが真の答えを含む有効でタイトな区間を提供できることを意味し、困難なカスタムの数学的パズルを、高速で標準的な予測タスクへと変えるものです。

このアプローチの影響は、速度の面だけに留まりません。異なる種類の因果的クエリやデータセットにわたって機能するユニバーサルなツールを提供することで、研究者たちは、部分的識別のための基盤モデルを作り上げました。これは、同じ基礎的なシステムが、それぞれの分野に合わせて再設計されることなく、経済学、疫学、あるいは人工知能における問いに適用できることを意味します。モデルが単一の点推定値ではなく、起こりうる答えの分布を学習できる能力は、現実世界の固有の不確実性を尊重しています。それは、データだけでは何が起こったかを正確に語れない場合があることを認めつつ、何が可能であるかを正確に伝えることができます。そうすることで、観測できない要因による霧の中をナビゲートするための、堅牢で原理的な方法を提供し、意思決定者に対して、真実が必ず存在するはずの明確で数学的に裏付けられた境界線を示すのです。

技術要約：部分的因果識別のための基盤モデル

問題提起

因果推論はしばしば**識別可能性（identifiability）の課題に直面します。すなわち、因果的なクエリ（例：反事実的確率や介入効果）が、たとえ大標本極限においても、観測データから一意に計算できない場合があります。これは特に、未観測の交絡因子が存在する場合に顕著です。このような場合、目標は点推定から部分的識別（partial identification）**へと移行します。ここで、目的は、観測されたデータと構造的仮定と整合するすべての値を含む、最もタイトな範囲（「識別集合」）を決定することになります。

既存の部分的識別手法は、高度に断片化されています。歴史的に、特定の因果構造、クエリ、およびデータ型に対して境界（bounds）を導出するには、個別の導出と個別の最適化実行が必要でした。近年の**因果基盤モデル（Causal Foundation Models: CFMs）**は、事前データ適合ネットワーク（PFNs）を用いて因果量に関する分布を学習することに成功していますが、それらは主に点識別可能な領域で動作してきました。これらを部分識別設定に適用した場合、既存のアプローチは原理的な境界を提供できないことがよくあります。なぜなら、それらの事前分布は、データと整合するすべての構造的因果モデル（SCM）に対して完全なサポート（full support）を保証しておらず、有効な反事実的値を排除してしまう可能性があるためです。

手法

本論文は、部分的識別のためのユニバーサルな基盤モデルを提案します。このモデルは、因果クエリに関する事後分布を出力し、その分布のサポートは識別集合を理論的に符号化します。本手法は、以下の3つの柱に基づいています。

1. 完全なサポートを持つ標準的事前分布

観測データと整合するすべてのSCMを考慮することを確実にするため、著者らは離散的な観測量を持つSCMの空間に対して標準的事前分布（canonical prior） ( $\Pi_0$ ) を定義します。

標準的SCM: 離散的な観測量を持つ任意のSCMは、外生変数のカテゴリカル確率質量関数によってパラメータ化された標準的SCMによって等価的に表現できるという結果（Zhang et al., 2022）を活用し、著者らは表現が完全なパラメータ空間を定義します。
事前分布の構成: 事前分布 $\Pi_0$ $Π_{0}$ は、因果グラフ ( $G$ $G$ ) と標準的パラメータ ( $\theta$ $θ$ ) の結合空間上で定義されます。
- グラフ構造 $G$ は、エルデシュ・レーニィ・モデル（ベルヌーイ辺確率）からサンプリングされます。
- 外生パラメータ $\theta$ は、ディリクレ分布からサンプリングされます。
完全サポート特性: 主要な理論的結果（命題1）は、この標準的事前分布がすべてのSCM ( $\mathcal{M}$ ) の空間に対して**完全なサポート（full support）**を持つことを証明しています。これにより、観測された分布と整合するSCMがいかなる場合も、事前においてゼロの確率が割り当てられないことが保証されます。これは、有効な境界を導出するための重要な要件です。

2. 事前データ適合ネットワーク（PFNs）

著者らは、合成データから事後分布を直接近似するために、**事前データ適合ネットワーク（Prior-Data Fitted Network）**を採用しています。

アーキテクチャ: 変数の値、型（介入か観測か）、および相関を保持する入力埋め込みを備えた、トランスフォーマーベースのアーキテクチャを使用しています。モデルは、サンプルごとのアテンションと特徴量ごとのアテンションを交互に用いたメカニズムを利用しています。
学習体制: モデルは、 $(D_n, \Psi)$ $(D_{n}, Ψ)$ のペアの合成バッチを用いて学習されます。
- $D_n$ : 標準的事前分布 $\Pi_0$ から描かれたSCMからサンプリングされた観測データセット。
- $\Psi$ : 生成されたSCMから計算された真の反事実的クエリ。
目的関数: ネットワークは、データセット $D_n$ が与えられたときのクエリ $\Psi$ に対する離散分布（ $[0, 1]$ 上でビン分割されたもの）を予測することを学習し、事後サポートの推論を実質的にアモルタイズ（amortize）します。

3. 構造的仮定の取り扱い

本フレームワークは、因果図に関する部分的または完全な知識がある設定にも拡張可能です。PFNを $(G, D_n, \Psi)$ のタプルで学習させることにより、特定の因果構造や同値類を条件付けることができ、定性的な知識を活用して境界をタイトにすることができます。

主な貢献

標準的事前分布の定義: 離散的な観測量を持つSCMに対する完全なサポートを持つ標準的事前分布の定義。これにより、有効かつ漸近的にタイトな境界の導出が可能になります。
部分的識用のためのユニバーサルソルバー: 観測データセットが与えられると、そのサポートが完全な識別集合を捉える事後分布を出力する基盤モデルの開発。これは、問題固有の導出を必要とする従来の手法とは対照的です。
理論的保証:
- 一致性（定理1）: データサイズ $n \to \infty$ のとき、PFNの予測分布は、正確なベイズ事後分布に対応する条件付き事前分布 $\Pi_0(\Psi | P_M)$ に弱収束します。
- 頻度論的被覆率（定理2）: PFNから導出されるベイズ信用区間は、識別集合に対して漸近的な頻度論的被覆率を達成します。
- 普遍性（系1）: モデルによって誘導される100%のベイズ信用区間は、漸近的に真の識別集合に収束します。

結果

著者らは、解析的な境界（例：Manski境界、Tian & Pearl境界）が既知であるバイナリ2変数システムを用いて、提案された因果基盤モデル（CFM）を評価しています。

精度: 予測された事後分布は、解析的に導出された識別集合に集中します。
被覆率: 様々なコンテキストサイズ（ $n$ ）における実験において、CFMは1.00に近い被覆率（例：0.99–1.00）を達成しており、これはこのタスクに適応させたギブスサンプラー（Zhang et al., 2022）の性能と同等、あるいはそれを上回っています。
効率性: CFMは、ギブスサンプラーと比較して推論時間の著しい短縮を示しています。例えば、 $n=400$ の場合、CFMの推論時間は約25msであるのに対し、ギブスサンプラーは約1521msを要します。
拡張性: 3変数操作変数グラフに関する追加の実験により、高い被覆率とタイトな区間幅を維持しながら、より複雑な構造を扱うモデルの能力が確認されました。

意義と主張

本論文は、因果基盤モデルのパラダイムを、部分的に識別可能な因果効果の推定へと拡張することを主張しています。反事実的境界の推定問題を、「データから因果クエリへの写像となる関数」の上の分布学習へと変換することにより、著者らは、問題固有の境界を導出することなく、幅広い種類のクエリ、データセット、および構造的仮定を処理できる単一のモデルを可能にしました。

その意義は、**部分的識用のアモルタイゼーション（amortization）**にあります。新しいデータセットやクエリごとに新しい最適化問題を解く代わりに、提案手法は、漸近的に有効でタイトな境界を提供するユニバーサルなソルバーを学習します。完全なサポートを持つ標準的事前分布の使用は、以前の基盤モデルと区別する極めて重要なメカニズムとして提示されており、得られる境界がデータ駆動であるだけでなく、観測事項と整合するあらゆる可能な因果メカニズムの空間において理論的に裏付けられていることを保証しています。