🤖 machine learning

A Causal Foundation Model for Structure and Outcome Prediction

本論文は、合成データで学習され、因果構造と結果を同時に予測するとともにパール（Pearl）の因果階層のあらゆるレベルにわたるクエリをサポートし、実世界のデータセットへと汎化する因果基盤モデルであるTabPFN-CFMを紹介するものである。

原著者： Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

公開日 2026-06-26

📖 1 分で読めます☕ さくっと読める

原著者： Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、古い整理されていない写真（観測データ）だけを手にし、目撃者の証言も一切持たない、謎を解こうとしている探偵だと想像してください。あなたには2つのことを突き止める必要があります：

ストーリー： 誰が何を引き起こしたのか？（雨が草を濡らしたのか、それとも誰かがバケツをひっくり返したのか？）
「もしも」の問い： もし違うことをしていたら、どうなっていただろうか？（もしバケツをひっくり返していなかったら、草はまだ濡れていたのだろうか？）

通常、これを解決するには、人間の専門家が世界のルールを推測するか、あるいはコンピュータが何百万もの推測を一つずつ試していく必要があります。この論文では、すでに何百万もの「作り話のミステリー・ストーリー」が詰まった図書館を読み終えた、新しい種類の「スーパー探偵」AIであるTabPFN-CFMを紹介しています。これほど多くのシナリオを見てきたため、このAIはあなたの散らかった写真を見て、即座にストーリーを推測し、「もしも」の問いにも答えることができるのです。

その仕組みを、シンプルな概念に分解して説明します：

1. 「因果基礎モデル（Causal Foundation Model）」（スーパー探偵）

このモデルを、合成された（架空の）世界という膨大な図書館を一生かけて研究してきた学生だと考えてください。これらの架空の世界では、作者たちがさまざまな異なるルールを作成しました。時には重力が異なって働いたり、時には人々がランダムに行動したり、時には隠れた要因（秘密のエージェントのようなもの）が事態をめちゃくちゃにしたりします。

この学生は非常に多くのバリエーションを見てきたため、本物のデータセット（売上数値や学校の成績など）を見せられたとき、ルールを一から学習する必要はありません。彼らはただ、「ああ、これは私のライブラリにあるシナリオ番号4,592に似ているな」と言い、おそらく起こったであろう因果関係を即座に理解するのです。

2. 3つのレベルのミステリーを解く

この論文は、このモデルが「因果階層（Causal Hierarchy）」と呼ばれる3つの異なるタイプの質問を扱えることを主張しています。

レベル1：観察者（何が起きているのか？）
- 問い： 「データを見ると、誰かが赤いシャツを買うと、帽子も買いますか？」
- モデルの役割： 見えているものに基づいて結果を予測します。
レベル2：介入者（何かを変えたらどうなるか？）
- 問い： 「もし私が全員に（たとえ買うつもりがなくても）赤いシャツを買うよう強制したら、彼らは帽子を買うでしょうか？」
- モデルの役割： これはトリッキーです。現実の世界ではそのようなことは行われませんでした。モデルは変化をシミュレートして結果を予測します。
レベル3：タイムトラベラー（過去が違っていたらどうなっていたか？）
- 問い： 「ジョンは帽子と赤いシャツを買いました。しかし、もし彼が赤いシャツを買っていなかったとしたら、彼はそれでも帽子を買ったでしょうか？」
- モデルの役割： これは最も難しいステップです。他の事実を固定したまま、シミュレーションの中で時間を巻き戻す必要があります。論文によれば、このモデルはこれを上手に行える数少ないモデルの一つです。

3. 「隠れた悪役」（観測されない交絡因子）

現実世界の多くのミステリーには、目に見えない「隠れた悪役」が存在します。例えば、隠れた要因（「富」など）が、赤いシャツを買うことと帽子を買うことの両方を引き起こしているかもしれません。もしあなたが「富」という存在を知らなければ、シャツが帽子を引き起こしたと誤解してしまうかもしれません。

この論文では、ADMG（非巡回有向混合グラフ）と呼ばれる特別なツールを紹介しています。これは、2種類の線を引く地図のようなものです：

矢印： 直接的な因果関係を示す（AがBを引き起こす）。
両端に付いた波線： 「隠れた悪役」を示す（AとBの両方が、あなたには見えない何かによって影響を受けている）。

TabPFN-CFMは、隠れた悪役がどこにいるのかを自動的に推測し、たとえ教えてもらっていなくても、これらの波線を引くことができるユニークなモデルです。

4. 「カンニングペーパー」の使用（既知のグラフ）

時には、ストーリーの一部が分かっていることもあります。例えば、専門家が「AはBを引き起こすことは確かだ」と教えてくれた場合です。

論文では、この情報をモデルに与える（まるで探偵にカンニングペーパーを渡すように）と、モデルの予測がさらに向上することを示しています。モデルはこの既知の構造を利用して、残りのミステリーに関する推測を洗練させていきます。

5. 学習方法（トレーニング）

このモデルは、最初は人間の実データで学習されたのではありません。代わりに、研究者たちはコンピュータプログラムを書いて、ランダムなルール、ランダムなノイズ、そして隠れた変数を持つ数十万もの架空のデータセットを生成しました。

モデルに対し、架空のデータセットを見て、その構造（マップ）と結果（アウトカム）を推測するように教えました。
モデルが、これら3つのレベルの問い（観察者、介入者、タイムトラベラー）すべてに対して同時に機能するように訓練しました。
結果： 実データ（Amazonの売上やロースクールへの入学など）でテストした際、このモデルは従来のメソッドよりも優れた性能を発揮しました。特に「もしも」の問いにおいて顕著でした。

6. 「スピードアップ」（エンジンの改良）

著者らはまた、モデルの「エンジン」（アーキテクチャ）を微調整したことについても述べています。不要な部分を取り除き、新しいトレーニング手法（「Muon」と呼ばれるより優れた最適化手法や、「ReLU2」と呼ばれる新しい活性化関数など）を追加しました。

比喩： 車のエンジンをアップグレードすることを想像してください。彼らは単に車を速くしただけでなく、燃料（計算能力）を節約しながら、4倍速く最高速度に到達できるようにしました。これは、モデルがはるかに効率的に学習できることを意味します。

主な主張のまとめ

構造を予測する： 因果関係のマップを描き、隠れた要因も含めて特定します。
結果を予測する： 「Xを変えたらどうなるか？」という問いに答えます。
反事実（カウンターファクチュアル）を扱う： 「もしXが違っていたらどうなっていたか？」という問いに答えます。
既知のマップを活用する： 部分的なマップを与えられれば、それを精度向上のために利用します。
汎用性がある： 架空のデータで学習されていても、現実世界のデータに対してうまく機能します。
高速である： 新しいトレーニング手法により、学習効率が3〜4倍向上しています。

この論文は、これが医療診断や法廷で使用できる段階にあるとは主張していません。あくまで、テストされたデータセット（合成数学問題、Amazon売上、ロースクール入学）において、この新しい「スーパー探偵」が、因果関係を解明するための既存のベストツールよりも優れていることを主張しています。

技術要約: TabPFN-CFM

問題提起

観測データから因果構造を決定し、因果的結果を予測することは、機械学習および統計学における重要な課題であり続けている。既存の手法は通常、これらのタスクを個別に扱っている。すなわち、構造予測（因果グラフの学習）に焦点を当てるものもあれば、結果予測（介入の効果の推定）に焦点を当てるものもある。さらに、多くの手法は未観測の交絡変数を扱うことに苦慮しており、それがグラフの識別不能性や結果推定のバイアスにつながることがある。加えて、現在のモデルの多くは、パール（Pearl）の因果階層（観測、介入、反事実）で定義される全スペクトラムの因果クエリをサポートする能力に欠けている。

手法

著者らは、観測データから因果構造と結果を同時に予測するように設計された因果基盤モデルである TabPFN-CFM を導入する。このアプローチは、ベイズ的関数上の事前分布（Prior-Over-Functions: PFN）フレームワークに基づいている。

コアフレームワーク

本モデルは、基礎となるシステムが構造的因果モデル（SCM） $\psi = \{U, V, F\}$ に従うと仮定する。ここで、 $U$ は未観測変数、 $V$ は観測変数、 $F$ は構造方程式を表す。モデルは、観測データセット $D_{obs}$ と（オプションである）グラフの事前知識 $G_{est}$ から、事後分布 $P(\psi | D_{obs}, G_{est})$ を近似するように訓練される。

データ生成と訓練

合成事前分布: モデルは、様々な SCM から生成された合成データセットを用いて訓練される。この事前分布には、ランダムなグラフ構造（DAG）、欠損ノード、多様なノイズ分布、およびランダムな重みと非線形性を備えたニューラルネットワークによって定義される構造方程式が含まれる。
タスク定式化: 各訓練サンプルは、適合セット（ $D_{fit}$ $D_{f i t}$ ）、予測クエリ（ $D_{pred}$ $D_{p r e d}$ ）、および反事実サンプル（ $D_{causal}$ $D_{c a u s a l}$ ）で構成される。モデルは以下の3つのクエリタイプを同時に処理するように訓練される：
1. 観測クエリ (Observational Query): $P(y^* | x^*, T=t^*)$ の予測。
2. 介入クエリ (Interventional Query): $P(y^* | x^*, do(T=1-t^*))$ の予測。
3. 反事実クエリ (Counterfactual Query): $P(y^* | x^*, do(T=1-t^*), y=y^*)$ の予測。
グラフの取り扱い: モデルは、未観測の交絡を表現するために双方向エッジを用いる 非巡回有向混合グラフ (ADMG) を利用する。これにより、モデルはすべての変数が観測されていると仮定することなく、交絡構造を予測することが可能になる。

アーキテクチャ

TabPFN-CFM は、明示的なグラフ条件付けを備えた Do-PFN アーキテクチャを拡張したものである：

エンコーダ (Encoder): 適合セット、予測クエリ、および事前 ADMG 構造（隣接行列 $A$ 、双方向行列 $C$ 、および祖先行列 $R$ ）を埋め込む。グラフエンコーディングは、親、子、祖先、および子孫の関係への直接的なアクセスを提供する。
Transformer バックボーン: 行方向および列方向のアテンションメカニズムを利用する。決定的な点として、予測モジュールはグラフの埋め込みにアテンションを向けるため、予測にグラフの事前分布を組み込むことができる。
出力:
- 結果予測 (Outcome Prediction): 離散化されたアウトカムバケットに対するロジットを生成するヘッド。
- 構造予測 (Structure Prediction): 有向隣接行列 ( $\hat{A}$ )、双方向相関行列 ( $\hat{C}$ )、および祖先行列 ( $\hat{R}$ ) の要素ごとの予測を生成するデコーダ。
訓練の効率化: 著者らは、ベースラインの構成と比較して訓練速度を約3〜4倍向上させた、いくつかのアーキテクチャおよび訓練の最適化（例：Muon オプティマイザ、ReLU2 活性化関数、事前レイヤー正規化）を実装した。

損失関数

モデルは以下の結合損失関数を用いて最適化される：
$L = L_{pred} + \lambda \cdot L_{graph}$
ここで、 $L_{pred}$ は結果予測のためのクロスエントロピー損失であり、 $L_{graph}$ は構造予測（隣接、祖先、および交絡行列）のためのバイナリクロスエントロピー損失である。付録の理論的証明によれば、グラフ入力を条件として含めることは、事後精度の向上（または維持）のみをもたらし、対数確率の最小化は真の事後分布への KL ダイバージェンスの最小化と等価であることが示されている。

主な貢献

統一された因果基盤モデル: TabPFN-CFM は、単一の基盤モデルの枠組み内で、パールの因果階層の全3レベルにわたって、因果構造と結果の両方を同時に予測する初のモデルである。
未観測の交絡の処理: ADMG を採用することで、モデルは未観測の交絡変数を明示的に予測し、既存のディープラーニングによる因果構造学習手法の限界に対処している。
グラフ条件付き推論: 既知のグラフ構造が利用可能な場合にはそれを活用して予測精度を向上させる一方で、グラフが未知の場合でも堅牢性を維持する。
効率性の向上: 洗練された訓練手順とアーキテクチャの変更により、従来のベースラインと比較して、ほぼ4倍速い訓練収束を実現した。

実験結果

モデルは、合成データセット（イン分布およびアウトオブディストリビューションの両方）および実世界のデータセット（Amazon Sales および Law School Admissions）を用いて評価された。

結果予測 (Outcome Prediction):
- 合成 OOD SEM において、TabPFN-CFM は、介入および反事実の設定において、確立されたメタ学習器（S-, T-, X-, DR-learners）および Do-PFN よりも低い平均二乗誤差 (MSE) を達成した。
- Law School Admissions データセットにおいて、モデルは反事実情報を利用することで反事実設定における精度を大幅に向上させ、そのような予測ができないベースラインを上回った。
構造予測 (Structure Prediction):
- TabPFN-CFM は、隣接行列、祖先行列、および交絡行列の予測において、強力なベースライン（FCI, GES, LiNGAM, PC, AVICI）を上回った。
- 特に OOD 合成データにおいて、モデルは隣接行列で 0.889、交絡行列で 0.828 の AUROC を達成し、これは次に優れた性能を示した AVICI（それぞれ 0.623 および 0.563）を大幅に上回る数値である。
グラフ条件付け (Graph Conditioning): 真のグラフ構造を入力として提供することは、介入および反事実の設定において性能を向上させたが、観測的予測への影響は無視できる程度であり、これは因果理論と一致している。

重要性

本論文は、TabPFN-CFM が因果推論タスクを統合するための前進であることを主張している。多様な因果システムの事前分布に対して単一のモデルを訓練することで、このアプローチは、基盤モデルが特定の事前分布に過学習することなく、現実世界の因果問題に汎化できることを示している。未観測の交絡を扱い、反事実クエリをサポートできる能力は、機械学習におけるより堅牢な因果推論への道筋を示唆している。著者らは、現在の研究は非巡回構造に焦点を当てているが、将来的な拡張によって時系列や循環的な因果設定にも対応できる可能性があると述べている。