🤖 machine learning

Use What You Know: Causal Foundation Models with Partial Graphs

本論文は、学習可能なアテンション・バイアスとグラフ畳み込みエンコーダを通じて、部分的または完全な因果グラフ情報に基づき条件付けを行うことで、専門特化したモデルの性能に匹敵させつつドメイン知識を効果的に活用することを可能にする、因果基盤モデルを強化する手法を導入するものである。

原著者： Arik Reuter, Anish Dhir, Cristiana Diaconu, Jake Robertson, Ole Ossen, Frank Hutter, Adrian Weller, Mark van der Wilk, Bernhard Schölkopf

公開日 2026-06-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Arik Reuter, Anish Dhir, Cristiana Diaconu, Jake Robertson, Ole Ossen, Frank Hutter, Adrian Weller, Mark van der Wilk, Bernhard Schölkopf

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：「全知全能」の探偵 vs 「懐疑的」な探偵

あなたが、ある特定の出来事がなぜ起きたのかを突き止めようとしている場面を想像してみてください。例えば、「もしこの患者に新薬を投与したら、症状は改善するか？」を知りたいとします。

長い間、科学者たちは、あらゆるケースに対して専用の探偵を作り上げる必要がありました。喫煙とガンの関係ならそのための探偵を、教育と所得の関係ならまた別の探偵を、という具合です。これらの探偵たちは、特定の仕事には非常に長けていましたが、それ以外のことには全く役に立ちませんでした。

最近、新しいタイプの「基盤モデル（Foundation Model）」（超スマートなAI）が登場しました。これは、図書館にあるすべての本を読み終えた**「全知全能の探偵」だと考えてください。彼らは、どんなデータを見ても、ほとんどあらゆる問いに対して答えを推測できます。これが「因果基盤モデル（Causal Foundation Model: CFM）」**と呼ばれるものです。

問題点：
この全知全能の探偵は非常に賢いのですが、現状では少し「世間知らず」です。彼らは生のデータ（犯罪現場の写真）だけを見て、何が起きたのかを推測しようとします。彼らは専門家の意見を聞きません。

例：もし探偵に「喫煙はガンを引き起こすか？」と尋ねたら、彼はデータを見て「喫眠とガンはよく一緒に見られますが、もしかするとガンが原因で喫煙しているのかもしれませんね」と言うかもしれません。なぜなら、彼は生物学的な時間軸を知らないからです。
課題： 現実の世界では、専門家は「ある程度のこと」を知っています。私たちは、喫煙がガンの前に起こることを知っています。年齢が引退よりも先に来ることも知っています。しかし、現在のAIモデルは、ゼロから作り直さない限り、こうした「専門知識」を利用することを拒んでしまいます。

解決策：探偵に「カンニングペーパー」を与える

この論文の著者たちは、次のような問いを立てました。「この全知全能の探偵に、モデルを再構築することなく、専門家のヒントを聞く方法を教えることはできるだろうか？」

彼らは、モデルが作業している最中に**「カンニングペーパー」**（部分的なグラフ）を与えられる方法を開発しました。このカンニングペラーは完璧である必要はありません。ただ、私たちが「知っていること」をモデルに伝えられればよいのです。

「カンニングペーパー」の比喩：家系図

大規模で混乱した親族の集まりで、誰が誰と親戚なのかを突き止めようとしている場面を想像してください。

従来の方法： 100人の写真を見て、誰が祖父で、誰が従兄弟で、誰が赤ちゃんなのかを推測します。間違える可能性があります。
新しい方法： あなたは次のように書かれた紙（部分的な祖先行列）を受け取ります。
- 「祖母が赤ちゃんのおばあちゃんであり、祖先であることは確実である」（これは 1）。
- 「赤ちゃんが祖母の祖先ではないことは確実である」（これは -1）。
- 「ボブおじさんと従姉妹のスーが親戚かどうかは分からない」（これは 0）。

この論文は、たとえこの「不完全な」カンニングペーパー（一部の関係が「不明」とされているもの）であっても、カンニングペーパーが全くない場合よりも、AIのパフォーマンスがはるかに向上することを示しています。

実装方法：「交通管制官」と「地図読み」

この論文では、AIにこのカンニングペーパーに従わせるために用いた、2つの具体的なテクニックについて説明しています。AIを、メモを回し合う巨大な作業員チームだと考えてください。

交通管制官（ソフト・アテンション・バイアス / Soft Attention Bias）：
通常、作業員は誰にでも自由にメモを渡します。著者は、カンニングペーパーを見る「交通管制官」を追加しました。
- もしシートに「祖母は赤ちゃんの祖先である」とあれば、管制官はそのメモに青信号を出し（AIに注意を向けるよう促す）、
- もしシートに「赤ちゃんは祖母の祖先ではない」とあれば、そのメモに赤信号を出し（AIが注意を向けすぎないように抑制する）、
- もしシートに「不明」とあれば、信号は黄色になります（AIが自分で判断できる状態にする）。
- 重要なポイント： これは強制的なルールではなく、あくまで「緩やかな後押し」です。これにより、カンニングペーパーに多少の誤りがあっても、システムは堅牢（ロバスト）であり続けます。
地図読み（グラフ畳み込みネットワーク / Graph Convolutional Network）：
これは、作業員が仕事を始める前に、家系図全体の地図を渡されるようなものです。これにより、彼らは大きな絵の中での自分の「役割」を理解できます。たとえ一人の人物だけを見ていたとしても、「ああ、自分は孫を見ているのだから、親についても考えるべきだ」といったことが理解できるようになります。

結果：なぜ「完璧」よりも「部分的」が良いのか

研究者たちは、単純な数学の問題から複雑で現実的なシミュレーションまで、多くの異なるシナリオでテストを行いました。

効果がある： モデルにカンニングペーパーを与えると、因果関係に関する予測の精度が大幅に向上しました。
柔軟性がある： モデルは、情報が100%詰まったカンニングペーパーでも、90%が空白（ヒントがわずか）なものでも、どちらにも対応できます。
「推測しない」ルール： これが最も重要な発見です。論文は、ある関係について確信が持てない場合は、間違った推測をするよりも、「不明（0）」としてマークしておく方がはるかに良いということを示しています。
- 比喩： もしあなたが運転していて、ある道が一方通行かどうか分からない場合、適当に「一方通行だ」と推測して逆走するよりも、「分からない」と仮定して慎重に運転する方が安全です。論文は、間違った推測はAIの性能を著しく低下させる一方で、「分からない」と言うことは性能への影響を最小限に抑えられることを証明しています。

まとめ

この論文は、「全知全能」のAIモデルをアップグレードし、部分的な専門知識を利用できるようにする方法を紹介しています。世界全体の完璧な地図を必要とするのではなく、空白のあるスケッチのような地図でも作業ができるようにしたのです。「交通管制官」を使って注意を導き、「地図読み」によって全体像を理解させることで、AIはより優れた探偵となり、たとえ情報が断片的であっても、「もし〜だったら？」という問いに対してより正確に答えることができるようになりました。

技術要約：Use What You Know: Causal Foundation Models with Partial Graphs（既知の情報を活用する：部分グラフを用いた因果基盤モデル）

問題提起

因果推論は伝統的に、まず（因果グラフによる）識別仮定を行い、次にそれらの仮定に合わせた専用のエスティメータを選択するという2段階のプロセスに依存してきました。近年のPrior-Data-Fitted Networks (PFN) に基づく因果基盤モデル (Causal Foundation Models: CFMs) は、因果発見と推論をアモルタイズ（償却）することで統一的なアプローチを提供しますが、現在は決定的な限界に直面しています。それは、テスト時にドメイン知識を組み込むことができないという点です。

既存のCFMは、以下のいずれかの状況にあります：

学習時の事前分布を特定の因果構造に制限している（例：バックドア調整のみのケース）。これでは、新しい仮定が必要になるたびに高価な再学習が必要となります。
あらゆる可能な構造に対して周辺化を行っている。これは、部分的なドメイン知識が存在するにもかかわらずそれを無視することになり、不必要に保守的な推定や精度の低い予測を招きます。

解決すべき中心的な課題は、基礎モデルのパラダイムとしての柔軟性を損なうことなく、汎用的なCFMがいかにして（部分的な因果情報、例えば部分的に既知の因果グラフや祖先関係などの）部分的な因果情報を推論時に条件付けできるか、という点です。

手法

1. 因果知識の表現：部分的祖先行列 (Partial Ancestral Matrices: PAMs)

著者らは、条件付け信号として部分的祖先行列 (PAMs) を用いることを提案しています。直接的な因果エッジ ( $A_{ij}=1$ ) を必要とする隣接行列とは異なり、PAMは祖先関係 ( $z_i$ が $z_j$ の祖先である場合に $T_{ij}=1$ ) をエンコードします。

利点: 祖先関係の知識は、直接的な因果メカニズム（例：喫煙が癌を引き起こすことは分かっていても、正確な生物学的経路を特定するのは困難であること）よりも堅牢であり、入手しやすい傾向があります。
部分性: 行列 $\tilde{T} \in \{-1, 0, 1\}^{K \times K}$ $\tilde{T} \in {- 1, 0, 1}^{K \times K}$ は以下を可能にします：
- $1$: 既知の祖先。
- $-1$: 既知の非祖先（例：時間的順序によって否定された場合）。
- $0$: 未知の関係。
  この表現は、知識がない場合、部分的な知識がある場合、および完全な知識がある場合のすべてを包含します。

2. アーキテクチャによる条件付けメカニズム

本論文では、PAMを介して情報を取り込むように修正されたTransformerベースのCFMアーキテクチャを導入しています。これには2つの補完的なメカニズムがあります。

構造的アテンション・バイアス (Structural Attention Biasing):
- ソフト・バイアス (Soft Bias): 学習可能なスカラーバイアス ( $\beta_{anc}, \beta_{non-anc}$ ) がアテンション・ロジットに加算されます。正のバイアスは既知の祖先への注意を促し、負のバイアスは既知の非祖先への注意を抑制します。これにより、モデルは不完全な情報に対しても頑健性を保ちつつ、因果的な親を優先することができます。
- ハード・マスキング (Hard Masking): 既知の非祖先へのアテンションを厳密に $-\infty$ に設定する代替手法です。
構造的特徴変調 (GCN):
- グラフ畳み込みネットワーク (GCN) エンコーダがPAMを処理し、構造を意識したノード埋め込みを生成します。
- これらの埋め込みは、適応型レイヤー正規化 (Adaptive Layer Normalization: AdaLN) を介して、すべてのTransformerブロックに注入され、因果グラフにおけるグローバルな構造的位置に基づいて変数の隠れ表現を変調させます。

3. 学習とデータ生成

事前分布 (Prior): 著者らは、ネイティブに因果的である表形式基盤モデル (Tabular Foundation Model: TFM) 事前分布を構築しました。これは、多様なメカニズム（MLP、XGBoost、様々な非線形関数）とノイズ分布を持つ構造的因果モデル (SCM) をサンプリングすることで、合成データセットを生成します。
アモルタイズされた学習: モデルは、欠落情報の度合いが変化する場合でも対応できるように学習されます。学習中、PAMの要素はランダムに隠蔽（0に設定）され、これによりモデルは、完全な情報、部分的な情報、または情報がない場合に対しても適応できる単一の重みセットを学習することを強制されます。

主な結果

1. 条件付けの有効性

線形ガウス型および複雑な非線形事前分布を用いた実験により、以下が示されました：

ソフト・アテンション + GCN が最も効果的な条件付け戦略であり、グラフ条件付けなし、ハード・マスキング、またはGCN単独のアプローチよりも一貫して優れた性能を示しました。
祖先行列で条件付けることは、完全な隣接行列で条件付ける場合と同等の性能を発揮し、祖先知識が実用的なプロキシ（代理指標）として機能することを検証しました。

2. 部分情報に対する頑健性

アモルタイズの効率: ランダムに隠蔽されたPAMを用いて学習された単一のモデルは、完全な情報または情報なしのデータのみで学習された専用モデルとほぼ同等の性能を発揮しました。
「無知」対「誤指定」: 不確実なエッジを「隠す（未知とする）」ことは、エッジの方向を「誤って指定する」ことよりもはるかに害が少ないという重要な知見が得られました。性能はエッジが隠されるにつれて緩やかに低下しますが、エッジが誤って指定されると急激に低下します。これは、部分的行列の実用的な価値を強調しています。

3. 半合成ベンチマーク

RealCause ベンチマーク（IHDP, ACIC, CPS, PSID）において：

非交絡性 (unconfoundedness) をエンコードする部分的な祖先情報を提供することは、グラフ条件付けなしのモデルと比較して、性能（ $\sqrt{PEHE}$ および相対的なATE誤差で測定）を大幅に向上させました。
グラフ条件付けを行ったモデルは、Do-PFNやCausalFMといった専門的なベースラインをほとんどのデータセットで上回りました。
CausalPFNがRealCauseにおいて最高の全体性能を達成していますが、これはグラフ条件付けによるものではなく、事前分布の整合性（CausalPFNの学習データがRealCauseのデータ生成プロセスを模倣していること）に起因すると著者らは指摘しています。グラフ条件付けを導入すると、彼らのモデルはCausalFMやDo-فNを凌駕します。

4. 専用モデルとの比較

バックドア基準が違反されている設定（CausalPFNやCausalFMのような専用モデルが誤った仮定に依存してしまう設定）において、グラフ条件付けを行ったCFMは大幅な優位性を示しました。これは、利用可能な部分的な構造を活用することで、識別不可能なケースにも対処できる能力を証明しています。

意義と主張

本論文は、「あらゆる種類のドメイン知識を効果的に活用しながら、データ駆動型の形式で因果クエリに答えることができる」という、オールインワンの因果基盤モデルの開発における中心的な障壁に対処したと主張しています。

統一されたフレームワーク: 単一のCFMが、再学習することなく、観測データと様々なレベルの因果知識（なし、部分、または完全）に柔軟に条件付けできることを示しました。
実用的な有用性: 部分的祖先行列を用いることで、このアプローチは、精密なグラフを必要とする伝統的な因果推論の厳格さと、ドメイン知識を無視してしまう現在の基盤モデルの「ブラックボックス」的な性質との間の溝を埋めます。
限定的な範囲: 著者らは、一部の指標における絶対的な性能向上が小さいこと（これは事前分布における因果効果が小さいためであるとされている）を認めており、本手法は将来の堅牢な因果効果推定モデルのための実現可能かつ効果的な基礎を確立するものであるとしています。また、現在の研究は完全に観測された変数に焦点を当てており、隠れた交絡因子についてはまだ扱っていないことを明記しており、それは将来の「オールインワン」の開発に委ねられています。