技術的サマリー：事前データ適合ネットワークによる因果感度分析の償却

1. 問題定義

観測データからの因果推論は、観測されていない交絡がないという検証不可能な仮定に依存している。因果感度分析は、観測されていない交絡の強さに関する仮定を感度レベル $\Gamma$ でパラメータ化し、因果効果推定量（例えば、条件付き平均潜在結果 CAPO）に対する境界値を提供することで、この問題に対処する。

これらの境界値を計算する既存の方法は、本質的にインスタンスごとの手続きである。データセット、因果クエリ、処置群、または感度レベル $\Gamma$ のいずれかが変更されるたびに、新たな計算コストの高い最適化をインスタンス化する必要がある。これは感度分析の実用的な応用を制限し、仮定の変化に伴う結論の推移を探求するための体系的なツールというよりも、最終的なチェックとして扱われることが多くなっている。核心的な課題は、これらの反復的で高コストな最適化を、再学習なしに多様なデータセットやクエリを処理できる高速な償却推論メカニズムに置き換えることである。

2. 手法

著者らは、コンテキスト内学習を行うファウンデーションモデルの一種である事前データ適合ネットワーク（PFN）を用いた償却アプローチを提案する。手法は主に 3 つの構成要素からなる。

2.1. 償却予測タスク

テスト時に最適化問題を解く代わりに、著者らは PFN を訓練し、データセット $D_N$、因果クエリ $(x, a)$、および感度レベル $\Gamma$ から、直接、下限および上限の感度境界（$\theta^-$ および $\theta^+$）の事後予測分布（PPD）へのマッピングを学習させる。
$$D_N, x, a, \Gamma \longrightarrow \text{PPD}(\theta^-), \text{PPD}(\theta^+)$$
これにより、モデルはインスタンスごとの最適化を必要とせず、単一のフォワードパスを通じて新しい入力に対する境界を予測できるようになる。

2.2. 汎用事前データ構築（ラベル生成）

感度分析のための PFN の訓練における重要な障壁は、点同定される因果推論とは異なり、感度境界はデータ生成過程（DGP）から直接得られるものではなく、非自明な最適化を通じて計算されなければならない点である。著者らは、Marginal Sensitivity Model (MSM)、$f$-感度モデル、および Rosenbaum の感度モデルを含む汎用処置感度モデル（GTSMs）のクラスに適用可能な汎用事前データ構築を導入する。

この構築には以下の手順が含まれる：

1. SCM のサンプリング: 事前分布 $\Pi_S$ から合成構造因果モデル（SCM）をサンプリングし、観測データセットを生成する。
2. ラグランジュスカラー化: これらの合成 DGP に対する訓練ラベル（$\theta^-$、$\theta^+$）を生成するために、著者らは境界計算を多基準最適化問題として定式化する。因果効果の最小化/最大化と、感度モデル制約の違反の最小化とのトレードオフを図る。
   • 目的関数はラグランジュ乗数 $\lambda$ を用いてスカラー化される：
     $$\mathcal{L}^\uparrow_\lambda(P) = Q(P(Y(a)|x)) - \lambda \Delta_{x,a}(P)$$
     $$\mathcal{L}^\downarrow_\lambda(P) = -Q(P(Y(a)|x)) - \lambda \Delta_{x,a}(P)$$
   • $\lambda$ を高値から低値へ掃引することで、この手法は $(\Gamma, \theta)$ 平面における解のパレートフロンティアを追跡する。
3. ウォームスタート最適化: パレートフロンティアを効率的に計算するために、著者らはウォームスタート戦略を採用する。これは、与えられた $\lambda$ に対する解が、次の $\lambda$ に対する最適化の初期値となるものである。理論的解析（定理 1）は、標準的な凸性と線形性の仮定の下で、この掃引が完全なパレートフロンティアを回復することを示している。
4. 次元削減: 完全な分布に対する最適化は、再パラメータ化構築を用いて、単一の条件付き潜在分布 $P(U | x, A \neq a)$ に対する実行可能な最適化に削減される。これにより、従来の GTSM 手法で必要とされていた 2 段階のニューラル密度推定を回避できる。

2.3. ファウンデーションモデルの訓練

PFN は、合成事前データペア（データセット、クエリ、$\Gamma$）と計算された感度境界ラベルを用いて訓練される。モデルアーキテクチャは、2 つの出力ヘッド（下限および上限用）を持つトランスフォーマーを使用し、それぞれがガウス混合分布をモデル化して、不確実性を考慮した予測を提供する。また、予測された境界が $\Gamma$ に対して正しく振る舞う（すなわち、$\Gamma$ が増加するにつれて境界が広がる）ことを保証するため、ソフトな単調性正則化子が適用される。

3. 主要な貢献

1. 事前データラベル構築: ラグランジュスカラー化を用いた感度境界の訓練ラベルを生成する汎用スキーム。このアプローチはモデル固有の解析的導出を回避し、凸性の条件下で理論的に完全なパレートフロンティアを回復する。
2. 因果感度分析における初のファウンデーションモデル: 感度境界のコンテキスト内学習を行うファウンデーションモデルとしての PFN の訓練。データセット、クエリ、感度レベルが与えられた場合、境界の PPD を直接予測する。
3. 実証的検証: 償却アプローチが、Marginal Sensitivity Model (MSM) を含む様々な設定において感度境界を正確に近似し、テスト時の計算がインスタンスごとの手法に比べて数桁高速であることを実証。

4. 結果

• 精度: 保持された合成データセットにおいて、PFN は Marginal Sensitivity Model (MSM) の解析的境界と密接に一致する。事後予測区間は適切に較正されており、実証的なカバレッジ率（例えば、上限に対して 90.3%）は名目レベルに近い。
• 効率性: 償却アプローチは、高コストなインスタンスごとの最適化を単一のフォワードパスに置き換える。バッチ処理されたフォワードパスの中央値の推論時間は約 2.9 秒であり、既存の手法が要求する反復最適化と比較して大幅に高速である。
• ウォームスタートの有効性: 実験により、ラベル生成のためのウォームスタート最適化戦略は、コールドスタート手法と比較して後悔（regret）を 1.90 倍削減し、かつ著しく高速であることが示された。
• 不確実性の定量化: モデルは完全な事後予測分布を出力し、単なる点推定ではなく、不確実性を考慮した推定量を提供する。

5. 意義と主張

本論文は、因果感度分析における初のファウンデーションモデルを提示すると主張している。その主な意義は、インスタンスごとで計算集約的な感度分析から、償却されたコンテキスト内学習フレームワークへとパラダイムを転換することにある。

• 実用的影響: 多数の因果クエリおよび感度仮定に対する高速な評価を可能にすることで、感度分析を最終的な孤立したチェックではなく、体系的な意思決定のための実用的なツールとして機能させる。
• 汎用性: 事前データ構築は特定の感度モデルに依存しないため、このアプローチは GTSMs のクラスに広く適用可能である。
• 限界: 著者らは控えめに、性能はテスト時のデータに対する合成事前分布のカバレッジに依存すると指摘している。理論的構築は、感度発散の凸性と因果クエリの線形性に依存している。現在の実装は二値処置とスカラー出力に焦点を当てており、閉形式の境界を持たないモデルに対するラベル生成は、モンテカルロノイズにさらされる最適化ベースの近似に留まっている。

要約すると、この研究は因果感度分析の計算コストを「償却」するための原理的な手法を提供し、観測研究における観測されていない交絡のスケーラブルかつ体系的な評価を可能にする。