Bayesian Invariance Modeling of Multi-Environment Data

以下は、論文「Bayesian Invariance Modeling of Multi-Environment Data」の技術的な要約の日本語訳です。

問題提起

本論文は、マルチ環境データにおける**不変変数選択（invariant variable selection）**の課題に取り組んでいる。多くの統計学および機械学習の設定において、データは異なる環境（例：異なる病院、実験条件、または時期）にわたって収集される。標準的な変数選択手法は、観測されたデータの特定の分布の下でアウトカムを説明する予測因子を特定する。しかし、これでは、新しい設定へと汎化できない、環境固有の関連性と安定した因果関係を混同してしまうことが多い。

目標は、特徴量自体の周辺分布が変化する場合でも、アウトカムとの条件付き関係がすべての環境において安定（不変）している特徴量のサブセットを特定することである。従来の手法は、仮説検定（例：Invariant Causal Prediction, ICP）や正則化最適化を通じてこれにアプローチしてきたが、高次元における計算のスケーラビリティに苦慮したり、不確実性定量化のための統一された確率的枠組みを欠いたりすることが多い。

手法：ベイズ不変予測（Bayesian Invariant Prediction, BIP）

著者らは、不変な特徴量選択をベイズ推論問題として捉える確率モデルである**ベイズ不変予測（BIP）**を提案している。

1. モデル構造と仮定
BIPは、データ生成過程に関する2つの核心的な仮定に基づいている。

• 特徴量の異質性（Feature Heterogeneity）： 特徴量の分布は環境ごとに異なる。
• アウトカムの不変性（Outcome Invariance）： アウトカム $y$ は、特定の（不変な）特徴量のサブセットに依存するが、その依存の仕方はすべての環境で共通である。

モデルは、不変な特徴量セットを、バイナリ選択ベクトル $z \in \{0, 1\}^p$ によってエンコードされた潜在変数として扱う。潜在的なセレクターと観測データ $D$ の結合分布は、次のように分解される：
$$p(z, D) = p(z) \prod_{e=1}^E \prod_{i=1}^{n_e} p_e(x_{z, ei}) \, g(y_{ei} | x_{z, ei}) \, p_e(x_{-z, ei} | x_{z, ei}, y_{ei})$$
決定的なことに、選択された特徴量に対するアウトカムの条件付き分布 $g(y|x_z)$ は、すべての環境で**プール（統合）**され共有される一方で、特徴量分布 $p_e$ は環境固有である。

2. 事後分布の定式化
モデルは、不変なセレクター $z$ に関する簡略化された事後分布を導出する：
$$p(z | D) \propto p(z) \prod_{e=1}^E \prod_{i=1}^{n_e} \frac{g(y_{ei} | x_{z, ei})}{p_e(y_{ei} | x_{z, ei})}$$
この式は、ある特徴量セットの事後確率は、事前分布に、プールされた条件付き分布と局所的な環境固有の条件付き分布の間の尤度比の積を乗じたものに比例することを示している。もし集合 $z$ が真に不変であれば、プールされた条件付き分布は局所的な条件付き分布と一致し、比を最大化する。もし $z$ が不変でなければ、その不一致によって事後確率が減少する。

3. 推論アルゴリズム

• 厳密推論（BIP）： 低次元の設定では、著者らはすべての $2^p$ 個の候補となる特徴量セットを列挙して、厳密な事後分布を計算する。これには、局所的およびプールされた条件付き分布の推定（例：線形ガウス族を用いた最大尤度法）と、尤度比の計算が含まれる。
• 変分推論（BIP-VI）： 厳密な列挙が困難な高次元データを扱うために、著者らはBIP-VIを開発した。このアルゴリズムは、平均場変分ファミリー $q_\phi(z) = \prod \text{Bernoulli}(z_j | \text{sigmoid}(\phi_j))$ を用いて事後分布を近似する。これは、離散変数に対する確率的勾配上昇法と不偏勾配エスティメータ（U2G）を用いて、証拠下界（ELBO）を最適化する。厳密な手法とは異なり、BIP-VIは網羅的な探索や特徴量の事前スクリーニングを必要としない。

理論的貢献

本論文は、BIPフレームワークに対して厳密な理論的保証を確立している。

• 事後分布の一致性（Posterior Consistency）： 一意の不変性と条件付き分布の一貫した推定という仮定の下で、環境数（$E$）および環境あたりのサンプルサイズ（$n$）が無限大に近づくにつれ、BIPの事後分布は真の不変な特徴量セレクター $z^*$ に集中する。
• 収束レート（Contraction Rates）： 著者らは、事後分布が $n$ および $E$ に対して指数関数的に速く収束することを証明している。このレートは以下の2つの要因に依存する：
  1. 事前知識： 非不変な集合の重みを下げる情報的な事前分布は、収束を加速させる。
  2. 環境の異質性： 環境間の異質性が大きいほど（局所的な条件付き分布とプールされた条件付き分布の乖離によって測定される）、事後分布の収束は速くなる。
• 有限サンプルと緩和： この理論は、有限サンプルおよび緩和された仮定（例：不変な集合が一意ではない場合やモデルの誤設定など）にも拡張される。これらの場合、事後分布は、モデルおよび事前分布と整合する「最も近似的に不変な」セレクターに集中する。

実験結果

著者らは、合成データセットおよび実世界のデータセットを用いてBIPおよびBIP-VIを評価し、ICP、Hidden-ICP、およびEILLSと比較した。

1. 合成研究

• 低次元 ($p=10$): BIPおよびBIP-VIは、環境数が増えるにつれて既存の手法を上回るか、あるいは同等の性能を示し、真の不変集合を高精度に回収した。事後分布の質量は、理論の予測通り真の集合に集中した。
• 高次元 ($p=450$): 既存の手法（ICP、EILLS）は、特徴空間を削減するために事前スクリーニング（例：Lasso）を必要とするが、これは真の不変な特徴量を見逃した場合、性能低下を招くことが多い。対照的に、BIP-VIは事前スクリーニングなしでフル特徴空間上で動作する。BIP-VIは、他の手法のスクリーニング版と比較して、大幅に高い正確な発見率とスケーラビリティを達成した。

2. 実世界の応用：遺伝子摂動
本手法は、標的遺伝子の制御因子を特定するために、酵母の遺伝子摂動データセット（$p=6,169$ 遺伝子）に適用された。

• 性能: BIP-VIは、不変予測手法の中で最高の適合率（precision）を達成し、ICP-screenやEILLS-screenを上回った。再現率（recall）については、事後分布の保守的な性質と環境数の制限により中程度であったが、ICP-screenよりも多くの正しい予測を特定した（特定の比較において371対約67）。
• 検証: BIP-VIによる予測は、過去の文献（Meinshausen et al., 2016）の主要な知見と密接に一致しており、ホールドアウト・ノックアウト実験によって検証されている。

意義と主張

本論文は、BIPが仮説検定と最適化の間の溝を埋める、不変予測への確率的な視点を提供すると主張している。その主な意義は以下の通りである。

1. 不確実性の定量化: 点推定を用いる手法とは異なり、BIPは不変な集合に対する完全な事後分布を提供し、原理に基づいた不確実性の定量化を可能にする。
2. スケーラビリティ: BIP-VIは、厳密な不変予測の指数関数的な複雑さを克服し、損失の大きい事前スクリーニング手順に頼ることなく、高次元データの解析を可能にする。
3. 理論的洞察: 本研究は、一貫性と収束レートに関する形式的な証明を提供し、学習の速度を環境の異質性に明示的に結びつけている。

著者らは、限界についても言及している。具体的には、条件付きモデルの固定された推定への依存（これが小規模サンプルにおいてバイアスを導入する可能性があること）や、環境数が非常に少ない設定では多峰性の事後分布に苦慮する可能性がある平均場変的分離の使用である。今後の課題として、条件付きモデルの推定を確率的フレームワークに直接統合することや、より表現力の高い変分ファミリーを探索することが示唆されている。