技術要約：環境適応型共変量選択 (Environment-Adaptive Covariate Selection: EACS)

問題提起

本論文は、アウト・オブ・ディストリビューション（OOD）予測における決定的な欠陥、すなわち、モデルを因果的または不変な共変量のみに厳格に制限する戦略が経験的に失敗するという問題に対処している。このような「因果的のみ」の選択は、因果メカニズムが環境を越えて安定しているという原理に基づき理論的には正当化されているが、実際には標準的な経験的リスク最小化（ERM）よりも性能が低下することが多い。

著者らは、この失敗の主要なメカニズムとして、**観測されていない因果的親（unobserved causal parents）の存在を特定している。結果に対する因果的親のサブセットのみが観測されている場合、非因果的な共変量がこれらの未観測の親のプロキシ（代理指標）**として機能することがある。

• トレードオフ： プロキシと未観測の親との関係が分布シフトの下で安定している場合、そのプロキシを含めることで予測精度が向上する。しかし、シフトがプロキシ自体を直接摂動させたり、プロキシと親の関係を崩したりする場合、そのプロキシは偽（spurious）となり、性能を損なう。
• 核心となる課題： 最適な共変量の集合は普遍的なものではなく、遭遇するシフトの種類に依存する。シフトのタイプは直接観測できないため、課題は、ターゲット環境のラベルなし共変量分布のみに基づいて、プロキシ共変量が依然として信頼できるのか、それとも有害になったのかを判断することである。

手法：環境適応型共変量選択 (EACS)

提案される解決策である**環境適応型共変量選択（EACS）**は、共変量分布の環境レベルのサマリーから、その特定の環境に対する最適な共変量のサブセットへのマッピングを学習するアルゴリズムである。

1. フレームワークと仮定

• 因果モデル： データは、出力 $Y$、観測された因果的親 $C_s$、未観測の因果的親 $U$、および観測された非因果的共変量 $X$（$U$ のプロキシとなり得るもの）を持つ構造的因果モデル（SCM）を通じてモデル化される。
• シフトクラス： 環境は、共変量 $(C_s, U, X)$ への介入を通じて異なるが、 $Y$ の構造方程式は不変である。
• 最適性条件： 最適な共変量サブセット $z^*(e)$ は、介入 $i(e)$ の関数である。EACS は、環境表現 $u_e$ を $z^*(e)$ にマッピングするセレクター $g$ を学習することを目指す。
• 環境表現 ($u_e$)： ターゲットとなる共変量分布の要約。これは以下のようなものである：
  • 手動設計（Hand-crafted）： ドメイン知識から導出された単純な統計量（例：分散、相関）。（実行例で示されている通り）
  • 学習型（Learned）： 複雑な分布的特徴を捉えるために、置換不変エンコーダ（例：DeepSets）を用いてマルチ環境データから学習された表現。
• セレクター ($g$)： 環境表現 $u_e$ から共変量のサブセットへとマッピングするモデル。論文では2つの実装を提案している：
  • 離散セレクター（Discrete Selector）： 候補となるサブセットの有限なライブラリ $\mathcal{Z}$ から選択を行う。これは、訓練環境全体での選択されたサブセットの経験的リスクを最小化するように訓練される。このバージョンは、理論的な保証と解釈性を提供する。
  • ソフトゲーティング（連続型）セレクター（Soft-Gating Selector）： 共変量に要素ごとに適用される連続的なゲーティングベクトル $\tilde{z}_e \in (0, 1)^p$ を出力する。予測器とゲーティングネットワークは、環境平均リスクを最小化するように共同で訓練される。このバージョンは、サブセットの列挙が不可能な高次元設定へのスケーリングが可能である。

2. 因果的制約の組み込み

本フレームワークは、事前の因果的知識の統合を可能にする。もし共変量のサブセット $S$ が因果的親であることが既知であれば、候補ライブラリは $S$ を含むサブセットのみを含むように制約される。これにより、探索空間が縮小され、特にサンプルサイズが小さい場合に性能が向上する。

3. 理論的保証

離散セレクターについて、論文は超過リスクに関する有限サンプル境界を確立している。誤差は以下のように分解される：

• 環境内推定誤差： サンプルサイズ $n$ およびライブラリのサイズ $|\mathcal{Z}|$ とともに減少する。
• 環境間選択誤差： 訓練環境の数 $m$ およびセレクター・クラスの複雑さ（ラデマッハー複雑度）とともに減少する。
  著者らは、環境表現が、異なる共変量サブセットを必要とする介入を区別するのに十分な情報を持っている条件下において、漸近的最適性を証明している。

主な貢献

1. メカニズムの特定： 本論文は、未観測の因果的親が、因果的のみの選択が失敗する特定のメカニズムであることを特定している。これは、非因果的プロキシが本質的に偽であるわけではなく、シフトに応じて条件付きで有用になり得ることを示している。
2. シフト依存的なプロキシの有用性： プロキシの有用性はシフトに依存すること、および、ラベルなしの共変量分布における観測可能なシグネチャ（例：分散や相関構造の変化）がプロキシの信頼性を診断できることを確立した。
3. EACS アルゴリズム： 環境固有の共変量選択ルールを学習する統一されたフレームワークを提案した。これは、静的な因果的選択と ERM の間の溝を埋め、ターゲット環境の分布的シグネチャに適応する。
4. 理論的および経験的検証： 著者らは離散セレクターに対する理論的保証を提供し、多様なシフトに対して、静的な因果的、不変的、および非適応的なベースラインを上回る経験的な利点を示した。

実験結果

手法は、シミュレーションおよび2つの実世界のデータセットで評価された：

• シミュレーション： 十分な訓練環境と情報量の多いサマリーが利用可能な場合、EACS は「オラクル」予測器（各シフトに対して最適なサブセットを知っているもの）の性能に近づく。シフトがプロキシ関係を破壊する場合、静的な因果的および不変的な手法を上回る。
• 自転車シェアリング（Bike-Sharing）データセット： 環境（日）は多いが、環境あたりのサンプルが少ない設定において、EACS は（Lasso、Anchor Regression、Invariant Causal Prediction を含む）ベースラインの中で最も低い平均二乗誤差（MSE）を達成した。特筆すべきは、ICP がすべてのサブセットを拒絶し、切片のみのモデルに崩壊したことである。
• ACS 所得（Income）データセット： 環境（州）は少ないが、サンプルが多い高次元の設定において、EACS のソフトゲーティング版は、OLS、Lasso、および Anchor Regression を上回り、再び最低の平均 MSE を達成した。

意義と主張

本論文は、堅牢な OOD 予測には、偽の共変量を完全に回避する必要はないと主張している。代わりに、最適な戦略は、そのような共変量をいつ信頼できるかを学習することである。

• 構造化された適応： EACS は、予測パラメータは共有されるが、共変量の「選択」が環境によって変化するという、構造化された形態の適応を提供する。これは、すべてのパラメータを環境に適応させるフルコンテキスト予測器に比べ、低複雑度で解釈性の高い代替案として提示されている。
• 実用的な有用性： 本手法は、因果的親が部分的に未観測である設定（ヘルスケアや経済学などの分野で一般的）に対する実用的な解決策を提供する。
• 限界： 著者らは、成功が情報量の多い環境表現と、十分な多様性を持つ訓練環境の利用可能性に依存することを控えめに述べている。ソフトゲーティング版は近似誤差を導入し、また、サマリーを構築するためにテスト共変量のバッチを必要とするため、単一の観測による予測は不可能である。さらに、誤った因果的制約は性能に悪影響を及ぼす可能性がある。