論文「Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction」の技術的サマリー

本論文は、観測データにおける**未観測の交絡（unobserved confounding）**が存在する状況下でのドメイン適応（Domain Adaptation）問題を取り扱っています。特に、環境の変化に伴う共変量（covariate）と応答変数（response）の分布シフトが、単なる共変量シフトではなく、**概念シフト（concept shift）**を引き起こすケースに焦点を当て、因果推論と機械学習の知見を統合した新しい手法を提案しています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細を記述します。

---

1. 問題設定と背景

1.1 背景

従来のドメイン適応研究では、ソース環境（学習データ）とターゲット環境（適用先）の間で、共変量の分布 $P(X)$ は変化するが、条件付き分布 $P(Y|X)$（概念）は不変であると仮定するケース（共変量シフト）が主流でした。しかし、実世界の観測データでは、未観測の交絡変数が環境間で分布を変化させることで、$P(Y|X)$ 自体も変化し、最適な予測モデルが環境ごとに異なってしまう「概念シフト」が発生します。

1.2 構造的因果モデル (SCM)

著者らは、未観測の交絡を説明するための線形構造的因果モデルを仮定します。

• 観測変数: 共変量 $X \in \mathbb{R}^d$、応答変数 $Y \in \mathbb{R}$。
• 潜在変数:
  • 交絡変数 $E$（環境依存、分布がシフトする）：$X$ と $Y$ の両方に影響を与える。
  • 不変な外生変数 $Z$（環境に依存しない）：$X$ にのみ影響を与える。
• モデル式:
  $$Y = \langle \beta^\star, X \rangle + \langle \gamma, E \rangle + U$$
  $$X = \Theta Z + \Delta E + W$$
  ここで、$\beta^\star$ は真の因果パラメータ、$\Theta$ は不変な構造、$\Delta$ は交絡の影響を表します。

このモデル下では、従来のソースリスク最小化（単純な最小二乗法）を行うと、交絡変数 $E$ の分布変化により推定値がバイアスされ、ターゲット環境での性能が著しく低下することが示されます。

---

2. 提案手法：多様体最適化によるドメイン適応

著者らは、不変な部分空間（invariant subspace）を学習することで、概念シフトと共変量シフトの両方に対処する手法を提案します。

2.1 目的関数の導出

ターゲットリスク $R_T(\beta)$ の上界をソースデータとターゲットの共変量分布のみから推定可能な代替目的関数として導出します。この目的関数は、以下の 3 つの項から構成されます：

1. 予測性（Predictivity）: ソース環境における二乗誤差 $R_S(V\alpha)$。
2. 安定性（Stability）: 部分空間 $V$ におけるソースとターゲットの共分散行列の差 $\|V^\top(\Sigma_T - \Sigma_S)V\|_F^2$。これは分布シフトに対する不変性を罰則として課します。
3. 正則化: リッジ正則化 $\|\alpha\|^2$。

これらを統合した目的関数 $F_{\nu, \eta}(V, \alpha)$ は以下のようになります：
$$\min_{V, \alpha} \quad \frac{1}{2} R_S(V\alpha) + \frac{\nu}{2}\|\alpha\|^2 + \frac{\eta}{2} \|V^\top(\Sigma_T - \Sigma_S)V\|_F^2$$
ここで、$V \in \mathbb{R}^{d \times \ell}$ は低次元部分空間の射影行列（シュティエフェル多様体 $St(d, \ell)$ 上）、$\alpha$ はその部分空間上の線形係数です。

2.2 最適化アルゴリズム

この問題は $V$ に関して非凸ですが、シュティエフェル多様体上の**リマンニアン最適化（Riemannian optimization）**として定式化されます。

• アルゴリズム: 射影勾配降下法のアナログを用いた、第一階の多様体最適化手法（Algorithm 1）を提案します。
• 特徴: 勾配計算と再収縮（retraction）操作を多様体の幾何構造に基づいて行い、局所最適解を効率的に探索します。

---

3. 主要な理論的貢献

3.1 不変部分空間との整合性（Alignment）

定理 1において、正則化パラメータ $\eta$ が十分に大きい場合、非凸最適化問題の「ほぼすべての局所最適解」が、交絡変数 $E$ が影響を与える部分空間（$\Delta$ の列空間）と直交し、不変な外生変数 $Z$ が張る部分空間（$\Theta$）に整合的に一致することを証明しました。

• 具体的には、学習された部分空間 $V$ と交絡部分空間 $\Delta$ のなす角が、$\eta$ と $\nu$ に依存して小さくなることを示しています。

3.2 リスクの安定性とターゲットリスクの上限

定理 2において、得られた局所最適解を用いた予測モデルが、ソースリスクとターゲットリスクの間に「ほぼ理想的なギャップ」を持つことを示しました。
$$R_T(\beta_{\nu, \eta}) - R_S(\beta_{\nu, \eta}) \leq \text{Oracle Term} + O\left(\frac{1}{\nu^{4/3}\eta^{2/3}}\right)$$

• 右辺の第二項は、正則化パラメータを適切に設定することで任意に小さくできる誤差項です。
• これは、提案手法が「不変な部分空間」を学習することで、分布シフトに対する頑健性（安定性）を確保し、ターゲット環境でのリスクを最小化できることを理論的に保証しています。

3.3 有限サンプル誤差解析

定理 3では、有限のサンプル数から得られる経験的推定量と真の目的関数の間の乖離を評価し、統計的な一貫性を示しました。

---

4. 実験結果

提案手法は、実データセットを用いて検証されました。

4.1 経済データ（Tabellini の研究）

• 設定: 農村地域（ソース）から都市地域（ターゲット）への経済産出量の予測。
• 結果: 安定性パラメータ $\eta$ を大きくすると、モデルが「制度（Institutions）」のような環境変化に強い特徴に焦点を当て、ターゲット環境での予測精度が向上しました。これは、因果推論における道具変数の概念と一致する結果です。

4.2 機械学習データセット（森林火災、自転車シェアリング、ワインの品質）

• 設定: 季節や地域による分布シフトが存在する 3 つのデータセット。
• 結果:
  • 適切なハイパーパラメータ（$\nu, \eta$）の組み合わせにより、ソースリスク最小化モデル（Vanilla OLS）よりもターゲットリスクを低減できる範囲が存在することが確認されました。
  • 特にワインの品質データでは、あらゆるパラメータ設定でソースモデルを上回る性能を示し、次元削減（$d=11 \to \ell=7$）も同時に達成されました。
  • $\eta$ に対するターゲットリスクは U 字型の挙動を示し、予測力と安定性のトレードオフを適切にバランスさせることが重要であることが実証されました。

---

5. 意義と結論

5.1 学術的意義

• 因果推論とドメイン適応の統合: 未観測の交絡が存在するドメイン適応問題に対し、因果推論の「不変性」の概念を機械学習の「分布距離」の概念と統合し、統一的な枠組みを提供しました。
• 理論的保証: 非凸な多様体最適化において、局所最適解が望ましい不変部分空間に収束することを保証し、実用的なアルゴリズムの理論的根拠を確立しました。

5.2 実用的価値

• データ駆動型の不変性学習: 事前の因果構造や道具変数の指定を必要とせず、データから自動的に安定な特徴表現（部分空間）を学習します。
• ハイパーパラメータ選定: 実用的なハイパーパラメータ選定の指針（PCA による次元決定、リスク比率による正則化係数のスケーリングなど）を提供し、実装の容易さを高めています。

結論

本論文は、観測データにおける未観測交絡による概念シフトという困難な課題に対し、低次元部分空間の学習と多様体最適化を用いた新しいアプローチを提示しました。理論的な保証と実データでの検証を通じて、予測モデルのドメイン適応における「安定性」と「予測力」のトレードオフを効果的に管理する手法の有効性を示しました。