技術要約：大規模オンラインカーネル学習による双方向因果効果の推定

問題提起

本論文は、相互依存性と不均一分散性を特徴とするシステムにおける双方向の因果効果を推定するという課題に取り組んでいる。従来の因果推論は主に一方向の関係に焦点を当てているが、現実世界の多くのシステム（例：捕食者・被食者のダイナミクス、政策介入、脳と行動の相互作用など）は、相互的な因果関係を示す。大規模で高次元かつストリーミング形式のデータを扱う際、機械学習をこれらのシナリオに適用することには、重大な手法上のギャップが存在する。

既存のアプローチには、主に2つの制限がある：

1. 操作変数（IV）法： 従来のIV法は、処置変数の条件付き平均に対する外生的な変化に依存している。これらは、一方の曲線を固定したまま他方を動かすような有効な操作変数が利用できない限り、双方向のシステムに対して苦戦することが多い。
2. 不均一分散に基づく識別： このアプローチ（条件付き分散の外生的な変動を利用するもの）は、外部の操作変数なしで同時方程式モデル（SEM）の識別を可能にするが、従来の実装はサンプルのサブセット分割や複雑な多項式近似を必要とすることが多い。これらの手法は、非線形な条件付き分散や平均をモデル化する柔軟性に欠けるか、あるいは高次元設定において計算効率が低いという問題を抱えている。

手法

提案されたフレームワークは、不均一分散に基づく識別と大規模オンラインカーネル学習を統合したものである。核となる構成要素は以下の通りである：

1. モデルの仕様

著者らは、2つの内生変数（$y_1, y_2$）と外生共変量（$x$）を持つ同時方程式モデル（SEM）を以下のように定義する：
$$\begin{aligned} y_{1,i} &= \gamma_1 y_{2,i} + h_1(x_i, \beta_1) + \varepsilon_{1,i} \\ y_{2,i} &= \gamma_2 y_{1,i} + h_2(x_i, \beta_2) + \varepsilon_{2,i} \end{aligned}$$
決定的なことに、誤差項の条件付き分散は共変量の関数としてモデル化される：
$$g_{j,i} = V(\varepsilon_{j,i}|x_i) = \exp(f_j(x_i, \alpha_j))$$
目標は、未知の関数 $h_j$ および $f_j$ と共に、因果パラメータ $\gamma_1$ および $\gamma_2$ を推定することである。

2. 識別戦略

本手法は、**準最大尤度（QML）**推定に基づいている。識別は、2つの方程式の条件付き分散が互いに比例しない場合（$g_1 \not\propto g_2$）、達成される。これにより、誤差分散の変化を通じて構造方程式の傾きを識別することが可能となる。これは、平均の変化ではなく不均一分散を利用する操作変数法の変種である。

3. ランダムフーリエ特徴量による関数近似

非線形性と高次元性を扱うために、未知の関数 $h_j(\cdot)$ および $f_j(\cdot)$ は、カーネルベースの関数表現を用いて近似される。

• フルカーネル行列を保持することは（$N$ が大きい場合に）計算上不可能であるため、著者らは**ランダムフーリエ特徴量（RFF）**を採用している。
• ボルの定理に基づき、シフト不変カーネル（例：ガウスカーネル）は、入力をランダムな正弦投影を用いて有限次元の特徴空間 $z(x)$ へ写像することで近似される：
  $$z(x) = (\sin(u_1^\top x), \cos(u_1^\top x), \dots, \sin(u_m^\top x), \cos(u_m^\top x))^\top$$
• これにより、カーネル手法を特徴空間における線形モデルへと変換し、効率的な計算を可能にしている。

4. オンライン最適化

パラメータは、適応型オンライン勾配降下アルゴクションを用いて推定される：

• 損失関数： 対数ガウス準尤度から導出される。
• 最適化： アルゴリズムは、データをストリーミング形式（1つの観測値ごと、または小さなバッチごと）で処理する。
• 適応性： ステップサイズの調整のために Adam 最適化を使用し、安定性を確保するために適応型勾配クリッピングを利用する。クリッピングの閾値は、過去の勾配ノルムのバイアス補正済み指数移動平均として更新される。

主な貢献

1. スケーラブルな双方向推定： 不均一分散に基づく識別を用いて、SEMにおける双方向の因果効果を共同で推定するために特別に設計された、初のスケーラブルなオンライン学習フレームワークを提案した。
2. 柔軟な非線形モデリング： RFFをQMLと統合することで、多項式近似の硬直性やフルカーネル行列の計算コストを回避しつつ、非線形な条件付き平均および分散を柔軟にモデル化できる。
3. 計算効率： 本手法は、観測数および共変量の数に対してほぼ線形な計算スケーリングを実現しており、高次元（$d=1000$）かつ大規模サンプル（$N=20,000$）のストリーミングデータに適している。
4. 理論的根拠： 本手法は、計量経済学的な識別理論（特に不均一分散下でのSEMにおける局所識別条件）と現代的な機械学習技術を橋渡しするものである。

実験結果

著者らは、以下の2つのベースラインと比較して本手法を評価した：

• Single-Kernel： 方程式を独立して推定する（同時性を無視する）。
• SEM-PAB： ベータ関数重みとBox–Cox変換を用いた多項式近似を使用する（先行研究[11]における最も柔軟な仕様）。

知見：

• 精度： 提案手法である SEM-Kernel は、複雑な非線形および不均一分散シナリオ（DGP-3）を含む様々なデータ生成プロセス（DGP）において、一貫して低いバイアスと平方根平均二乗誤差（RMSE）を達成した。
• ベースラインのバイアス： Single-Kernel法は系統的なバイアスを示し、内生性を無視することが不整合な推定につながることを裏付けた。SEM-PAB法は数値的不安定性を示し、著しく高い誤差を示した。
• スケーラビリティ：
  • 精度 vs 特徴量： ランダムフーリエ成分（$m$）の数を増やすと、$m \approx 500$ までは精度が向上したが、それ以降の利得は無視できる程度であった。
  • 計算時間： SEM-Kernel法は、Single-Kernelベースラインよりもわずかに長い時間しか要さなかった（例：$N=20,000, d=1000$ のとき、~4.5秒 vs ~3.0秒）。一方で、SEM-PAB（100秒以上を要した）よりも数桁高速であった。
• 堅牢性： 本手法は、再キャリブレーションを必要とすることなく、異なるサンプルサイズや特徴量次元に対して安定性を維持した。

重要性と主張

本論文は、提案されたフレームワークが、相互依存性が存在する自然科学、社会科学、政策立案、およびビジネスアプリケーションにおける大規模な因果推論のための、実用的、スケーラブル、かつ理論的根拠に基づいたソリューションを提供すると主張している。

計量経済学的な識別論理と現代的な機械学習を組み合わせることで、本手法は複雑な双方向の因果効果を、ほぼ線形な計算スケーリングで効果的に捉えることができる。著者らは、このアプローチが、従来の単方向の因果推論の限界と、従来の不均一分散ベースの手法の計算上のボトルネックを克服するものであることを強調している。

限界と今後の展望：
著者らは、現在のフレームワークが線形な因果効果（構造パラメータ $\gamma$ に関して）のみを推定し、対称な誤差項を仮定していることを控えめに述べている。非線形な因果関係や強い歪みを持つデータを扱うために、このフレームワークを拡張することが重要な今後の研究方向であると特定している。