技術的概要：高次元処置に対する因果リスク最小化

問題定義

本論文は、処置空間 $\mathcal{T}$ がすべての可能なテキスト文字列の空間など、高次元である環境において、平均潜在結果（APO）$g(t) = E[Y(t)]$ を推定するという課題に取り組んでいる。金融コミュニケーション、メンタルヘルスカウンセリング、公衆衛生メッセージングなどの分野では、介入が多岐にわたり、可能な処置の空間は完全には観測できないほど広大であることが多い。

古典的な因果推定量はこの文脈において重大な限界に直面する：

• 逆確率重み付け（IPW）： データ内で正確な処置 $t$ を観測することを必要とする。高次元空間（例えばテキスト）では、ほとんどの処置は一意か未観測であり、テスト時の介入に対して IPW を定義できない。
• 結果補間（OI）： 条件付き結果モデル $E[Y|T, X]$ を学習する。未観測処置への一般化は可能であるが、推論時に個体レベルの交絡因子値 $X$ にアクセスする必要がある。これは、プライバシー上の懸念（例えば、機微な健康データや所得データ）や、$X$ 自身が高次元である場合の計算コストにより、しばしば非現実的である。
• 既存の CRM 文献： 因果推論を学習問題として再構成する因果リスク最小化に関する先行研究は、主に二値処置に焦点を当てており、高次元空間特有の課題を不明瞭にしている。

核心的な目的は、未観測の高次元処置に一般化し、推論時に $X$ を必要とせず処置単独を直接入力として APO 推定値を生成し、かつ大規模な処置空間における極端な重みによって引き起こされる不安定性に対処する推定量を開発することである。

手法

著者は、因果理論に由来する特定のターゲットを用いてリスク関数を最小化するモデルを学習する教師あり学習問題として APO 推定を定式化するフレームワークである**因果リスク最小化（CRM）**を提案する。

1. CRM 定式化

本論文は、処置 $t$ から APO $g(t)$ への直接マッピングを学習する CRM の 3 つの変種を導出する：

• IPW-CRM： 予測と重み付けされた結果との間の損失を最小化するようにモデル $\hat{g}(t)$ を適合させる：$L(\hat{g}(T_i), \frac{\hat{p}_T(T_i)}{\hat{e}(T_i, X_i)} Y_i)$。ここで、$\hat{e}$ は学習された傾向スコア、$\hat{p}_T$ は周辺処置確率である。
• SW-CRM（安定化重み）： 安定化重み $\hat{w}(T, X)$ を直接学習し、モデルをターゲット $\hat{w}(T_i, X_i)Y_i$ に適合させる。これにより、生傾向スコアの不安定性を回避する。
• OI-CRM： 交絡因子分布全体における条件付き結果モデル $\hat{f}(T, X)$ の平均を予測するようにモデルを訓練し、実質的に推論時に $X$ を必要とする要件を除去する。

2. APO 誤差分解とモーメントバランス

重要な理論的貢献として、APO 推定誤差をモーメントバランス誤差に分解するものである。

• 条件付き結果関数 $f(t, X)$ が次数 $K$ の多項式である（あるいは交絡因子がサイズ $K$ の有限集合で支持されている）という仮定の下、APO 誤差は次数 $K$ までのバランス誤差の線形結合であることが示される。
• 具体的には、$\hat{g}(t) - g(t) = \sum_{k=0}^K c_k(t) \cdot \varepsilon_k(t)$ であり、ここで $\varepsilon_k(t)$ は処置群間における交絡因子分布の $k$ 次モーメントのバランスにおける誤差である。
• 含意： APO 誤差を最小化するには、選択した次数 $K$ までのバランス誤差を最小化する必要がある。著者は、重み付けモーメントと生モーメントの差を明示的に最小化する正則化項を重み学習目的関数に追加することを提案する：$\sum_{k=0}^K \|E[w(T, X) \cdot X^k] - E[X^k]\|^2$。

3. 低次元射影

テキストの感情や長さなど、完全なテキストではなく特定のテキスト属性の因果効果に関心がある実用的なユースケースに対処するため、著者は射影手法を提案する。

• 高次元処置 $T$ と低次元属性 $T'$ との関係を記述する既知の条件付き分布 $p_{T'|T}$ と、条件付き独立性 $T' \perp (X, Y(\cdot)) | T$ を仮定すると、低次元 APO $g'(t')$ はモンテカルロ推定を通じて計算できる：
  $$g'(t') \approx \frac{\sum_i I(T'_i = t') \hat{g}(T_i)}{\sum_i I(T'_i = t')}$$
• これにより、単一の高次元推定量 $\hat{g}$ が、各属性ごとに個別のモデルを再訓練することなく、異なる属性に関する複数の因果問いに答えることを可能にする。

主要な貢献

1. 誤差分解： 本論文は、高次元処置における APO 推定誤差をモーメントバランス誤差に分解する原理的な分解を導出した。これは、より高次のバランス正則化を用いて因果推定を改善することの理論的根拠を提供する。
2. 安定化重み学習（SW-CRM）： 著者は、標準的な IPW に比べて高次元設定における性能と安定性を向上させる、次数 $K$ までの明示的なバランス正則化を備えた安定化重みを学習する手法を導入した。
3. 効率的な射影： 単一の高次元 APO 推定量を事後に低次元属性へ射影する手法により、属性固有の訓練の必要性を排除した。
4. LLM との統合： このフレームワークは大規模言語モデル（LLM）と互換性があり、事前学習の目的（例えば、交差エントロピーなど）と整合する因果損失関数による事前学習済みモデルのファインチューニングを可能にするように設計されている。

実証結果

著者は、複雑さが増す 3 つのデータセット上で手法を評価した：

1. 線形連続設定： 解析的誤差分解を検証した。バランス正則化（次数 $K=1$ まで）は APO 誤差を大幅に減少させ、オラクル結果補間（OI）推定量の性能と一致した。
2. 合成離散設定： トークンを模倣する高次元離散処置とトランスフォーマーモデルを使用した。$K=2$ の SW-CRM は、バニラ OI、OI-CRM、IPW-CRM を上回った。より高次のバランスは、一貫して真値との相関を改善した。IPW-CRM は高次において訓練の不安定性に苦しんだが、SW-CRM は安定したままだった。
3. 半合成 Amazon レビュー： 10,000 のユニークなテキストレビューを処置として使用し、製品評価を交絡因子、LLM によって生成された二値購入結果をアウトカムとした。
   • 性能： SW-CRM（$K=2$）が最良の性能を達成し、極端な傾向スコアにより失敗した IPW-CRM を上回り、OI-CRM と同等の性能を示した。
   • 推論： 決定的なことに、SW-CRM と OI-CRM は、標準的な OI とは異なり、テスト時に交絡因子にアクセスすることなく真の APO と高い相関を達成した。
   • 射影： 単一の高次元 SW-CRM 推定量を感情やレビュー長さなどの属性へ射影することは、各属性のために特別に再訓練された推定量と競争力のある、あるいはそれ以上の性能をもたらした。

意義と主張

本論文は、明示的なモーメントバランス目的を備えた学習問題として因果推論を再構成することで、古典的手法が失敗する高次元処置空間において因果効果を効果的に推定できることを主張している。

• 一般化： このアプローチは、学習済みモデル（LLM など）の帰納的バイアスを活用することで、未観測処置（例えば、新しいテキスト文字列）への一般化を可能にする。
• 効率性： 射影手法により、単一モデルが複数のダウンストリーム因果クエリに応えることを可能にし、計算およびデータ要件を削減する。
• 実用性： 結果は、未観測交絡の不存在という仮定が成り立つ場合、より高次のバランス誤差を最適化することが、実世界のテキストベースアプリケーションにおける因果推定を改善する viable な戦略であることを示している。

著者は、検証不可能な強い無作為化仮定の必要性、高次バランスの線形計算コスト、および分布外一般化に対するモデルの帰納的バイアスへの依存性を含む限界を認めている。