論文の技術的サマリー：適応的実験からの因果推論のためのデザインベース理論

タイトル: Design-based theory for causal inference from adaptive experiments
著者: Xinran Li (シカゴ大学), Anqi Zhao (デューク大学)

1. 背景と問題設定

近年、医療、ビジネス、政策決定の分野において、実験中に蓄積された情報を用いて処置割り当て確率を動的に更新する「適応的実験デザイン（Adaptive Experimental Designs）」への関心が高まっています。代表的な例として、マルチアームバンドit（Multi-armed Bandits）、共変量適応的ランダム化（Covariate-adaptive Randomization）、逐次再ランダム化（Sequential Rerandomization）などが挙げられます。

しかし、これらの実験からの因果推論には以下の課題が存在します：

1. 既存理論の限界: 従来の因果推論理論の多くは、「超母集団（Superpopulation）」フレームワーク、すなわち単位が独立同分布（i.i.d.）であると仮定する枠組みに基づいています。しかし、実務では時間の経過とともに単位の分布が変化する（非交換可能である）ケースが多く、この仮定が成り立たない場合、推定量にバイアスが生じる可能性があります。
2. 推論の複雑さ: 適応的な処置割り当てメカニズムは、処置効果の推定とは異なる目的（例：累積報酬の最大化）のために設計されることが多く、データ間の依存関係が複雑化します。
3. 分散推定の保守性: 有限母集団（Finite-population）に基づく推論では、分散推定が過度に保守的（wide な信頼区間）になる傾向があります。

本研究は、これらの課題に対処し、有限母集団フレームワークに基づいた、より一般的で堅牢なデザインベースの因果推論理論を確立することを目的としています。

2. 主要な貢献

本研究は以下の 2 つの主要な貢献を行っています。

貢献 1: 適応的実験に対する有限母集団・デザインベース理論の確立

• 非交換可能な単位への対応: 超母集団仮定を捨て、共変量や潜在結果を固定（または条件付き）とし、処置割り当てのみを確率的要素とする「デザインベース」の枠組みを採用しました。これにより、時間の経過とともに分布が変化する非交換可能な単位（Nonexchangeable units）を扱えます。
• 一般化された適応的デザイン: 処置確率が収束しない場合、あるいは 0 に収束（Vanishing）する場合、さらにはアウトカム推定量が収束しない場合（ブラックボックス機械学習モデルを含む）にも適用可能な理論を構築しました。
• IPW および AIPW 推定量の保証: 逆確率重み付け（IPW）推定量と、それを拡張した Augmented IPW（AIPW）推定量について、不偏性、漸近正規性、および信頼区間の妥当性を証明しました。
• 分散推定の改善: 有限母集団推論に内在する保守性を軽減するため、AIPW 推定量に対する新しい共分散推定量を提案しました。これは、共変量に対する適応的回帰の残差が単位間で加法的である場合に、推定値が鋭敏（Sharp）になります。

貢献 2: 非適応的デザインに対する「適応的共変量調整」手法の提案

• 手法の転用: 本来は適応的実験のために開発された AIPW 推定量と、その背後にある「マルチンゲール構造」を利用し、非適応的実験（通常のランダム化比較試験）の分析にも適用する手法を提案しました。
• ブラックボックスモデルの活用: 従来の非適応的共変量調整では、全データを用いた回帰やクロスフィッティング（Cross-fitting）を行う際に、強い一貫性仮定やボーンフェローニ補正が必要でした。しかし、本研究の「適応的調整」アプローチは、ブラックボックス機械学習モデル（ランダムフォレスト等）を用いたアウトカム推定においても、より弱い条件で有効な推論を可能にします。

3. 手法と理論的枠組み

3.1 設定

• 実験: $K$ 種類の処置レベルと $T$ 個の単位（またはブロック）を想定。
• 適応的ランダム化: 時刻 $t$ における処置割り当て $Z_t$ の確率 $e_t(z)$ は、過去の履歴 $H_t$（過去の処置、結果、共変量）に依存して動的に決定される。
• 推定対象: 有限母集団平均処置効果 $\tau_C = C\bar{Y}$（$\bar{Y}$ は潜在結果の平均ベクトル）。

3.2 推定量

• IPW 推定量:
  $$\hat{Y}_{t, ipw}(z) = \frac{1(Z_t=z)}{e_t(z)} Y_t$$
• AIPW 推定量:
  $$\hat{Y}_{t, aipw}(z) = \hat{Y}_{t, ipw}(z) + \left( 1 - \frac{1(Z_t=z)}{e_t(z)} \right) \hat{m}_t(z)$$
  ここで、$\hat{m}_t(z)$ は過去の情報 $H_t$ のみを用いて構築されたアウトカム回帰モデル（ブラックボックス可）です。

3.3 理論的保証

• 中心極限定理: 処置確率 $e_t(z)$ が 0 に収束する場合でも、一定の正則性条件（分散の収束、Lindeberg 条件など）の下で、推定量が漸近的に正規分布に従うことを示しました。
• 分散推定量:
  • 標準的な標本共分散行列 $\hat{V}$ は、有限母集団における不偏性の観点から、真の分散を上回るバイアス（$S$）を含みます。
  • 本研究では、$\tilde{V} = \text{cov}(\hat{Y}_{aipw} - \hat{m})$ を用いることで、このバイアスを軽減し、より効率的な信頼区間を構築する手法を提案しました。

3.4 ブロック適応的ランダム化への拡張

• ユニット単位だけでなく、グループ（ブロック）単位で処置が割り当てられるケース（例：ペアワイズ逐次ランダム化、逐次再ランダム化）にも理論を拡張しました。この場合、各ブロックのサイズを重みとして考慮し、同様の漸近理論が成立することを示しています。

4. 数値シミュレーションと結果

4.1 適応的共変量調整の性能

非適応的実験（Bernoulli ランダム化）をシミュレートし、以下の 5 つの手法を比較しました：

1. IPW: 重み付けのみ。
2. SM: 単純な標本平均。
3. AIPW (Adaptive): 本研究の提案手法（適応的 AIPW）。
4. ALL: 全データを用いた回帰調整（非適応的）。
5. CF: クロスフィッティングを用いた回帰調整。

結果:

• 有効性: 提案手法（AIPW）は、線形モデル（OLS）だけでなく、ランダムフォレストのようなブラックボックスモデルを用いた場合でも、95% 信頼区間の被覆率が理論値（約 95%）に近づき、有効な推論を提供しました。
• 対照: 従来の「ALL」手法はランダムフォレスト使用時に被覆率が著しく低下（0.687）し、クロスフィッティング（CF）はボーンフェローニ補正なしでは理論保証が不確実でした。
• 精度: 提案手法は、分散推定量を改善したバージョン（$\tilde{V}$ 使用）において、信頼区間の幅が短く、高い精度を達成しました。

4.2 逐次再ランダム化への適用

• 共変量のバランスを改善する「逐次再ランダム化（Sequential Rerandomization）」シミュレーションを行いました。
• 結果、提案する IPW 推定量は、従来の完全ランダム化（CRD）に比べて推定誤差（RMSE）が約 70% 減少し、信頼区間の長さも大幅に短縮されました。

4.3 処置確率の消失（Vanishing）の影響

• 処置確率が $t^{-1/2+\delta}$ の速度で減少する場合をシミュレートしました。
• $\delta \ge 0$ の場合、理論通り正規近似が有効であることが確認されました。
• $\delta < 0$（確率が急激に減少する場合）では、推定量の分布が歪み、正規近似に基づく推論が失敗することが示されました。これは、理論が「処置確率の消失速度」に依存していることを示唆しています。

5. 意義と結論

本研究は、適応的実験における因果推論の理論的基盤を、有限母集団・デザインベースの観点から根本的に再構築しました。

• 理論的意義: 超母集団仮定に依存せず、非交換可能な単位や、処置確率が 0 に収束する状況、そしてブラックボックス機械学習モデルを含むアウトカム推定を統一的に扱える理論を提供しました。
• 実用的意義:
  1. 医療や政策評価などで用いられる多様な適応的デザイン（バンドit、共変量適応化など）に対して、厳密な統計的推論を可能にします。
  2. 従来の非適応的実験であっても、本研究の「適応的共変量調整」アプローチを採用することで、機械学習モデルを安全に活用し、推定効率を向上させることができます。
• 将来展望: この理論は、より複雑な適応的デザインや、実世界データ（Real-world data）における因果推論への応用を大きく広げる可能性があります。

総じて、この論文は、現代のデータ科学における「適応的実験」と「機械学習」を、堅牢な統計的推論の枠組みで統合する重要な一歩です。