AI-Assisted Variance Reduction in Randomized Experiments

技術要約：ランダム化実験におけるAIを活用した分散減少

問題提起
本論文は、ランダム化実験における平均処置効果（ATE）推定の精度向上という課題に取り組んでいる。近年の文献では、大規模言語モデル（LLM）や「デジタルツイン」を用いて人間の反応をシミュレートする手法が探索されているが、これらの合成予測はしばしばバイアスを伴い、単独で使用した場合には真の人間データに代わるものとしては不十分である。予測型推論（PPI）や半パラメトリック効率的推定量といった既存のハイブリッド推定法は、AIの予測と人間のデータを組み合わせることを目的としているが、ランダム化設定における堅牢性の保証に欠けることが多い。具体的には、キャリブレーションされていないアプローチは、AIの予測が十分に正確でない場合に分散を増大させる可能性があり、また、モデルが誤設定されている場合にはバイアスを導入する場合がある。著者らは、AIの予測の質が中程度であったり未知であったりする場合でも、推定量の不偏性を損なうことなく、分散減少を実現できる手法が必要であると主張している。

手法
著者らは、AIが生成した予測を、アウトカムの直接的な代用としてではなく、標準的な回帰調整における補助的な共変量として厳密に使用するフレームワークを提案している。

• コアとなる推定量: 本論文は、観測されたアウトカム（$Y^{obs}_i$）を処置インジケーター（$Z_i$）に対して回帰させる際に、AIによる予測（$\hat{Y}_i$）を共変量として含めることを推奨している。具体的には、以下の交互作用を含む回帰仕様を推奨している：
  $$Y \sim 1 + Z + \hat{Y}(Z) + Z \times \hat{Y}(Z)$$
  ここで、$\hat{Y}(Z)$ は割り当てられた処置群に対するAIの予測を表す。これは、予後スコア（prognostic score）で調整することと同様である。
• 理論的正当性: 著者らは、この回帰調整済み推定量が、モデル支援型推定量の「キャリブレーションされた」バージョンであることを示している。キャリブレーションされていないモデル支援型推定量（予測とアウトカムの相関が0.5を超える必要がある）とは異なり、この回帰調整済み推定量は「害を与えない（do no harm）」特性を備えている。これは漸近的に不偏であり、分散が未調整の差の平均（difference-in-means）による推定値よりも決して大きくならないこと（$Deff \leq 1$）を保証する。もし予測に情報量がない場合、適合された係数はゼロに向かって収縮し、推定量は標準的な差の平均へと回帰する。
• 離散アウトカムの扱い: 二値またはカウントアウトカムの場合、著者らは離散化されたAI予測（例：LLMの出力を0または1に分類すること）を使用すべきではないと主張している。代わりに、連続的な予測確率またはスコアで調整することを推奨している。これには、特定のトークンの対数確率を抽出したり、複数の確率的な試行の平均をとったりするなど、LLMから連続的なスコアを得るための実装戦略が示されている。
• データソース: このフレームワークは、ゼロショットLLM、テーブル型基盤モデル（TabPFNなど）、および標準的な教師あり学習モデル（XGBoost、Ridgeなど）を含む、様々なソースからの予測に対応している。著者らは、実験データ自体で学習されたモデルを使用する場合は、妥当性を維持するためにクロスフィッティングが必要であるが、ゼロショットLLMの予測は固定された事前処置共変量として扱うことができると述べている。

主な貢献

1. 簡便性と堅牢性: 本論文は、新しい推定量は必要なく、AI共変量を用いた標準的な回帰調整で十分であることを確立している。このアプローチは「害を与えない」という特性の堅牢性を継承しており、予測が有益な場合には効率性の向上をもたらし、有益でない場合にはペナルティを与えない。
2. 推定量の比較: 著者らは、回帰調整を、キャリブレーションされていないモデル支援型推定量および「デジタルツイン（補完）」推定量と比較して体系的に検証している。キャリブレーションされていない手法は、予測の質が低い場合（$\rho < 0.5$）に分散を増大させることがあり、デジタルツイン推定量はAIモデルが完全に指定されていない限り、重大なバイアスを導入する可能性があることを示している。
3. 非構造化データの特徴量化: 本論文は、LLMが非構造化入力（テキスト、複雑なユーザープロファイルなど）を補助的な共変量へと特徴量化できる独自の能力を強調している。これにより、従来のテーブル型の手法では生のテキストから信号を抽出することが困難な設定においても、分散減少が可能となる。
4. 実装ガイダンス: 離散的なLLM出力から連続的なスコアを抽出する方法や、二値アウトカムを扱う方法について、実用的なアドバイスを提供している。

結果
論文は、合成実験と、調査メガスタディ、メールマーケティングのA/Bテスト、および大規模なテクノロジープラットフォーム実験という3つの実証的なアプリケーションを通じて、その主張を検証している。

• 合成実験: シミュレーションにより、回帰調整が、予測の質（$R^2_{\hat{Y}}$）およびアウトカムの予測可能性（$R^2_m$）の変動にかかわらず、$Deff \leq 1$ を維持することが確認された。対照的に、キャリブレーションされていないモデル支援型推定量は、予測の質が低い場合に頻繁に分散を増大させた。また、シミュレーションは、二値アウトカムに対して連続的なAI予測を使用することが、離散化された予測を使用する場合よりも高い効率性の向上をもたらすことを示している。
• 実証アプリケーション:
  • 調査メガスタディ（デジタルツインを含む）: 回帰調整は、緩やかではあるが実質的な効率性の向上をもたらした。
  • メールマーケティングのA/Bテスト: AI予測をテーブル型共変量と共に調整することで、精度が向上した。
  • テクノロジープラットフォーム実験: このアプローチは、逐次的なユーザーデータに適用された。
  • 全ての環境において、得られた利点は「緩やかではあるが実在するもの」と記述されており、最も顕著な利益は、大量の非構造化テキストデータを含む研究で見られた。回帰調整の「害を与えない」特性は実証的に確認され、調整された推定量のパフォーマンスが未調整の差の平均を下回ることはなかった。

意義と主張
本論文は、AIによって生成された予測の調整が、ランダム化実験における日常的な実証的慣行となるべきであると主張している。その意義は、より複雑なハイブリッド推定量に伴うリスクを負うことなく、生成AIの予測能力（特に非構造化データに関するもの）を活用できる点にある。著者らは、構造化された設定においては効率性の向上が緩やかである場合が多いものの、このアプローチは低コストで堅牢であり、従来の機能エンジニアリングが困難なテキストや複雑な入力が豊富な研究において特に価値が高いと強調している。結論として、保証された堅牢性（「害を与えない」特性）と、効率向上の可能性の両方を兼ね備えていることが、キャリブレーションされていない代替案や、AIの予測を完全に無視することと比較して、優れた戦略であるとしている。