技術要約：スイッチバック実験におけるパワー最適化された共変量調整

問題提起

オンライン実験において、スイッチバックデザインは、個々のユニットではなく、空間クラスターと時間窓（セル）が交差した単位に対してトリートメントを割り当てます。標準的な分散減少手法であるCUPED（実験前データを用いたコントロール）やCUPAC（予測値を用いたコントロール）は、ランダム化と分析が同一のユニットレベルで行われる標準的なA/Bテストでは効果的ですが、スイッチバック実験においてはサブオプティマル（劣最適）となります。

核心となる問題は、クラスター・サイズの不均衡とデータの階層構造にあります。スイッチバック実験では、トリートメント効果推定量の分散は、ユニットレベルの特異的なノイズ（within-cell noise）よりも、**セル間の変動（between-cell variation）**によって支配されます。標準的なCUPACモデルは、ユニットレベルの平均二乗誤差（MSE）を最小化するように訓練されます。ユニットレベルのMSEは、セル内の誤差とセル間の誤差を等しく重み付けするため、モデルはその限られた容量を、実験デザインによって自然に平均化されてしまう「セル内のノイズ」の削減に割り当ててしまい、統計的パワーを実際に支配している「セル間のシグナル」を軽視してしまいます。さらに、標準的な分析時の調整係数は通常、ユニットレベルでの最小二乗法（OLS）を用いて推定されますが、これもセル間の関係性を過小評価することで、同様の不整合を引き起こします。

手法

本論文は、共変量の訓練目的関数と分析時の調整を、スイッチバック推定量の特定の分散分解に一致させた、**パワー最適化されたCUPAC（Power-Optimal CUPAC）**のための統一的なフレームワークを提案しています。

1. 理論的枠組みと分散分解

著者は、ユニット $i$ が属するセル $b$ におけるアウトカム $y_{b,i}$ を、マクロレベルの効果（空間クラスター、時間窓、およびその相互作用）と特異的な残差ノイズを含むマルチレベルモデルとして定式化しています。そして、トリートメント効果推定量の分散の正確な分解式を導出しています：
$$\text{Var}(\hat{\tau}) \approx \frac{4}{JH} \left[ \frac{S_{res}}{\bar{n}} + S_{macro} \left( \frac{1}{\bar{n}} + 1 + cv^2 \right) \right]$$
ここで：

• $\bar{n}$ は平均セル密度です。
• $cv^2$ はセルサイズの変動係数の二乗です。
• $S_{res}$ と $S_{macro}$ は、それぞれセル内およびセル間の分散のシェアを表します。

項 $1 + \bar{n}(1 + cv^2)$ は、セル内の分散に対してセル間の分散の重みを増幅させるペナルティ因子として機能します。典型的な大規模設定では、この因子は1よりも数百倍大きくなることがあり、これはセル間の誤差がセル内の誤差よりも、統計的パワーに対してはるかにコストが高いことを意味します。

2. パワー最適化された訓練損失

制御変量 $g$ を、標準的なユニットレベルのMSEではなく、特定の重み付き誤差の総和を最小化するように訓練する必要があります。著者は、**パワー最適化損失（$L_{power}$）**を以下のように定義します：
$$L_{power}(g) = \frac{1}{\bar{n}} \text{MSE}_{within}(g) + \left( \frac{1}{\bar{n}} + 1 + cv^2 \right) \text{MSE}_{macro}(g)$$
この損失関数は、セル間の（マクロ）予測誤差を因子 $1 + \bar{n}(1 + cv^2)$ によって明示的に増幅させます。これにより、モデルは、統計的パワーを決定づける要素である「ランダム化ユニット間で変化するシグナル」を学習することを優先させられます。

3. マッチングされた分析時係数

論文では、$L_{power}$ を用いて訓練しても、分析時の調整係数 $\theta$ が標準的なユニットレベルのOLSを用いて推定される場合、不十分であることを示しています。最適な係数 $\theta^*$ もまた、訓練で使用されたものと一致する損失関数を用いて推定される必要があります。著者は、標準的なユニットレベルのOLS係数が、セル間の共分散を同じ因子 $1 + \bar{n}(1 + cv^2)$ によって過小評価し、最適化された訓練による利点を事実上打ち消してしまうことを示しています。提案される解決策は、訓練に使用したのと同じ複合損失を用いて $\theta$ を推定することです。

主な貢献

1. 不整合の特定： 本論文は、標準的なCUPACのワークフローが、スイッチバックデザインにおいて、セル内の誤差とセル間の誤差を等しく重要であると扱うため、設計と不整合を起こしていることを明らかにしました。
2. パワー最適化損失の導出： 著者は、推定量の分散の単調なアフィン関数である閉形式の訓練損失（$L_{power}$）を導出しました。これを最小化することは、実現された推定量の分散の上界を直接最小化することに直結します。
3. 二段階の整合性： 訓練段階（損失関数）と分析段階（係数推定）の両方を、同じデザイン固有の因子で再重み付けする必要があることを確立しました。
4. 理論的境界： 共変量が較正されている限り、 $L_{power}$ を最小化することが、分析係数が再最適化された場合でも、推定量の分散のタイトな上界を提供することを証明しています。

シミュレーション結果

著者は、勾配ブースティング決定木（LightGBM）を用い、様々なモデル容量（リーフ数）と分散レジーム（$S_{macro}$）にわたるモンテカルロ・シミュレーションを用いて、本フレームワークを検証しています。

• 分散レジームへの依存性： セル内のノイズが支配的な場合（$S_{macro} = 0.15$）、標準的なユニットレベルのMSEは性能が悪くなります（相対標準誤差 $\approx 0.85$）。一方、パワー最適化損失とマッチングされた係数を組み合わせると、相対標準誤差 $\approx 0.51$ を達成します。セル間の変動が高い場合（$S_{macro} = 0.50$）も、差は縮まりますが、最適化された手法の方が依然として優れています。
• モデル容量： モデルのサイズ（4から255リーフまで）を大きくしても、不整合な訓練目的関数を補うことはできません。ユニットレベルのMSEで訓練されたモデルは、貪欲な分割基準がセル内の分散減少を優先するため、モデルのサイズに関わらずセル間の相関（$\rho_m$）を改善できません。対照的に、パワー最適化損失は、増加した容量を $\rho_m$ の改善に効果的に活用できます。
• 係数のマッチング： マッチングされた係数（$\theta^*$）のメリットは、モデル容量が限られている場合に最も顕著になります。モデルが大きくなり、両方のレベルを適切にフィットできるようになると、ユニットレベルとマッチングされた係数の差は減少します。

意義と主張

本論文は、提案されたフレームワークが、実験デザイン自体を変更することなく、スイッチバック実験における統計的パワーを最大化するための、理論に基づいた実装可能なソリューションを提供すると主張しています。

• 実用性： この手法は、セルサイズの分布から2つのデザイン定数（$\bar{n}$ および $cv^2$）を計算するだけで、訓練損失と分析係数を再重み付けできるため、非常に実用的です。
• 効率性： 標準的な手法が最も非効率となる、セル内のノイズが高く、かつセル密度が高い指標において、既存のデータから最大限のパワーを引き出すことを可能にします。
• 堅牢性： このアプローチは、未知の分散構成に対して堅牢です。パワー最適化手法は、異なる分散レジームにおいても一貫して良好なパフォーマンスを示しますが、標準的な手法はセル内のノイズが支配的になると大幅に劣化します。

著者は、標準的なデフォルトであるユニットレベルのMSEは、クラスター化され、時間窓を持つ実験の分散構造とは根本的に相容れないものであるため、この整合（アライメント）が必要であると結論付けています。学習目的を、設計の分散分解に一致するように再重み付けすることで、モデルの容量が実際に統計的パワーを駆動するシグナルに対して費やされることを保証します。