Prior-Free Sample Size Design for Test-and-Roll Experiments

技術的サマリー：テスト＆ロール実験のための事前分布フリーなサンプルサイズ設計

問題定式化
本論文は、サイズ $N$ の有限母集団内で実施される「テスト＆ロール」実験におけるサンプルサイズ設計問題を取り扱う。この設定において、意思決定者はまず、$m$ 個の単位（そのうち $m/2$ を処置群、$m/2$ を対照群に割り当てる）に対して無作為化比較試験（RCT）を実施する。観察された結果に基づき、意思決定者は実験でより好成績を収めた処置群に、残りの $N-m$ 個の単位を割り当てる。

目的は、母集団全体における期待総厚生 $E[\sum_{i=1}^N Y_i]$ を最大化することである。これにより、探査と活用（exploration–exploitation）の根本的なトレードオフが生じる。

1. 探査コスト: $m$ を増やすことは、優位な処置の特定精度を向上させるが、実験単位に対する厚生損失を課す。なぜなら、事後において半分の単位は必然的に劣った処置に割り当てられるからである。
2. 活用のリスク: $m$ を減らすことは、実験単位における即時的な厚生損失を軽減するが、誤ったロールアウト決定を行うリスクを増大させ、その結果、より大きな残存母集団（$N-m$）に劣った処置を割り当てることになる。

中心的な課題は、真の処置効果が事前（ex ante）に未知であることである。本論文は、既存の厚生ベースのアプローチを特徴づける主観的ベイズ事前分布や恣意的なハイパーパラメータへの感応性を回避する、事前分布フリーな設計ルールを求めようとするものである。

手法と既存基準への批判
著者はまず、真の処置効果を知るオラクルに対する最悪ケースの後悔を最小化するようにサンプルサイズ $m$ を選択する、標準的な絶対最小最大後悔基準を分析する。

• 限界: 本論文は、この基準が非現実的に小さな実験サンプルサイズ（例：$N=10,000$ の場合、$m/N \approx 2.3\%$）をもたらすことを示す。
• 失敗のメカニズム: 絶対最小最大枠組みにおける最悪ケースの敵対者は、絶対処置効果（$|\tau|$）を最大化するパラメータ値に集中する。そのような極端な場合、探査コスト（$m/2 \cdot |\tau|$）が後悔関数を支配し、その基準が探査を過度に罰してサンプルサイズをほぼゼロまで抑制してしまう。

これを解決するため、著者は**最悪ケース限界便益（WMB）**ルールを提案する。

• 中核概念: 総最悪ケース後悔を最小化する代わりに、WMB ルールは限界においてトレードオフを評価する。実験に追加される 1 対のマッチング単位による最悪ケースの限界便益を、対応する限界探査コストと比較する。
• 停止則: 追加ペアの最悪ケース限界便益が限界コストを上回る限り、実験は継続される。最適なサンプルサイズ $\hat{m}_{WMB}$ は、最悪ケース限界便益比 $\eta(m, \mu_1, \mu_0)$ が 1 以下に低下する最小の偶数 $m$ である。
• 定義:
  $$\hat{m}_{WMB} = \min \left\{ m \in \{0, 2, \dots, N-2\} : \max_{(\mu_1, \mu_0) \in [0,1]^2} \eta(m, \mu_1, \mu_0) \leq 1 \right\}$$
  ここで、$\eta$ は、追加された探査コスト単位あたりの期待ロールアウト誤差（救済された単位）の減少度を測定する。

主要な結果

1. 三分の一の法則ベンチマーク:
   本論文は、最適なサンプルサイズに対する単純で事前分布フリーなベンチマークを確立する。
   $$\hat{m} \approx \frac{N}{3}$$
   この結果は、以下の 2 つの異なる条件下で成立する。

   • ベルヌーイ結果: ガウス近似を通じて、WMB 基準は $\hat{m} \approx N/3$ を導く。著者は厳密に、正確なベルヌーイ問題では、「境界の稀な事象の病理」（一方の腕が分散ゼロであり、他方の腕の成功確率が $O(1/N)$ 順序で消滅するケース）を除外する必要があることを示す。この病理的ケースでは、最適なサンプルサイズは $N/2$ に近づく。しかし、規則的な内部状態（処置効果が非退化である場合）では、最も不利なパラメータは対角線付近（$\mu_1 \approx \mu_0$）に局在し、ガウス近似が有効となるため、$N/3$ の法則が導かれる。
   • ガウス結果（既知の分散）: 既知の共通分散を持つガウス分布に従う結果の場合、漸近近似や境界ケースの除外を必要とせず、$N/3$ ベンチマークが厳密に生じる。限界比関数の連続緩和は、最悪ケース限界便益が $m \geq N/3$ である場合にのみ 1 以下となる閉形式解を与える。

2. 敵対者の振る舞い:
   WMB ルール下では、敵対者の振る舞いは絶対最小最大後悔下とは異なる。総後悔を最大化するために極端な処置効果を選ぶのではなく、敵対者は継続的な実験の限界便益を最大化するパラメータ値を選択する。内部領域において、これらの最も不利な状態は、処置間の識別が最も困難な対角線付近（$\mu_1 \approx \mu_0$）に集中する。

3. 数値的検証:
   数値研究は、$N$ が小さい場合、境界効果がサンプルサイズを $N/2$ 方向に押し上げる可能性があることを確認する。$N$ が増加するにつれ、最も不利なパラメータは境界から離れ、最適なサンプルサイズは $N/3$ 付近で安定する。

意義と貢献
本論文は、厚生ベースのサンプルサイズ設計に対する実用的に実装可能で事前分布フリーなガイドを提供すると主張する。

• 実用性: 導き出されたルール（$m \approx N/3$）は、母集団の総サイズ $N$ のみに依存する。意思決定者が主観的事前分布、事前分散、または他の調整パラメータを指定する必要はなく、これらは実際には正当化が困難であることが多い。
• 理論的堅牢性: 総後悔最小化から限界便益分析への転換により、標準的な最小最大後悔基準に内在する探査の「過剰な罰」を回避する。
• 厚生焦点: 仮説検定のための第 1 種・第 2 種の誤りを制御する従来の検出力分析とは異なり、このアプローチは有限母集団の厚生目的を直接最適化し、実験のコストと非最適なロールアウトのリスクを明示的にバランスさせる。

著者は、WMB ルールが有限母集団のテスト＆ロール実験における探査と活用のトレードオフに対する堅牢な解決策を提供し、主観的事前信念に依存しない明確で理論的に裏付けられた停止則を提供すると結論づけている。