技術要約：A/Bテストにおけるベイズ推論の手順

1. 問題提起

ベイズ推論によるA/Bテストは、文献や実務において、しばしば単一のメソッドとして扱われがちである。しかし、実際には異なる事前分布と停止規則の組み合わせによって定義される一連の構成（コンフィギュレーション）の集合であり、それぞれが根本的に異なる統計的性質を持っている。このような混同は、「特定の構成（例：誤差率の制御）に備わっている性質を、フレームワーク全体に誤って帰属させる」という誤解を招く。さらに、多くの商用実験プラットフォームは、デフォルトで「最低ティア」の統計的保証で動作しており、継続的なモニタリング下での偽陽性率（FPR）の制御や、効果推定値の較正（キャリブレーション）に失敗していることが多い。これらの構成、その保証、および頻度論的手法との関係性を整理した体系的な概観が不足している。

2. 手法とフレームワーク

本論文は、一般的なベイズ構成を、誤差率制御の強さに応じて順序付けられた**「3つのティア（階層）による保証」**として整理している。分析は、平均的な処置効果 $\delta = \mu_T - \mu_C$ が逐次データから推定される標準的な2群正規モデルに基づいている。

3つのティアによる階層

ティア1：事後分布の一貫性（誤差制御なし）

• 定義： 適切な事後分布を生成するあらゆる手順。事後分布は、停止規則に関わらず有効な信念更新を表す（尤度原理）。
• メカニズム： 事後確率による停止（例：$P(B > A) > \gamma)$）や、期待損失（期待後悔）の最小化を含む。
• 限界： これらの構成は、頻度論的な誤差率の保証を提供しない。無情報事前分布の下では、事後確率による停止は「単純なピーキング（p値 < 0.05で停止）」と代数的に同一であり、結果として第一種の過誤（Type I error）が増大する。期待損失による停止は特定の損失関数を最適化するが、FPRを制限するものではない。

ティア2：ベイズ因子（BF）による停止を用いたFPRの限定

• 定義： 任意（継続的）な停止が行われる場合でも、無条件の偽陽性率制御（$FPR \le \alpha$）を実現する。
• メカニズム： 適切な事前分布と、ベイズ因子閾値ルール（$BF_{10} > 1/\alpha$）を組み合わせる。
• 理論的根拠： 帰無仮説の下では、ベイズ因子のシーケンスは非負のマルチンゲールを形成する。**ヴィルの不等式（Ville's inequality）**により、実験がいつ停止するかに関わらず、ベイズ因子が $1/\alpha$ を超える確率は $\alpha$ によって抑えられる。
• 最適性： 終端のペイオフが事後分布に対してアフィンなコスト関数において、BF停止は逐次的決定においてほぼ最適である。決定論的定式化と頻度論的定式化の選択は、主にパラメータ化の問題である。

ティア3：経験的ベイズ（EB）による限定されたFDRと較正された縮小（Shrinkage）

• 定義： 複数の指標に対する偽発見率（FDR）の制御を追加し、効果推定値の較正された縮小を提供する。
• メカニズム： 歴史的な実験のコーパスから推定された経験的ベイズ事前分布を必要とする。この事前分布は通常、2成分混合モデル（無効な効果を表すゼロへの点質量と、非無効な効果を表す正規分布）である。
• 保証：
  • FDR制御： 混合事前分布は歴史的な非無効率（$p$）をエンコードする。これをBF停止と組み合わせることで、明示的な多重比較補正（例：ボンフェローニ補正）を必要とせずに、事後オッズの $(1-\hat{p})$ フロアがベイズ的FDRを制限する。
  • 較正された縮小： 事後平均は、プログラムの実際の効果サイズ分布に基づいてゼロへと縮小（シュリンケージ）され、これにより「勝者の呪い（Type M誤差）」を修正し、推定の分散を低減させる。
• 制約： ティア3の保証は、歴史的コーパスの質と代表性に完全に依存する。失敗モードとしては、「勝者選択された（winner-selected）」コーパス（無効な結果を除外したもの）、不均質な効果分布を持つプールされたプログラム、またはコーパスのサイズ不足（安定化には約200件の歴史的実験が必要）などが挙げられる。

3. 主な貢献

1. 体系的な分類学： 本論文は、ベイズ的A/Bテストの構成を、誤差率の保証に基づく3段階の階層として整理した初の体系的な概観を提供し、「ベイズ的」という言葉が一つの手法ではなく、統計的性質のスペクトラムであることを明確にした。
2. フレームワークの等価性： 実用的な構成の多くにおいて、ベイズ的手法と頻度論的手法の区別は表層的であることを示した。
   • 無情報事前分布による事後推論は、数値的に頻度論的なz検定と同一である。
   • ベイズ因子は、混合逐次確率比検定（mSPRT）統計量と同一である。
   • コストに基づいた停止規則は、しばしばBF閾値に収束し、決定論的アプローチと頻度論的誤差率を結びつける。
3. リスクの経験的検証： シミュレーションを通じて、異なる構成のリスクを定量化した。
   • ティア1（無情報事前分布 ＋ 事後確率停止）： 単純なピーキングを再現し、FPRが $\approx .30$ に達する（$\alpha=0.05$ の場合）。
   • ティア2（BF停止）： FPRを厳密に $\alpha$ 以下に制御するが、対数的に増加する閾値のため、境界的なシグナルに対しては群逐次検定（GST）よりもパワーが低くなる可能性がある。
   • ティア3（EB ＋ BF）： 較正された縮小により、すべての構成の中で最も低い平均二乗誤差（MSE）を達成するが、この利点は事前分布が誤設定されている場合（例：勝者選択されたコーパスから得られた場合）には消失する。
4. 決定論的トレードオフ： 各手法の「後悔（regret）」を分析した。期待損失による停止は、無効な効果を導入するコストが事実上ゼロである場合にのみ最適となる。導入に何らかの非メトリック的コスト（保守、複雑性）が発生する場合、BF停止（統計的証拠を必要とする手法）の方が総後悔を低く抑えられる。

4. シミュレーション結果

著者らは、階層を検証するために4つのシミュレーション設定を提示している。

• 設定A（FPR制御）： 無情報事前分布による事後確率停止はFPRを制御できない（FPR $\approx .30$）一方で、適切な事前分布を用いたBF停止はFPR $\le .05$ を維持することを確認した。
• 設定B（逐次的比較）： BF停止を頻度論的なGSTおよび常に有効な信頼区間（WS-R）と比較した。
  • すべての有効な逐次的メソッドはFPRを制御する。
  • GSTは最高のパワーを得るが、事前にコミットされたサンプルサイズ（$n_{max}$）を必要とする。
  • BF停止は柔軟性（$n_{max}$ 不要）を提供し、オラクルEB事前分布と組み合わせた場合、最も低いMSEを達成する。
  • 誤設定されたEB事前分布（例：勝者選択されたデータから）は、MSEの優位性を失い、エラー率を増大させる。
• 設定C（コーパスの質）： ティア3の特性（FDR制御、縮小）がコーパスの質に高度に敏感であることを示す。安定化には約200件の実験が必要である。「勝者選択された」または「プールされた」コーパスは、データ量を増やしても収束しない持続的なFPR/FDRの増大を引き起こす。
• 設定D（後悔分析）： 期待損失による停止は、導入コストがゼロの場合にのみ最適であることを示す。導入コストが増加するにつれ、BF停止（たとえ較正が緩い場合でも）の方が期待後悔を最小化する上で優れている。

5. 意義と主張

論文は、実験プログラムに適切なメソッドは、特定の統計的フレームワークへの好みではなく、プログラムが制御すべきリスクによって決定されるべきであると主張している。

• リスクに基づく構成：
  • 目的が意思決定あたりの期待コストを最小化することであり、無効なものを導入するコストが低い場合は、決定論的（期待損失）ルールが適切である可能性がある。
  • プログラム全体で偽陽性率（FPR）または偽発見率（FDR）を制限することが目的であれば、**ティア2（BF停止）またはティア3（EB ＋ BF）**が必要である。
• 較正の必要性： 本論文は、「ベイズ的手法」に帰せられることが多い利点（自動的な多重比較補正、縮小、低い推定誤差）は、事後分布を使用すること自体に固有のものではないことを強調している。これらはティア3に特有のものであり、代表的な歴史的コーパスから導出された較正された経験的ベイズ事前分布を必要とする。これがない場合、ベイズ的構成は頻度論的な手法に対して何の保護も提供しない。
• 実践的なガイダンス： 現在の多くのプラットフォームはティア1で動作しており、意図せず頻度論的なピーキングエラーを再現している。著者らは、代表的な歴史的コーパスを持たないプログラムは、ティア3を（不適切に適合した事前分布で）試みるのではなく、ティア2（弱情報事前分布を用いたBF停止）を採用し、明示的な多重比較補正を適用すべきであると示唆している。

結論として、本論文は、選択すべきは（ベイズか頻度論かという）フレームワークではなく、（事前分布と停止規則という）構成であると断じている。「ベイズ的」というラベルだけでは誤差の制御は保証されない。この階層内の特定の構成のみが、大規模な実験に不可欠な厳格な保証を提供するのである。