Sharp variance estimator and causal bootstrap in stratified randomized experiments

あなたが新しい薬（治療）が砂糖の錠剤（対照）よりも効果があるかどうかを突き止めようとする探偵だと想像してください。あなたは人々のグループを持っていますが、彼らは皆同じではありません。若い人もいれば年配の人もいます。都市に住む人もいれば、町に住む人もいます。公平を期すために、薬を割り当てる前に、これらの類似性に基づいて彼らを「地区（層）」にグループ分けすることにします。これが層化無作為化実験です。

あなたの目標は、「平均処置効果（ATE）」を測定することです。つまり、平均的に薬が人々の気分をどの程度改善させるかを測ることです。

問題は、現実世界ではデータが厄介だということです。サンプルサイズが小さかったり、結果が奇妙に歪んでいたり（ごく少数の人が極めて良い結果を得る一方で、大多数は平均的な結果しか得ない場合など）することがあります。探偵が伝統的に使用する統計ツールは、こうした状況では過度に慎重になりがちです。彼らは「安全網（信頼区間）」を構築しますが、それが広すぎて役に立たなかったり、データが実際にはギザギザの山のように見えるのに、完璧なベル型曲線に従うと仮定したりします。

この論文は、探偵たちが安全網を失うことなく、より鮮明で正確な図を得るのを助ける3つの新しいツールを紹介しています。

1. 「鋭い」定規（Sharp Variance Estimator）

従来の方法： りんごの袋の重さを推測しようとしていると想像してください。従来の方法は、「安全のために、袋の中に最も重いりんごが入っていると仮定しましょう」と言います。これにより、総重量の見積もりが非常に高くなり、「誤差範囲」も巨大になります。その結果、「袋の重さは10ポンドから50ポンドの間だ」と言うことになります。これは安全ですが、あまり役立ちません。

新しい方法： 著者は「Sharp Variance Estimator（鋭い分散推定量）」を提案します。すべてのりんごについて最悪のシナリオを推測する代わりに、りんごの並び順に基づいた巧妙な数学的トリックを用いて、可能な限り「最も狭い」安全な上限値を見つけます。

• 比喩： りんごがどのように積み重ねられているかを正確に知っている定規を使うようなものです。それでも安全網は保たれますが、「10ポンドから50ポンド」という範囲が「12ポンドから18ポンド」のようなものまで縮小されます。まだ安全ですが、今では実際に何と向き合っているのかがわかります。

2. 「順位保存」のタイムトラベラー（グループのための因果ブートストラップ）

問題： 鋭い定規を使っても、サンプルサイズが小さかったりデータが奇妙だったりすると、「ベル型曲線」の数学（正規近似）が失敗することがあります。晴れた日のみにしか機能しない公式を使って天気を予測しようとしているようなもので、実際には嵐の中にいるようなものです。

解決策： 著者は「因果ブートストラップ」を導入します。

• 比喩： 実験を表すカードのデッキを持っていると想像してください。従来の方法は、デッキが無限で完全に混ぜられていると仮定して、次のカードを推測しようとします。新しい方法は、「同じカードを完全に使いながら、シャッフルし直して、何度も何度もゲームをプレイしましょう」と言います。
• 仕組み： 彼らは**順位保存補完（Rank-Preserving Imputation）*という手法を使用します。パズルの欠けた部分を埋めるようなものです。もしAさんが薬を飲んで気分が良くなり、Bさんが砂糖の錠剤を飲んでそこそこ気分が良かったと分かっている場合、この方法は次のように問いかけます。「もしBさんが薬を飲んでいたらどうだったでしょう？Aさんと同じ順位にあるので、彼らの出発点に対して同じくらい気分が良かっただろう*と想像しましょう」。
• 結果： 実際のデータを使って何千もの「もしも」シナリオをシミュレーションすることで、彼らは古いベル型曲線による推測よりもはるかに正確な不確実性の地図を構築します。これは「2次の改良」であり、古い方法が見逃す小さな誤りを修正します。

3. 対のための「一定効果」ショートカット（ペアのための因果ブートストラップ）

問題： 時には、実験が非常に小さく、人々が双子のようにペアでマッチングされることがあります。このような「ペア実験」では、上記の「順位保存」手法は機能しません。2枚しかないカードのデッキをシャッフルしようとしているようなもので、新しいシナリオを作るためにカードを動かす余地がないからです。

解決策： 著者は、**一定処置効果補完（Constant-Treatment-Effect Imputation）**に基づいた、これらのペアに特化した2番目のブートストラップ手法を提案します。

• 比喩： 双子が2人いると想像してください。一人はビタミンを摂り、もう一人は摂りません。新しい方法は、単純なルールを仮定します。「ビタミンは、摂取する誰にでも正確に5ポイントの健康増加分を加える」と。彼らが誰であれ、増加分は一定です。
• なぜ巧妙か： ビタミンが実際には誰にでも正確に5ポイントを加えるわけではないとしても、この仮定によって数学が機能します。著者は、この「一定の増加分」という考えを使ってパズルの欠けた部分を埋めることで、得られる安全網が依然として有効であり、従来の方法よりもはるかに狭くなることが証明されています。

現実世界でのテスト

著者はこれらのツールを2つの方法でテストしました。

1. シミュレーション： 彼らは、あらゆる種類の奇妙な形状（歪んだもの、重い裾を持つもの）を持つ架空のデータを作成し、新しいツールが古いツールよりも真理をより頻繁に見つけ出し、より狭い範囲で示すことを実証しました。
2. 実データ：
   • 大麻中止試験： 彼らは大麻の禁煙に関する研究を分析しました。データは歪んでいました。彼らの新しい方法は、標準的な方法よりもはるかに狭い信頼区間を与え、結果をより精密にしました。
   • メキシコの健康保険： 彼らは町がペアになった研究を検討しました。データには外れ値（非常に高い費用）が含まれていました。再び、彼らの「一定効果」ブートストラップ手法は、標準的なアプローチよりも効率的（狭い）な信頼区間を提供しました。

結論

この論文は、病気を治したり貧困を解決したりするとは主張していません。代わりに、実験を分析するためのより優れた数学的ツールを提供しています。

• グループがある場合は、鋭い定規と順位保存のタイムトラベラーを使用してください。
• ペアがある場合は、一定効果ショートカットを使用してください。

これらのツールにより、研究者は「効果はXからYの間であると95%確信している」と言うことができます。以前よりもはるかに狭く、有用な範囲（XとYはより近いです）で、結論の安全性を犠牲にすることなくです。彼らは、他の探偵たちがこれらの新しいツールを使用できるように、無料のソフトウェアパッケージ（Rパッケージ CausalBootstrap）も作成しました。