Bias-robust causal inference for panel data

あなたは、ある謎を解こうとしている探偵だと想像してください。その謎とは、「この新しい政策は、本当に人々の生活を変えたのだろうか？」というものです。現実の世界では、スイッチを切り替えて、ある人々には政策を適用し、他の人々には適用しないという完璧な実験を行うことは滅多にありません。その代わりに、私たちはすでに手元にある、不完全で観察に基づいたデータを見つめる必要があります。何が起こったのか（「反事実」）を知るために、統計学者はモデルを構築します。それは、過去に基づいて未来を予測しようとする「デジタル・タイムマシン」のようなものです。彼らはしばしば、高度な数学を用いて、すべての人に影響を与える共通の「傾向」や「要因」といった隠れたパターンを見つけ出し、それらのパターンを利用して、もし政策が適用されていなかったら処置を受けたグループがどのようになっていたかを推測します。問題は、これらのタイムマシンが完璧ではないことです。もしモデルが隠れたパターンを見逃したり、間違った傾向を推測したりすれば、その予測は誤ったものになります。従来のメソッドは、自らの予測が100%正しいかのように振る舞い、自分たちの「タイムマシン」が少し壊れている可能性、つまり予測が不確かなものであるという事実を無視してしまうことがよくあります。

この論文は、この探偵業務を行うための、より慎重な新しい方法を紹介しています。これは、多くの異なる人々や場所を時間の経過とともに追跡するデータ（パネルデータ）を対象としています。著者であるアンジェロス・アレクソプロス（Angelos Alexopoulos）は、予測が完璧であると仮定するのではなく、予測が間違っている可能性があることを認め、その不確実性を最終的な答えの中に直接組み込むべきだと主張しています。これは天気予報のようなものです。「午後2時に雨が降ります」と言う代わりに、バイアスに強い（bias-robust）手法は、「午後2時に雨が降りますが、もし私たちのモデルが外れていれば、雨は1時半、あるいは2時半に降り始める可能性があります」と言います。この論文は、予測を調整するためにデータの「残差（エラー）」を確認し、モデルが完璧でない場合でも真の答えがその中に入ることを保証する「セーフティネット（より広い区間）」を作成する手法を開発しました。

タイムマシンとセーフティネット

この論文は、経済学や社会科学における特定の悩み、すなわち、制御された実験ができない場合に、どのように政策の効果を測定するかという問題に取り組んでいます。標準的なアプローチである「一般化合成コントロール法（GSC）」は、セレブリティの服装を、一般の人々の服のパーツを縫い合わせて再現しようとするようなものです。これは、セレブリティと一般の人々が、その根底にあるスタイル（要因）において非常に似ている場合にはうまく機能します。しかし、もしモデルがスタイルを間違えた場合、例えば、セレブリティだけが従っている微妙なトレンドを見逃した場合、「縫い合わされた」服装は不自然になり、政策による推定効果は歪んでしまいます。さらに悪いことに、従来のメソッドは、その「縫い合わせ」が完璧であるかのように信頼度を計算しており、パターンが間違っている可能性を無視しています。

著者は「バイアスに強い（bias-robust）」手法を提案しています。想像してみてください、あなたは謎の箱の重さを当てようとしています。手元には、少し誤差があるかもしれない秤があります。単に数値を読み取って「10ポンドです」と言う代わりに、「10ポンドですが、私の秤は最大2ポンドほどズレている可能性があるので、実際の重さは8ポンドから12ポンドの間のどこかにあります」と言うのです。新しい手法は、政策効果に対してもこれと同じことを行います。標準的な予測を行い、モデルがどれほど間違っている可能性があるか（「反事実的誤差」）を確認し、そして最終的な結果に「安全マージン」を加えます。これは「ミニマックス（minimax）」最適化と呼ばれる数学的なトリックを使用しており、これは、モデルがどれほど間違っていたとしても通用する「最悪のシナリオ」においても機能する最善の推測を見つけ出そうとするゲームのようなものです。

シミュレーションが示したこと

このアイデアをテストするために、著者はコンピュータ・シミュレーションを実行しました。つまり、真の答えがゼロである（政策は何の効果ももたらさなかった）ことが分かっている架空の世界を作り出したのです。これらのシミュレーションにおいて、新しい手法は信頼できる探偵であることを証明しました。標準的な「一般化合成コントロール法」が効果を推測しようとしたとき、それはしばしば、完全に間違っているにもかかわらず、極めて高い自信を持っており、特にモデルがデータを記述するための「要因」が不足している場合に、真の答え（ゼロ）を見逃していました。モデルが重要なトレンドを見逃した一つのシナリオでは、標準的なメソッドの信頼区間は非常に狭く、100%の確率で真実を見逃していました。

対照的に、新しい手法の区間はより広かったものの、常に真実を捉えていました。それは、網の目が大きく重い漁網のようなものでしたが、魚を逃がすことは決してありませんでした。論文では、これには代償が伴うことも指摘されています。つまり、区間が広くなるため、推定の精度は低くなります。しかし、著者は、多少精度が落ちても正しいことが、非常に精密であっても間違っていることよりもはるかに重要であると主張しています。シミュレーションにおいて、新しい手法は真実を捉える成功率100%を維持しましたが、標準的なメソッドの成功率は、モデルがわずかに不完全であるだけでゼロ近くまで低下しました。

実世界のテスト：投票日登録

その後、著者はこの手法を実世界の事例、すなわち、投票日登録（EDR）が投票率に与える影響に適用しました。標準的な手法を用いた先行研究では、EDRによって投票率が約4.9パーセントポイント上昇したと推定されていました。著者が新しいバイアスに強い手法を適用したところ、推定値は非常に似たもの（約4.99ポイント）にとどまりましたが、「セーフティネット」ははるかに広くなっていました。

この実世界のテストで最も興味深かったのは、結論が変わってしまう前に、手法がどれほどの誤差を許容できるかを確認することでした。著者は、モデルの予測誤差が「プレースボ・テスト（政策の効果が生じるはずのない偽の実験）」で見られる典型的な誤差のほぼ2倍になったとしても、結論（EDRは投票率を高めるという結論）は有効であり続けることを発見しました。しかし、もし誤差があまりにも巨大になり、具体的にはモデルが膨大な量だけ外れていた場合、結論は逆転します。論文は、標準的な手法が印象的なほどタイトな範囲を示す一方で、新しい手法は「効果がプラスであることにはかなり自信を持っているが、私たちのモデルが少しずれている可能性も考慮する必要がある」と認めていることを強調しています。

結論

この論文は、すべてのモデルを完璧にする魔法の杖を見つけたと言っているわけではありません。むしろ、結果を報告するための、より誠実な方法を提示しています。複雑なモデルを使って「何が起こったであろうか」を推測する場合、その推測が間違っている可能性を明示的に考慮すべきであると示唆しています。新しい手法は、精度を少し犠牲にして、信頼性を手に入れています。それは、反事実的誤差を正確に知ることはできないとしても、その誤差がどの程度大きくなり得るかの限界を設定し、それでもなお結論を信頼できることを教えてくれます。結局のところ、この論文は、私たちのタイムマシンが欠陥のないものであるとふりをするのではなく、不確実性について透明であることこそが、政策が本当に機能したかどうかを真に知るための唯一の方法であると主張しています。