Learning What to Learn: Experimental Design when Combining Experimental with Observational Evidence

名探偵のジレンマ：手がかりが嘘をつくとき

あなたは、ある新しい政策（例えば、貧困世帯への現金給付など）が国全体の経済をどのように変えるのかという、巨大な謎を解こうとしている探偵だと想像してください。あなたには2種類の「手がかり」があります。1種類目は「ランダム化比較試験（RCT）」から得られるものです。これは、実験室で行われる完璧に制御された科学実験のようなもので、特定のグループに特定の処置を行い、何が起こるかを観察します。これらの手がかりは非常に信頼性が高く、何が結果を引き起こしたのかを正確に把握できるため、「黄金」とも言えます。しかし、落とし穴があります。これらの実験は費用がかかり、通常は非常に限定された小さな町で行われます。それらはその一つの村で何が起きたかは教えてくれますが、価格が変動したり人々が複雑に反応したりする「国家規模」にプログラムを展開した場合に何が起きるかまでは教えてくれません。

2種類目の手がかりは「観測的エビデンス」です。これは、過去のケースファイルやニュースのレポートを読むようなものです。これらは安価で広範囲をカバーしていますが、非常に「乱雑」です。報告されている人々が以前とは違っていたり、あるいは結果を実際とは異なって見せてしまう別の要因が働いていたりする可能性があります。科学者にとっての大きな問題は、これら2種類の情報をどう混ぜ合わせるかです。実験の信頼性と、古いレポートが持つ大局的な視点の両方を得たいと考えていますが、古いレポートがどれほど「嘘をついているか」が分かりません。もし古いレポートを信じすぎれば、理論全体が崩壊してしまうかもしれません。逆に、それらを無視すれば、有用な情報を無駄にしてしまいます。この論文は、探偵が、高価な実験にどれだけの予算を投じ、乱雑な古いファイルにどれだけ頼るべきかを判断するための、より優れた「地図」を作る方法について述べています。

論文の解決策：「後悔」のコンパス

「Learning What to Learn（何を学ぶべきかを学ぶ）」と題されたこの論文は、新鮮で高価なデータと、古くて偏り（バイアス）がある可能性のあるデータを組み合わせる際に、どのように実験を設計すべきかという新しい手法を提案しています。著者である Aristotelis Epanomeritakis と Davide Viviano は、古いデータに偏りがある可能性を無視して、単に結果の「ノイズ（分散）」を最小化しようとする従来の手法は危険であると主張しています。代わりに彼らは、**「ミニマックス比例後悔（Minimax Proportional Regret）」**という新しいコンパスを導入しました。

「後悔（Regret）」とは、振り返ったときに「別の選択をしていればよかった」と感じる感覚のことだと考えてください。この論文では、著者たちは、古いデータの偏りの正確な量を知っている「オラクル（神託）」という超知能的な存在を想定しています。オラクルは、最高の答えを得るための完璧な実験と、データの最適な混合方法を選び出します。しかし、現実の研究者には魔法のオラクルはいないため、偏りの正確な量は分かりません。そこで著者たちはこう問いかけます。「最悪のシナリオにおいても、自分の選択に対する『後悔』が最小限になるような設計を選ぶとしたらどうだろうか？」と。

この論文は、最善の戦略とは、単に最も精密な数値を与える実験を選ぶことではないことを明らかにしています。そうではなく、以下の2つのバランスを取る「スイートスポット」を見つけることです。

1. 分散の後悔（Variance Regret）： データの収集が不十分なために、結果がどれほど「ノイズ」が多く、不安定であるか。
2. バイアスへの後悔（Bias Regret）： 偏りのある古いレポートを信じすぎたために、結果がどれほど間違ってしまう可能性があるか。

著者たちは、最適な設計とは、これら2種類の後悔が等しくなるものであることを示しています。それはまるで綱渡りのようです。ノイズを最小化すること（大量の実験データを集めること）に傾きすぎれば、バイアスの崖（嘘を信じてしまうこと）から落ちてしまいます。逆に、バイアスを避けること（ノいデータを取り除くこと）に傾きすぎれば、分散の崖（数値が不安定すぎて役に立たないこと）から落ちてしまいます。論文では、数学的に、最善の設計とは、これら両方の崖に対して等しく警戒している状態であることを証明しています。

実社会での仕組み

このアイデアが機能することを証明するために、著者たちは現実世界の例を用いてテストを行いました。それは、ケニアの政府が、現金の給付が通学率にどのような影響を与えるかを知ろうとしているケースです。彼らには、メキシコの有名なプログラム（PROGRESA）からの古いデータがあり、それがケニアに完全に当てはまるかどうかは不明でした。彼らは、現金の直接的な効果、所得の効果、あるいは賃金の効果を測定するために、新しい実験を行うべきかどうかを判断しなければなりませんでした。

この新しい「後悔」メソッドを用いることで、彼らは標準的な手法（「ネイマン配分」と呼ばれるもの）が、最もクリーンな数値が得られる「現金給付実験」にすべての予算を投じてしまうことを発見しました。しかし、これはメキシコの古いデータに偏りがあるリスクを無視していました。新しいメソッドは異なる道を提示しました。それは、あらゆるサンプルサイズにおいて、「雇用プログラムの実験」を実施することを推奨したのです。標準的な手法では、非常に大きなサンプルサイズにならない限り雇用プログラムへの切り替えは起こりませんが、新しいメソッドは、バイアスのリスクを回避するために、即座にそれを優先しました。

シミュレーションにおいて、新しいメソッドは、もし古いデータが完璧であれば旧来の手法は見事な結果を示すものの、データが少しでも間違っていれば崩壊してしまうことを示しました。一方、新しい「後悔最適化」設計は安定していました。それは、結果の「ノイズ」をわずかに受け入れる代わりに、間違いを犯すリスクを劇的に減少させました。例えば、これらのような研究で一般的な3,700人のサンプルサイズにおいて、旧来の手法は4または5を超える「後悔」スコア（理想から遠い状態）を示しましたが、新メソッドは後悔スコアを約1.3に抑えました。これは、古いデータに偏りがあったとしても、真実に極めて近い状態を維持できることを意味しています。

論文が述べていること、述べていないこと

この論文は、自分たちが何を行い、何を行わないのかを非常に明確にしています。著者は、実験をやめるべきだとか、古いデータを使うべきではないと主張しているのではありません。また、古いデータの偏りを魔法のように知ることができるとも言っていません。実際、その核心は「私たちは分からない」という点にあります。

著者たちは、バイアスを考慮せずに実験の数値をできる限り精密にすること（分散を最小化すること）だけに固執する考え方に明確に反対しています。もしそうすれば、間違った問いに対して非常に精密な答えを出してしまう可能性があることを彼らは示しています。また、バイアスを恐れるあまり、古いデータを完全に無視すべきだという考えにも反対しています。それはリソースの無駄であり、結果を不安定にするからです。

これらの知見は、数学的な証明とコンピュータ・シミュレーションに基づいています。著者らは、彼らの手法が幅広い一般的な統計ツール（GMMや最小距離推定量など）に適用可能であり、さらに「ベイズ的な聴衆（異なる信念を持つ人々の集団）」がデータを解釈しようとするシナリオにおいても有効であることを示しています。彼らは、自分たちの「後悔」アプローチが、未知の事象に対処するための堅牢な方法であることを証明しています。彼らは経済学のあらゆる問題を解決したと主張しているのではなく、クリーンな実験と乱雑な現実世界のデータを組み合わせるという、非常に一般的な問題に対する、数学的に裏付けられた具体的なツールを提供しているのです。

まとめ

結局のところ、この論文は研究者に、限られた予算をどのように使うべきかという新しいルールブックを与えています。それはこう伝えています。「最も光り輝く、最も精密なデータだけを探してはいけません。たとえその間違いがどのようなものか正確に分からなくても、最大のミスから自分を守ってくれる設計を探しなさい」と。これは謙虚さの教訓です。過去についてすべてを知っているわけではないと認めることで、私たちはより良い未来のための実験を設計できるのです。その結果、より誠実で、より信頼できる形で大きな政策問題に答えることが可能になり、政府がプログラムに資金を投じる際、その決定が精密かつ強靭な基盤に基づいたものとなるよう保証するのです。