Small Samples and Short Panels: Evaluating Policy Evaluation Methods with Realistic Data

テクニカル・サマリー：小標本および短期間パネル：現実的なデータを用いた政策評価手法の評価

問題提起
経済学、公衆衛生学、政治学の研究者は、地理的レベル（例：州、郡、都市）での政策介入を評価するために、差の差分析（DiD）や合成コントロール法（SCM）といった縦断的な準実験デザインを頻繁に利用している。しかし、これらの評価はしばしば深刻なデータ制約に直面する。すなわち、地理的単位の数が限られていること、およびパネルの期間が短い（処置前後の期間が少ない）ことである。DiDは平行トレンド仮定に依存しているが、広範な共変量を用いて条件付けを行うことが困難な小標本においては、この仮定が成立しない可能性がある。これに対し、合成差の差分析（SDiD）や拡張合成コントロール法（ASCM）といった新しい手法は代替案を提供している。

対処される核心的な問題は、SDiDおよびASCMの理論的な性能保証――具体的にはバイアスと信頼区間の被覆率に関する保証――が、多数の単位と多数の期間を必要とする漸近的な仮定の下で導出されている点である。これらの仮定は、制御単位が少なく（例：10未満）、パネルが短い（例：処前期間が20未満）現実的な保健政策評価においては、成立しないことが多い。このような深刻なデータ制限下において、これらの手法が信頼できる推定値と妥当な推論を提供できるのかどうかに関する体系的な証拠が不足している。

方法論
このような現実的な小標本設定におけるSDiDおよびASCMの性能を評価するために、著者らは較正されたシミュレーション戦略を採用している。純粋に理論的なデータ生成に頼るのではなく、現実世界の経験的分布から派生したシミュレーションデータに対して、既知の処置効果（具体的には、無効性をテストするために真の効果をゼロに設定する）を注入している。

• データの較正： シミュレーションのパラメータは、2つの実世界のデータセットから推定されている。
  1. Youth Risk Behavior Surveillance System (YRBSS): 都市レベルの若年層のソーダ消費データ（$N=7$ 都市、$T=6$ 期）。これは、少ない単位数を持つ短期間パネルを表している。
  2. Current Population Survey (CPS): 州レベルの対数賃金データ（$N=50$ 州、$T=40$ 年）。これは、より長いパネルの調査を可能にする。
• データ生成プロセス (DGP): データは潜在因子モデル（$Y = \Gamma\Psi' + W \cdot \tau + E$）の下で生成されている。これは、SDiDとASCMの両方が良好な理論的特性を持つ設定である。因子負荷量（$\Gamma$）と時間因子（$\Psi$）は、較正データセットを用いた交互作用固定効果を用いて推定されている。
• シミュレーション設計： 著者らは、処置単位数（$N_{tr}$）、制御単位数（$N_{co}$）、処前期間（$T_{pre}$）、および処後期間（$T_{post}$）を変化させている。シナリオには、極端な制限（例：$N_{co}=6, T_{pre}=5$）が含まれる。
• 評価対象の手法：
  • SDiD: synthdid Rパッケージを用い、プレースボ分散推定法を用いて実装。
    描画された。
  • ASCM: アウトカムモデルとしてリッジ回帰を用いたaugsynth Rパッケージを用いて実装。仮説検定にはコンフォーマル推論を利用。
  • DiD: 平行トレンドが正確に成立する設定におけるベンチマークとして含め、効率性の損失を定量化。
• 指標： パフォーマンスは、バイアス、経験的標準誤差、および信頼区間被覆率（真の帰無仮説 $\tau=0$ が棄却されないシミュレーションの割合として算出）を通じて評価される。

主な結果
シミュレーション結果は、サンプルサイズとパネルの長さに応じて、SDiDとASCMの明確に異なる性能特性を明らかにしている。

1. バイアスと精度：

   • 両手法とも、ほとんどのシナリオにおいて緩やかなバイアス（通常は経験的標準偏差の0.1未満）を示す。
   • ASCMは、より多くの単位が利用可能な場合、特にSDiDよりも小さなバイアスを示す傾向がある。しかし、より多くの期間があり、処置単位が少ない設定では、ASCMはより大きなバイアスを示すことがある。
   • SDiDは、一般にASCMよりも低い経験的標準誤差（高い精度）を達成する。これは、処前期間が長く、処置単位が少ないシナリオ（例：CPSデータにおいて $N_{tr}=1, N_{co}=10, T_{pre}=30$ の場合、ASCMの分散はSDiDの2.26倍であった）において顕著である。

2. 信頼区間の被覆率：

   • ASCM: コンフォーマル推論の手続きは、処前期間が少ない場合（$T < 20$）、一貫して過剰被覆（被覆率 $>95\%$）となり、統計的検出力の著しい低下を招く。また、処前期間が長い場合（例：$T=30$）でも、処置単位が非常に少ない場合（$N_{tr}=1$）には過剰被覆が持続することがある。公称被覆率は、十分な処置単位が提供されていることを前提として、少なくとも20の処前期間が利用可能であれば概ね達成される。
   • SDiD: 被覆率は制御単位の数に強く依存する。単一の処置単位の場合、公称被覆率が得られるには少なくとも25の制御単位が必要である。複数の処置単位がある場合、10の制御単位だけでも公称被覆率を達成できる。
   • DiD: 平行トレンド仮定が成立する場合、サンプルサイズに関わらず公称被覆率を達成するが、SDiDおよびASCMは、平行トレンドの違反に対する頑健性を得るために精度を犠牲にしている（相対的な効率性は1.09から2.25の範囲にある）。

3. 小標本における性能：

   • 最も制約の厳しいシナリオ（例：$N_{co}=6, T_{pre}=5$）において、両手法とも公称被覆率からの逸脱を示すが、バイアスは比較的低いまま維持されている。
   • 著者らは、これらの小標本においては漸近正規性のための理論的仮定がしばしば成立しないものの、点推定に関してはこれらの手法が「合理的に良好」に機能していると指摘している。

意義と実用的なガイダンス
本論文は、単位数が少なくパネル期間が短い状況、特に平行トレンド仮定が疑わしい状況で政策介入を評価する研究者に、実用的なガイダンスを提供するものである。

• 手法の選択： 主題に関する知識から平行トレンドが成立しない可能性が高い場合（例：介入前のショックによるもの）にのみ、SDiDおよびASCMを主要な分析として推奨する。それ以外の場合、これらはDiDに対する感度分析として使用すべきである。
• 推論の制約：
  • ASCMは、保守的な信頼区間によって検出力が低下するため、短期間のパネル（$T < 20$）では注意して使用する必要がある。また、期間が長くても、処置単位が非常に少ない場合は被覆率が悪化する可能性がある。
  • SDiDは、妥当な推論を行うために、十分な数の制御単位（単一の処置単位に対しては約25、複数の処置単位に対しては10）を必要とする。
• トレードオフ： 本研究は、平行トレンドの違反に対するSDiDおよびASCMの頑健性が、平行トレンドが実際に成立している場合のDiDと比較して、精度の低下という代償を伴うことを強調している。
• 限界： 著者らは、シミュレーションが2つのデータセットに較正されており、同時採用を想定した潜在因子モデルに基づいていることを認めている。また、特定の共変量の調整や代替の分散推定法に関する処方的なガイダンスを提示しているわけではなく、得られた結果はデフォルトのソフトウェア実装を反映したものであると述べている。

結論
本研究は、SDiDおよびASCMがデータ不足の環境における政策評価のための価値あるツールを提供している一方で、その推論特性はサンプルサイズとパネルの長さに敏感であることを結論づけている。研究者は、標準的な漸近的保証が保健政策研究に共通する小標本設定において成立しない可能性があることを念頭に置き、仮説検定のためにこれらの手法に依存する前に、利用可能な制御単位数と期間を慎重に検討しなければならない。