Propensity score adjustment when errors in achievement measures inform treatment assignment

技術的要約：達成度測定値に誤差が含まれる場合に処置割り当てが決定される際の傾向スコア調整

問題の定義
本論文は、テキサス州の「追加登校日（ADSY）」イニシアチブのような、デモグラフィックなサブグループにおける達成度の格差によって処置の割り当てが決定される、学校レベルの介入評価における特定の課題に取り組んでいる。多くの学校において、これらのサブグループ（例：特定の特定の人種・民族グループ）は規模が小さいため、年度末のテストスコアは、学生の「真の」平均スコアのノイズの多い測定値となってしまう。

古典的テスト理論によれば、得られたスコア（$W$）は、真のスコア（$X$）とランダム誤差（$\epsilon$）の和である。介入決定メカニズム（$T$）は得られたスコア（$W$）によって決定されるが、著者らは、因果推論を有効にするためには、傾向スコア（PS）は理想的には真のスコア（$X$）に基づいてバランスを取るべきであると主張している。得られたスコア（$W$）を用いた標準的な傾向スコア推定では、測定誤差が「微分的（differential）」である場合（すなわち、$W$ と $T$ が $X$ を条件として条件付き独立ではない場合）、真のスコア（$X$）のバランスを取ることができない。これは、割り当てメカニズムが単なる基礎となる $X$ だけでなく、ノイズを含む $W$ に対して明示的に反応するためである。さらに、公開されている報告の閾値により、非常に小さなグループのサブグループ平均値が非公開となっていることがあり、これが標準的な PS 推定を妨げる欠損データの問題を生じさせている。

手法
著者らは、得られたスコア（$W$）ではなく、サブグループの平均真スコア（$X$）に基づいてバランスを取るための、傾向スコアを推定する2つの手法を提案している。これらは、州の教育機関から提供される外部の測定誤差分散の推定値（条件付き標準測定誤差、または CSEM）を利用するものである。

1. 回帰キャリブレーション（RC）傾向スコア:

   • このアプローチでは、PS モデルにおける誤差を含む得られたスコア（$W$）を、真のスコアの経験的ベイズ（EB）予測値（$\hat{X}$）に置き換える。
   • EB 予測値は、学校間および学校内のサブグループ間の変動を考慮した2レベルの階層線形モデル（HLM）から導出される。
   • 識別において、CSEM から導出された外部の測定誤差分散（$\Sigma_i$）が、HLM におけるランダム効果を特定するために極めて重要となる。
   • その後、PS モデルは、予測された真のスコア（$\hat{X}$）および誤差のない共変量（$Z$）に対する処置割り当てのロジスティック回帰となる。

2. 最尤法（ML）傾向スコア:

   • このアプローチは、真のスコア（$X$）および誤差のない共変量（$Z$）を条件として、処置割り当て（$T$）と得られたスコア（$W$）を結合してモデル化する。
   • 本手法は、$W$ が $X$ の影響を完全に捉えている（すなわち、$T \perp W | X, Z$）と仮定しており、$W$ が「弱い代理変数」として機能することを認めている。
   • ターゲットとなる傾向スコア $e(X, Z)$ は、$T$ と $W$ の結合分布から $W$ を積分消去することによって得られる。
   • 結果として得られる積分（ロジスティック・正規積分）は解析的に困難であるため、著者らは Monahan and Stefanski (1992) に基づく高速な近似を用い、積分を正規分布関数の位置尺度混合として表現する。
   • この手法は、$X$ と $Z$ のみに条件付ける PS 推定値をもたらし、効果的にノイズを周辺化する。

主な結果
著者らは、シミュレーション研究およびテキサス州の ADSY イニシアチブへの適用を通じて、これらの手法を評価した。

• シミュレーション研究:

  • オーバーラップとマッチング: ML 法および RC 法は、「ナイーブな」アプローチ（$W$ を用いた標準的なロジスティック回帰）と比較して、介入群と対照群の間のオーバーラップを大幅に改善した。測定誤差が高い傾向にある小さなサブグループが存在するシナリオでは、ナイーブなアプローチではマッチングの欠如（ポジティビティの違反）により、分析から最大 21% の介入学校が除外されたが、ML アプローチによる除外はわずか 2% であった。
  • バランス: ML および RC 推定値を用いてマッチングを行うことは、ナイーブな推定値を用いてマッチングを行うよりも、真のサブグループ・スコア（$X$）に対して優れたバランスをもたらした。
  • 推定誤差: 得られた効果推定値（処置を受けた者に対する平均処置効果：ATE）は、ML または RC の PS 推定値を使用したとき、より低い平方根平均二乗誤差（RMSE）を示した。特に ML 推定器は、好ましいトレードオフを示した。特定の不均一な誤差シナリオにおいてはわずかにバイアスが高くなるものの、分散が大幅に低くなったため、全体的な RMSE において優れた性能を発揮した。

• テキサス州 ADSY への適用:

  • これらの手法は、サブグループの平均値が非公開となっている公立学校のデータに適用された。
  • ナイーブなアプローチは機能するために欠損データの補完を必要とするが、RC および ML 手法は、EB 予測値と誤差分散の推定値のみを使用して、データが非公開となっている学校の PS 推定値を生成できる。
  • ML PS 推定値でマッチングを行うことは、3 つの手法の中で真の予測スコアに対して最良のバランス（最も低い平均標準化差）を達成した。
  • PS モデルに使用されていないサブグループ（アジア系および白人学生）の 2019 年のスコアを用いたプレースボ・テストでは、すべての手法においてアジア系学生に有意な不均衡が見られた。これは、極端に小さなサブグループ・サイズ（いくつかのケースでは中央値が 0 人）に起因しており、データが希薄な場合にはバランシングに限界があることを浮き彫りにした。

意義と主張
本論文は、提案する手法が、ノイズの多い小規模な達成度指標によって処置の割り当てが決定される介入を評価するための実用的な解決策を提供すると主張している。主な貢献は以下の通りである：

1. 微分的な測定誤差への対処: 提案手法は、測定誤差が処置の割り当てに影響を与えるという事実を明示的に考慮しており、標準的な回帰キャリブレーションで求められることが多い非微分的な誤差の仮定を超えている。
2. 欠損データの処理: これらのアプローチは、制限された学生レベルのデータへのアクセスを必要とせずに、サブグループ平均が非公開となっている学校における PS 推定を可能にする。これは教育研究における一般的な問題である。
3. ポジティビティの改善: PS 推定値の変動性を低減することで、介入群と対照群の間のオーバーラップを改善し、分析から介入学校を除外する必要性を減らし、サンプルサイズと精度を維持する。
4. バイアスと分散のトレードオフ: ML 推定器は、交絡因子によるバイアスとポジティビティ違反によるバイアスの間のトレードオフに対して、説得力のある解決策を提供する。これにより、重大な測定誤差が存在する場合でも、より精密な効果推定が可能となる。

著者らは、提案手法は測定誤差を無視することよりも改善されているものの、外部の測定誤差推定値（CSEM）の利用可能性に依存しており、また ML 手法において誤差分布がガウス分布であることを前提としていることを注記している。また、異なるサブグループが異なる測定誤差分布を持つ場合の ML 推定器の挙動を理解するためには、今後の研究が必要であることも認めている。