Propensity score adjustment when errors in achievement measures inform treatment assignment

技术摘要：当成就测量误差影响处理分配时的倾向得分调整

问题陈述
本文探讨了评估学校层面干预措施（如德克萨斯州额外天数学年 [ADSY] 计划）时面临的一个特定挑战，其中处理分配是由人口统计学子群体的成就差距驱动的。在许多学校中，这些子群体（例如特定的种族/族裔群体）规模较小，导致期末考试成绩是对学生“真实”平均分（true average scores）的噪声测量。

根据经典测试理论，观测得分（$W$）是真实得分（$X$）与随机误差（$\epsilon$）之和。虽然干预分配机制（$T$）是由观测得分（$W$）决定的，但作者认为，为了实现有效的因果推断，倾向得分（PS）理想情况下应基于未观测到的真实得分（$X$）进行平衡。使用噪声较大的观测得分（$W$）进行标准倾向得分估计，在测量误差具有“差异性”（differential）时，无法实现对真实得分（$X$）的平衡。这种差异性发生于：当 $W$ 与 $T$ 在给定 $X$ 的条件下并非条件独立的。这是因为分配机制明确地响应了噪声化的 $W$，而非仅仅是潜在的 $X$。此外，公共报告阈值会隐藏极小群体的平均分，从而产生了导致标准倾向得分估计无法进行的缺失数据问题。

方法论
作者提出了两种方法来估计倾向得分，旨在实现基于子群体平均真实得分（$X$）而非观测得分（$W$）的平衡，这些方法利用了由州教育机构提供的测量误差方差（条件标准测量误差，简称 CSEMs）的外部估计值。

1. 回归校准（RC）倾向得分：

   • 该方法使用经验贝叶斯（EB）预测的真实得分（$\hat{X}$）取代模型中存在误差的观测得分（$W$）。
   • EB 预测值源自一个两层分层线性模型（HLM），该模型考虑了学校间以及学校内子群体间的变异性。
   • 来自 CSEMs 的外部测量误差方差估计值（$\Sigma_i$）对于识别 HLM 中的随机效应至关重要。
   • 随后，倾向得分模型是对处理分配（$T$）对预测真实得分（$\hat{X}$）及其他无误差协变量（$Z$）的逻辑回归。

2. 极大似然（ML）倾向得分：

   • 该方法在给定真实得分（$X$）和无误差协变量（$Z$）的条件下，对处理分配（$T$）和观测得分（$W$）进行联合建模。
   • 它假设 $W$ 捕捉了 $X$ 对 $T$ 的全部影响（即 $T \perp W | X, Z$），承认 $W$ 是一个“弱代理变量”。
   • 目标倾向得分 $e(X, Z)$ 通过对 $W$ 进行积分，从 $T$ 和 $W$ 的联合分布中获得。
   • 由于所得积分（逻辑-正态积分）在解析上是难以处理的，作者采用了基于 Monahan 和 Stefanski (1992) 的快速近似法，将积分表示为正态分布函数的位置-尺度混合。
   • 该方法产生的倾向得分估计值仅以 $X$ 和 $Z$ 为条件，从而有效地消除了噪声。

关键结果
作者通过模拟研究和对德克萨斯州 ADSY 计划的应用评估了这些方法。

• 模拟研究：

  • 重叠与匹配： 与使用 $W$ 进行标准逻辑回归的“幼稚型”（naive）方法相比，ML 和 RC 方法显著改善了干预组与对照组之间的重叠。在容易产生高测量误差的小规模子群体场景下，幼稚型方法因缺乏匹配（违反正值性假设）导致高达 21% 的干预学校被排除在分析之外，而 ML 方法仅排除了 2%。
  • 平衡性： 使用 ML 和 RC 估计值进行匹配，在真实子群体得分（$X$）上的平衡效果优于使用幼稚型估计值。
  • 估计误差： 当使用 ML 或 RC 倾向得分估计时，所得的效应估计值（处理组平均处理效应，ATET）具有较低的均方根误差（RMSE）。特别是 ML 估计器展现出了一种有利的权衡：尽管在特定的异质误差场景下表现出略高的偏差，但其方差显著降低，从而实现了更优的整体 RMSE。

• 德克萨斯州 ADSY 应用：

  • 这些方法被应用于存在小规模群体子群体平均分被隐藏的公立学校数据。
  • 不同于需要通过插补缺失数据才能运行的幼稚型方法，RC 和 ML 方法可以仅利用 EB 预测值和误差方差估计值，为数据被隐藏的学校生成倾向得分估计。
  • 使用 ML 倾向得分进行匹配在三种方法中实现了对预测真实得分的最佳平衡，具有最低的平均标准化差异。
  • 针对未用于构建 PS 模型的子群体（亚裔和白人学生）进行的 2019 年得分安慰剂检验显示，由于亚裔学生规模极小（某些情况下中位数为 0 人），所有方法均显示出显著的不平衡，这凸显了在数据稀疏情况下的平衡局限性。

意义与主张
本文声称，其提出的方法为评估由噪声较大的小样本成就指标驱动处理分配的干预措施提供了切实可行的解决方案。其主要贡献在于：

1. 应对差异性测量误差： 这些方法明确考虑了测量误差影响处理分配这一事实，超越了标准回归校准通常要求的非差异性误差假设。
2. 处理缺失数据： 这些方法允许对子群体平均分被隐藏的学校进行倾向得分估计，而无需访问受限的学生级数据进行插补。
3. 改善正值性（Positivity）： 通过降低倾向得分估计的变异性，这些方法改善了干预组与对照组之间的重叠，减少了因排除干预学校而导致的样本量和精度损失。
4. 偏差-方差权衡： ML 估计器为解决构念偏差与正值性违规导致的偏差之间的权衡提供了一个引人注目的解决方案，在存在显著测量误差时能提供更精确的效应估计。

作者指出，虽然其方法改进了忽略测量误差的情况，但它们依赖于外部测量误差估计（CSEMs）的可获得性，并假设误差分布为高斯分布（对于 ML 方法）。他们也承认，未来仍需进一步研究 ML 估计器在不同子群体具有不同测量误差分布时的表现。