Measurement-bounded predictive inference in international large-scale assessment: how the plausible-value ceiling governs attainable accuracy and the stability of predictor rankings in PISA 2022

技术摘要：PISA 2022 中的测量受限预测推断

问题陈述
利用国际大规模评估（ILSAs，如 PISA）的研究越来越多地采用灵活的预测模型，以识别与学生成就相关的学生、家庭和学校特征。然而，此类评估中的三个结构性属性使得这些研究的解释变得复杂，且往往未被处理：

1. 不可观测的成就： 学生成就并非直接观测到的，而是由从后验分布中抽取的“合理值”（plausible values, PVs）表示。因此，部分结果方差是测量噪声，任何预测因子都无法解释。
2. 聚类抽样： 学生以学校集群的形式进行抽样。随机的学生层面数据拆分允许模型学习到在评估样本中重新出现的学校层面结构，从而人为地夸大性能估计。
3. 不可比的信号： 报告的预测准确性和预测因子排名经常在不同教育系统之间进行比较，仿佛可学习信号的数量是恒定的，却忽略了测量精度随领域和系统而变化的这一事实。

虽然测量不可靠会导致关联减弱这一原则已得到证实（Spearman, 1904），且针对特定背景（如脑行为预测、自动作文评分）已推导出噪声上限，但目前尚未明确这些因素如何控制 ILSA 数据库中多样化领域和教育系统中可获得的准确性和预测因子排名的稳定性。

方法论
本研究利用了 PISA 2022 国际数据库，涵盖了数学、阅读和科学领域的 80 个教育系统，以及创造性思维领域的 63 个教育系统。

• 测量精度上限 ($\rho$)： 作者为每个系统的每个领域估计了一个可达到的预测性能上限。该上限定义为将发布的十个合理值视为学生内部重复测量时的类内相关系数（ICC）。该估计量应用了有限抽样校正，以解释学生均值的方差因残余测量噪声（$1/M$ 而非零）而被放大的现象。
  $$\rho = \frac{\text{Var}(\mu)}{\text{Var}(\mu) + E(\sigma^2)}$$
  其中 $\mu$ 是后验均值，$\sigma^2$ 是后验方差。
• 验证架构： 为了防止学校层面结构的泄露，所有主要估计均使用学校不相交的五折交叉验证（school-disjoint five-fold cross-validation）。整个学校被分配到不同的折叠中，确保没有学校同时贡献于训练集和评估集。这与传统的随机学生层面拆分形成了对比，用以量化性能膨胀。
• 模型： 两个模型在相同的折叠上并行拟合：加权岭回归（线性基准）和加权直方图梯度提升回归器。超参数在所有系统和领域中保持固定，以确保配对比较具有可解释性。
• 稳定性分析： 针对十个合理值中的每一个，该流程都会重新拟合一次。预测因子重要性通过加权置换重要性进行评估。稳定性通过十次重新拟合后的平均成对 Kendall 秩相关和前五个预测因子的 Jaccard 重叠度来衡量。
• 不稳定性的归因： 一个零假设设计比较了三种情况，以区分由测量噪声引起的不稳定性与由置换重要性估计器本身引起的不稳定性：(1) 固定估计器种子，改变 PVs；(2) 固定 PV，改变估计器种子；(3) 两者均固定。
• 配对系统内设计： 为了隔离测量精度的影响，研究在同一系统内配对了领域，保持学生、学校、预测因子和折叠不变。仅变化的变量是构建的测度（以及由此产生的 $\rho$）。

核心贡献

1. 个体层面精度的估计： 研究为每个参与系统的每个领域提供了测量精度上限 ($\rho$)，证明了这一个体层面统计量与已公布的群体统计可靠性度量是不同的（两者相关性较弱，$r=0.195$）。
2. 不可比性的论证： 作者表明 $\rho$ 在不同系统和领域之间存在显著差异（范围从 0.654 到 0.933），并且在同一学生的不同领域之间相关性较弱。因此，如果不参考此界限，原始预测性能在不同领域或系统之间是不可比的。
3. 等级关系： 通过配对设计，研究确立了可达到的准确性和预测因子排名的稳定性是如何以等级方式随测量上限变化的。当两个领域的上限差异趋于零时，下游性能和排名稳定性的差异也趋于零。
4. 量化拆分膨胀： 研究量化了聚类数据中使用随机学生层面拆分的代价，指出抽样学校的数量是性能膨胀的决定性参数。

结果

• 上限变异性： 创造性思维的测量精度上限范围为 0.654 至 0.894，阅读为 0.766 至 0.915，科学为 0.790 至 0.916，数学为 0.811 至 0.933。中位数上限排序为：数学 (0.900) > 科学 (0.871) > 阅读 (0.857) > 创造性思维 (0.802)。
• 正交性： 在同时评估了创造性思维和数学的 63 个系统中，上限的相关性较弱 ($r=0.148$)，表明一个领域的测量质量并不能有效指导另一个领域。
• 可达到的准确性： 在所有领域中，折叠外 $R^2$ 与 $\rho$ 正相关。在配对分析中，上限差距 ($\Delta\rho$) 越大，对应的 $R^2$、排名稳定性（Kendall's $\tau$) 和预测因子列表重叠度（Jaccard）的差距也越大。对于最大的差距（数学 vs. 创造性思维，$\Delta\rho \approx 0.088$），$R^2$ 的差异极显著 ($p < 10^{-10}$)。对于最小的差距（科学 vs. 阅读，$\Delta\rho \approx 0.008$），差异接近于零且通常不显著。
• 排名不稳定性： 在测量精度最低的领域（创造性思维）中，在同一数据的两个合理值之间，超过 40% 的五预测因子列表发生了变化。这种不稳定性被证实是由测量噪声而非置换估计器本身引起的。
• 拆分膨胀： 随机学生层面拆分在 606 次分析中有 604 次导致了性能膨胀。膨胀幅度受抽样学校数量的影响（Spearman $r \approx -0.4$），极端情况下，性能从 $R^2=0.002$（学校不相交拆分）膨胀至 $0.361$（随机拆分）。
• 探索性发现： 测量精度（噪声与信号比）似乎随评估学生数量的增加而下降，特别是在需要人工编码开放式回答的领域（创造性思维），尽管这一关系是由最大系统与典型系统之间的对比所驱动的。

意义与主张
本文认为，如果不参考测量界限，来自 ILSA 数据库的预测性能在不同领域或系统之间是不可比的。在一个上限为 0.65 的系统中实现 $R^2=0.45$ 的模型，比在上限为 0.93 的系统中实现相同的 $R^2$ 捕捉到了更多的可用信号。

作者主张：

1. 来自单个合理值的预测因子排名仅仅是广泛分布中的一种实现。 在低精度领域，单一排名是不稳定的，在不同合理值之间，很大一部分顶级预测因子会发生变化。
2. “噪声上限”是一个由评估设计和操作执行决定的支配属性，而非常数。 它既决定了最大可达到的准确性，也决定了所报告的解释变量的稳定性。
3. 存在两种相反的偏差： 测量噪声降低了可达到的性能，而将合理值基于背景变量进行条件化处理则会夸大表观关联。目前应用文献中均未承认这两点。

实践建议
作者提出了两条适度且低成本的调整建议供研究人员参考：

1. 报告上限： 在报告任何预测性能指标的同时，报告该特定领域和系统的测量精度上限 ($\rho$)。性能应表示为该上限的份额 ($R^2/\rho$)，以实现有效的跨系统比较。
2. 报告稳定性统计量： 在报告预测因子排名时，研究人员应针对所有合理值拟合模型，并在排名旁报告稳定性统计量（如秩相关或 Jaccard 重叠度）。仅凭单一抽样的单一排名不足以刻画重要预测因子的分布。

文章结论指出，大规模评估数据库的分析能力是不均匀的；在测量精度较低的地方，可学习的信息较少，且结论的稳定性较差。由于精度在一定程度上是设计和操作层面的属性，评估项目可以对其进行改进。