Modeling within-department homogeneity in research quality rankings: an application to the Italian ISPD

这篇论文《建模研究质量排名中的部门内同质性：意大利 ISPD 的应用》（Modeling within-department homogeneity in research quality rankings: an application to the Italian ISPD）深入分析了意大利大学部门排名系统（基于 ISPD 指数）中存在的统计缺陷，并提出了一种新的调整方法以解决排名极化（polarization）和公平性问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：意大利通过“研究质量评估”（VQR）对大学部门进行排名，并据此分配“卓越部门”（Departments of Excellence）的额外资金。排名依据是部门标准化绩效指数（ISPD）。
• ISPD 的计算逻辑：
  1. 各部门提交一定数量的科研成果（SPs），由专家委员会打分（0, 0.2, 0.5, 0.8, 1）。
  2. 分数按“科学学科领域”（SDS）进行标准化（减去均值，除以标准差）。
  3. 计算每个部门的缩放平均值（scaled average）：$\tilde{z}_d = \sqrt{N_d} \cdot \bar{z}_d$，其中 $N_d$ 是提交成果的数量，$\bar{z}_d$ 是标准化分数的均值。
  4. 将 $\tilde{z}_d$ 通过标准正态累积分布函数 $\Phi(\cdot)$ 转换为概率值，再映射为 0-100 的指数。
• 核心问题：
  • 极化现象（Polarization）：实证数据显示，ISPD 的分布呈现严重的"U 型”，大量部门集中在 0 或 100 的极端值，导致排名缺乏区分度。
  • 统计假设错误：原模型假设同一部门内不同科研成果的标准化分数是相互独立的。然而，由于同一部门的学者共享研究环境、策略和学科背景，其成果分数实际上存在部门内相关性（Intra-departmental correlation, $\rho_d > 0$）。
  • 后果：
    1. 忽略相关性导致低估了缩放平均值的方差。
    2. 方差被低估使得大部门（$N_d$ 大）更容易获得极端值（因为 $\text{Var}(\tilde{Z}_d) = 1 + \rho_d(N_d - 1)$，随 $N_d$ 增大而增大）。
    3. 这导致排名对部门规模敏感，大部门倾向于被推向分布两端，破坏了排名的公平性和可比性。

2. 方法论 (Methodology)

作者提出了一套完整的统计框架来建模和修正这种部门内相关性：

A. 理论调整模型

• 方差修正：承认部门内相关性 $\rho_d$，缩放平均值的真实方差为 $\sigma_d^2 = 1 + \rho_d(N_d - 1)$。
• 调整后的 ISPD：将原始缩放平均值除以部门特定的标准差 $\sigma_d$，即使用 $x^{theo}_d = \Phi(\tilde{z}_d / \sigma_d)$ 来构建指数，以恢复其作为百分位数的统计解释。

B. 相关性建模 (Full Correlation Model, FCM)

由于微观数据（具体每个成果的分数）通常不公开，作者提出仅利用部门层面的宏观数据（部门大小 $N_d$ 和 ISPD 值）来估计相关性：

• 假设：部门越大，内部异质性越高，相关性 $\rho_d$ 越低。
• 模型形式：使用修正的 Fisher 变换将相关性 $\rho_d$ 与部门大小 $N_d$ 线性关联：
  $$\log \left( \frac{1 + \tilde{N}\rho_d}{1 - \rho_d} \right) = \alpha + \beta(N_d - 1)$$
  其中 $\tilde{N}$ 是最大部门规模。参数 $\beta$ 预期为负值。
• 估计方法：采用最大似然估计（ML）。

C. 处理公开数据的特殊分布：Betoidal 分布

由于公开数据存在两个问题：(1) ISPD 是离散且四舍五入的（0.5 的倍数）；(2) 2022 年数据仅公开了前 350 名（左截断）。

• Betoidal 分布：作者引入了一种新的概率分布，定义为 $X = \Phi(\tilde{Z})$，其中 $\tilde{Z} \sim N(0, \sigma^2)$。
  • 当 $\sigma=1$ 时，退化为均匀分布。
  • 当 $\sigma > 1$ 时，呈 U 型（类似 Beta 分布但不同）。
• 截断与离散化：
  • 针对 2022 年数据，使用左截断 Betoidal 分布（LT-Betoidal）。
  • 针对 ISPD 的离散化，将连续概率映射到离散的网格点上，构建离散似然函数进行 ML 估计。

D. 替代方案对比

论文还对比了其他估计方法：

• 非参数估计 (ISPDnp)：基于微观数据计算样本相关性（不稳定，易超出范围）。
• 随机截距模型 (ISPDrim)：假设所有部门相关性相同（Constant Correlation Model, CCM），忽略了规模效应。

3. 关键贡献 (Key Contributions)

1. 识别并形式化极化根源：首次明确指出 ISPD 极化现象的主要统计原因是部门内同质性（相关性）被忽略，且这种相关性随部门规模变化。
2. 提出 Betoidal 分布：为处理经过正态变换、四舍五入且可能截断的排名数据，引入了一种新的概率分布，使得仅利用公开汇总数据也能进行精确的参数估计。
3. 构建基于规模的关联模型：提出了相关性随部门规模递减的模型（FCM），并通过 ML 方法成功估计了参数，证明了大部门确实具有更低的平均相关性但更高的方差。
4. 开发调整后的排名指数：提出了基于估计出的 $\hat{\sigma}_d$ 的调整版 ISPD（ISPDfcm），旨在消除规模偏差和人为极化。

4. 实证结果 (Results)

A. 实证数据估计 (2017 & 2022)

• 数据：2017 年（766 个部门）和 2022 年（前 350 个部门）的 ISPD 数据。
• 模型选择：
  • 似然比检验（LRT）强烈拒绝“零相关性”（NCM）和“常数相关性”（CCM）假设，支持全相关模型（FCM）。
  • 估计出的 $\hat{\beta}$ 显著为负，证实了部门规模越大，内部相关性越低的假设。
• 相关性水平：2017 年平均相关性约为 0.05，2022 年约为 0.036（因部门规模扩大和提交数量增加而降低）。
• 方差估计：估计出的标准差 $\hat{\sigma}_d$ 显著大于 1（2017 年平均约 2.7，2022 年约 2.9），证实了原始模型严重低估了方差。

B. 模拟研究 (Simulation Study)

• 设置：基于 2017 年数据特征生成 1000 个模拟数据集，包含不同程度的相关性扰动。
• 指标：
  • 平均绝对偏差 (MAD)：衡量调整指数与理论真值的距离。
  • 不一致比较百分比 (PDC)：衡量排名顺序与真值的差异。
• 发现：
  • 原始 ISPD：表现最差，MAD 高达 12-14，PDC 约 5-6%，极化严重。
  • 非参数调整 (ISPDnp)：由于二阶统计量的不稳定性，表现甚至不如原始指数（PDC 高达 16%）。
  • 常数相关模型 (ISPDrim)：表现较好，但不如 FCM。
  • FCM 调整指数 (ISPDfcm)：表现最佳。MAD 极低（0.02 - 2.27），PDC 最低（0.08 - 3.47）。即使在相关性模型存在扰动的情况下，ISPDfcm 依然最接近真实排名，且分布更加均匀，消除了极化。

5. 意义与结论 (Significance & Conclusion)

• 统计意义：证明了在基于绩效的排名中，忽略组内相关性会导致严重的统计偏差。修正后的指数恢复了排名的统计解释力（即作为百分位数的含义）。
• 政策意义：
  • 公平性：原始 ISPD 系统性地惩罚或奖励特定规模的部门。调整后的指数消除了这种基于规模的偏差，使不同规模的部门能在同一基准上公平比较。
  • 资金分配：由于排名直接关联巨额资金，统计模型的缺陷会导致资金分配不公，削弱评估系统的合法性和公信力。
  • 透明度：呼吁评估机构（如 ANVUR）明确披露其统计假设（特别是关于相关性的假设）。
• 未来方向：建议未来的评估系统应纳入相关性建模，并关注统计设计如何长期影响学术系统的动态结构。

总结：该论文通过引入新的统计分布（Betoidal）和相关性模型，成功解决了意大利 ISPD 排名中的极化问题，提供了一种更公平、更稳健的部门绩效评估方法，对全球基于绩效的科研评估体系具有重要的借鉴意义。