Estimated Ranking Tables and Uncertainty

技术摘要：估计排名表与不确定性

问题陈述
国家统计机构经常发布包含 $K$ 个总体（例如州、国家或地区）样本估计值的表格。传统上，这些表格按字母顺序或某种非定量标准进行排序，行中包含主要估计值及其相关的测度不确定性（如标准误）。作者认为，这种呈现方式造成了“隐性估计排名”，迫使用户必须手动搜索最小或最大估计值以确定相对地位。当 $K$ 值较大时（例如 51 个美国州），这一过程效率低下，并且未能明确传达排名本身所固有的不确定性。虽然用户通常会重新排序数据以创建“显性”排名，但这些用户生成的表格通常缺乏关于新排序的不确定性的统计说明。本文主张，统计机构生成的表格应被明确地呈现为估计排名表，即行按估计值的量级进行排序，且表格应包含关于整体排名的不确定性测度。

方法论
本文提出了一个构建和可视化估计排名表的框架，并附带一个用于 $K$ 个总体真实排名的 DIFF 联合置信区域。

1. 定义与假设：

   • 排名： 总体 $k$ 的真实排名 $r_k$ 定义为：1 加上其他总体中均值小于或等于 $\bar{Y}_k$ 的总体数量。
   • 估计值： 本文假设 $K$ 个独立的概率样本产生估计值 $\bar{y}_k$ 及其已知的标准误 $SE(\bar{y}_k)$。
   • 正态性： 假设 $\bar{y}_k \sim N(\bar{Y}_k, SD(\bar{y}_k))$。
   • 排序原则： 本文倡导“第一象限原则”，即较高的估计值在视觉上应放置在较高位置（或取决于轴的方向，但需保持一致的相关性），以确保估计量的大小与分配的排名顺序之间保持和谐。

2. DIFF 联合置信区域：
   核心方法论是利用总体参数之间的差异，为真实排名向量 $(r_1, \dots, r_K)$ 构建联合置信区域。

   • 两两区间： 该方法构建了 $\binom{K}{2}$ 个关于差异 $\bar{Y}_k - \bar{Y}_{k'}$ 的联合置信区间。
   • Bonferroni 校正： 为了实现 $100(1-\alpha)\%$ 的整体联合置信水平，应用了 Bonferroni 校正。单个置信水平被调整为 $1 - \gamma^*$，其中 $\gamma^* = \alpha / \binom{K}{2}$。区间为：
     $$(\bar{y}_k - \bar{y}_{k'}) \pm z_{\gamma^*/2} \sqrt{SE(\bar{y}_k)^2 + SE(\bar{y}_{k'})^2}$$
   • 差异分类： 对于每个总体 $k$，根据区间相对于 0 的位置，将 $\bar{Y}_k - \bar{Y}_{k'}$ 的区间分为三类：
     • $AR_k$：完全位于 0 右侧的区间（意味着 $\bar{Y}_k > \bar{Y}_{k'}$）。
     • $AL_k$：完全位于 0 左侧的区间（意味着 $\bar{Y}_k < \bar{Y}_{k'}$）。
     • $AO_k$：跨越 0 的区间（意味着顺序是不确定的）。
   • 排名集合： 根据定理 1，总体 $k$ 的可能真实排名集合为：
     $$\{ |AR_k| + 1, |AR_k| + 2, \dots, |AR_k| + |AO_k| + 1 \}$$
   • 联合区域： 联合置信区域是这些单个排名集合的笛卡尔积，并受到排名必须唯一（即一个排列）的约束。其视觉表示是一个网格，列代表总体（按估计大小排序），行代表排名。单元格包含该总体可以在该排名范围内占据的缩写。

3. 可视化：
   本文引入了一种基于理论的可视化方案（散点图风格的网格），能够同时展示：

   • 估计排名（加粗条目）。
   • 排名的不确定性（非加粗条目）。
   • 每个总体的真实排名的边际置信集。
   • 每个排名的边际置信集（哪些总体可以占据该排名）。
   • 区域的“紧凑度”，定义为 $T^* = (K^2 - OP) / (K^2 - K)$，其中 $OP$ 是被占据单元格的数量。

关键结果与示例
本文使用三个真实数据集说明了该方法论：

1. 美国各州 (K=51)： 使用 2011 年美国社区调查（ACS）关于通勤时间平均值的统计数据。DIFF 90% 联合置信区域显示，不确定性在极端情况（顶端和底端排名）最低，而在中间排名最高。具有高度城市化、高人口特征的州（第 1 组）表现出最低的不确定性，而具有混合城乡特征的州（第 3 组）表现出最高的不确定性。
2. 印度各邦 (K=18)： 使用 2022-23 年全国抽样调查关于每月人均消费支出（MPCE）的数据。该可视化展示了该方法如何处理 18 个主要印度邦之间变化的标准误和估计分布。
3. OECD 国家 (K=37)： 使用 2022 年 PISA 数学成绩。该区域可视化了教育体系全球排名的不确定性，展示了哪些国家在给定抽样误差的情况下可能会发生排名交换。

在所有案例中，本文都将提出的“估计排名表”（按量级排序）与传统的“字母顺序表”进行了对比，认为前者能够实现对相对地位的直观比较。

意义与主张
本文声称，将数据呈现为带有相关联合置信区域的显性估计排名表具有以下优势：

• 高效性： 它通过消除用户手动排序以寻找相对地位的需求，降低了认知负荷。
• 透明度： 它明确传达了排名的不确定性，防止将估计值的微小差异误解为确定的排名差异。
• 全面的不确定性： 不同于仅提供单个排名置信区间的算法，DIFF 联合置信区域提供了一个连贯的视角来观察整个排名结构，揭示了可能的替代真实排名。
• 视觉清晰度： 所提出的可视化方法允许用户一目了然地看到哪些总体在统计上是无法区分排名的，以及哪些是截然不同的。

作者指出，虽然之前的研究（如 INDI/KWW 方法）提供了类似的见解，但 DIFF 方法提供了更“紧凑”的联合置信区域，从而为可能的真实排名提供了更精确的界限。本文结论认为，统计机构应最大限度地使用显性的估计排名表，并尽量减少使用字母顺序表，以更好地服务于数据使用者。