Assessing Monotone Dependence: Area Under the Curve Meets Rank Correlation

技术摘要：评估单调依赖性：曲线下面积与秩相关性的结合

问题陈述
评估随机变量之间的单调依赖性是一个经典的统计学问题，在多个领域都有广泛应用。从历史上看，相关文献是碎片化的：对于连续变量，对称秩相关系数（Spearman's Rho 和 Kendall's Tau）是标准工具；而对于二分结果，非对称的曲线下面积（AUC）度量则更为流行。对称度量在离散或混合设置中的一个显著局限是“可达性问题”（attainability problem），即即使存在完美的单调关系，该度量的最大值也无法达到。此外，研究人员经常人为地将连续结果二分化以应用基于 AUC 的工具，这会导致不利的分析效果。本文认为，尊重协变量 ($X$) 与结果 ($Y$) 特定角色的非对称度量对于解决这些问题并为所有线性有序的结果提供统一框架是必要的。

方法论
作者建立了一个统一的总体层理论及相应的估计量，弥合了连续和二分设置之间的鸿沟。

1. 连接 Kendall's Tau 与 AUC：
   本文重新审视了 C 指数（CID），其定义为考虑结（tie-adjusted）的一致性概率：
   $$CID(X, Y) = E(s(X', X'') \mid Y' < Y'')$$
   其中 $s(x', x'') = \mathbb{1}\{x' < x''\} + \frac{1}{2}\mathbb{1}\{x' = x''\}$。
   作者将 CID 与非对称 Kendall 相关系数（AKC）联系起来，后者是针对结果的粒度进行调整后的 Kendall's Tau 的归一化版本：
   $$AKC(X, Y) = \frac{\tau(X, Y)}{\tau(Y, Y)} = \frac{\tau(X, Y)}{1 - \gamma^{(2)}(Y)}$$
   其中 $\gamma^{(2)}(Y)$ 是 2-粒度（结的概率）。其关系是线性的：$CID(X, Y) = \frac{1}{2}(AKC(X, Y) + 1)$。该度量在二分结果下退化为 AUC，并与 Kendall's Tau 呈线性关系。

2. 连接 Spearman's Rho 与 AUC（核心贡献）：
   为了连接 Spearman's Rho 和 AUC，作者引入了非对称等级相关系数（AGC）和单调关联系数（CMA）。

   • 他们利用中分布函数（Mid Distribution Function, MDF），$\bar{F}(x) = P(X < x) + \frac{1}{2}P(X=x)$ 来定义“等级”（grades）。
   • AGC 定义为 $X$ 的等级与 $Y$ 的等级的协方差，除以 $Y$ 的等级的方差：
     $$AGC(X, Y) = \frac{\text{cov}(\bar{F}(X), \bar{G}(Y))}{\text{cov}(\bar{G}(Y), \bar{G}(Y))}$$
   • CMA 是 AGC 的仿射变换：
     $$CMA(X, Y) = \frac{1}{2}(AGC(X, Y) + 1)$$
   • 性质： CMA 被归一化至 $[0, 1]$。它满足“完美单调预测器属性”：当且仅当 $Y = m(X)$ 几乎处处成立（对于非减函数 $m$）时，$CMA(X, Y) = 1$。
   • 简化形式： 对于二分结果，$CMA(X, Y_d) = AUC(X, Y_d)$。对于连续变量，$CMA(X_c, Y_c) = \frac{1}{2}(\rho + 1)$，与 Spearman's Rho 呈线性关系。
   • 积分表示： 对于连续 $Y$，CMA 可以表示为在所有可能的二分化阈值上对 AUC 进行加权积分：
     $$CMA(X, Y) = 6 \int_0^1 \alpha(1-\alpha) AUC^{(\alpha)}(X, Y) d\alpha$$

3. 抽样理论与推断：
   基于 Pohle 等人 (2025) 的最新研究，作者推导了这些度量的经验版本（$AKC_n, CID_n, AGC_n, CMA_n$）的中心极限定理（CLT）。

   • 他们建立了针对单个预测因子以及竞争预测因子向量的渐近正态性。
   • 他们利用来自 U-统计量理论的核函数提供了渐近方差的显式公式。
   • 他们开发了 DeLong 型检验，用于比较多个预测因子与共享结果之间的单调关联。这些检验将经典的用于 AUC 相等性检验的 DeLong 检验推广到了所有线性有序的结果（包括二分、序数、连续及混合类型）。

关键结果

• 理论统一： 本文证明了 AKC/CID 和 AGC/CMA 提供了一个连续的度量谱，其行为在二分结果下表现为 AUC，在连续结果下表现为缩放后的秩相关，从而克服了对称度量在离散数据中存在的“可达性问题”。
• 渐近推断： 推导出的 CLT 允许构建置信区间和假设检验（例如，测试独立性或跨预测因子的关联相等性），无论结果的分布类型如何，这些检验都是有效的。
• 模拟证据： 模拟证实，所提出的 AGC/CMA 相等性检验在零假设下具有均匀的 p 值，即使在样本量较小和结果为离散型的情况下也是如此，其表现优于现有的比较连续设置下 Spearman's Rho 的方法。
• 案例研究：
  • LLM 不确定性： 将 CMA 和 CID 应用于大语言模型（LLM）输出，以评估不确定性指标相对于正确性得分的表现。这些度量成功识别了哪些不确定性指标与正确性得分（如 BERT, ROUGE 等）的匹配度最高，展现了其鲁棒性。
  • 天气预报： 应用于 WeatherBench 2 数据集，通过 CMA 和 CID 比较了数据驱动型（GraphCast）与物理驱动型（HRES）降水预报。分析显示，GraphCast 在赤道附近表现优于 HRES，而 HRES 在高纬度地区表现更好，这凸显了标准指标可能会掩盖的区域性预测能力差异。

意义与主张
本文声称通过建立共同的总体层理论、估计量和检验，统一并完善了此前相互脱节的文献分支。

• 解决可达性问题： 非对称度量（AKC, CID, AGC, CMA）满足完美单调预测器属性，确保了完美的预测器能获得 1 分，而对称度量在离散设置中无法实现这一属性。
• 推广 DeLong 检验： 本研究将 DeLong 等人 (1988) 关于 AUC 相等性的开创性检验推广到了广泛的线性有序结果类，使得在从二元分类到连续回归的各种场景中进行严谨的预测能力比较成为可能。
• 实际效用： 作者认为，在自动化数据分析时代，非对称度量更具优势，因为它们能自然地适应变量的离散、连续或混合性质，而无需进行人为的二分化处理。
• 软件可用性： 作者提供了用于计算估计量和检验的 Python 代码，便于研究和工业界的直接应用。

文章总结道，虽然对于 AKC 和 CID 的开发在很大程度上是阐释性的（基于 Harrell 等人, 1996），但 AGC 和 CMA 的引入及其分析代表了原创性的贡献，为评估各种变量类型的单调依赖性提供了一个稳健且统一的框架。