📊 statistics

Why Empirical p-Values Are Not Uniform: Reference Samples, Dependence, and PIT Backtesting

本文表明，源于有限参考样本的实证 p 值因诱导依赖性和方差失真而偏离预期的均匀分布，因此需要修订回测校准方法，以考虑潜在的两阶段抽样结构，而非将其视为独立的均匀随机抽取。

原作者： Jakub Lis

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Jakub Lis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对该论文的解读。

核心思想：“完美地图”与“粗略草图”

想象一下，你试图判断一个新来的人与你已知的一组人相比有多“普通”。

在统计学的完美世界（理论）中，你拥有“上帝视角”。你清楚世界上所有人的分布情况，拥有一张精确完美的地图。如果你拿一个新来的人问：“有多少百分比的人比你矮？”答案就是一个概率积分变换（PIT）。如果你的模型是正确的，这些答案应该是 0 到 1 之间完全随机的数字，就像从帽子里随机抽出一个数字一样。

问题所在： 在现实世界（实践）中，我们没有那张完美地图。我们只有一个参考样本——即我们迄今为止测量过的一小群人。要回答“有多少百分比的人比你矮？”这个问题，我们必须基于这一小群人进行猜测。我们利用这些有限的数据，绘制出一张分布的“粗略草图”。

论文的发现： 作者 Jakub Lis 指出了一个隐藏的陷阱。当我们使用这张“粗略草图”（经验估计值）代替“完美地图”时，我们得到的数字不再表现得像随机数字。它们会发生扭曲。如果我们把它们当作完美的随机数字来处理，我们的统计检验就会给出错误的结论。

三种场景：我们如何绘制草图

该论文考察了人们试图绘制这张“粗略草图”以检验模型的三种不同方式。每种方法都以不同的方式破坏了规则。

1. “单一固定组”方法（Common-Sample）

类比： 想象你是一位老师，正在给 100 名学生打分。为了判断一名学生是否“普通”，你会将他们与一个单一的、固定的班级进行比较，这个班级由你在年初测量的 50 名学生组成。你使用这同一组 50 名学生来给所有 100 名新学生打分。

出了什么问题：
因为你用同一组50 名学生来评估所有人，所以这特定 50 人中的任何错误或怪异之处都会被复制到所有 100 个新分数上。

如果这 50 人碰巧异常高，你的“平均”线就会对所有人都向上偏移。
论文表明，这里的数学不再看起来像“单样本检验”（将一组数据与完美规则进行核对），而开始看起来像**“双样本检验”**（将两个混乱的组相互比较）。
结果： 如果你使用假设数字相互独立的常规检验，你会得到误报。你可能会认为你的模型出了问题，而实际上它很好，反之亦然。

2. “每人一组新样本”方法（Independent Reference）

类比： 现在，想象对于 100 名学生中的每一位，你都拉出一个全新的、不同的50 人小组来与他们进行比较。

哪里做对了：
这是唯一行之有效的方法。因为参考组中的“噪声”或错误对每个学生来说都是不同的，它们会相互抵消。

这一组可能太高，下一组可能太矮。当你把它们全部平均后，误差就消失了。
结果： 数字的表现几乎完全符合预期。常规检验在这里有效，因为这些“粗略草图”平均起来看起来就像“完美地图”。

3. “滑动窗口”方法（Rolling Window）

类比： 这就像一扇滑动门。你将一名学生与刚刚走过这扇门的 50 人进行比较。然后，这名学生走过门，成为下一个人所在群体的一部分。

出了什么问题：
这产生了一种连锁反应。

学生 A 帮助定义了学生 B 的群体。
学生 B（受 A 影响）帮助定义了学生 C 的群体。
数字不再相互独立；它们变得“粘滞”或自相关。
结果： 论文发现，这种方法抑制了数据中自然的“波动”或方差。数字看起来过于稳定、过于完美。如果你对此运行常规检验，可能会因为数据看起来具有欺骗性的平滑而错过真正的问题。

核心结论

论文认为，我们一直将这些“粗略草图”（经验 p 值）当作“完美地图”来对待。

错误： 我们假设，既然理论说数字应该是均匀（随机）的，那么我们从实际数据中计算出的数字也是均匀的。
现实： 使用有限样本估计地图这一行为，改变了数字的性质。
- 如果你使用一个固定组，你实际上是在进行两组比较，而不是一组检查。
- 如果你使用滑动窗口，你的数字就像链条一样相互连接，打破了独立性的规则。

结论：
为了解决这个问题，我们不能仅仅使用那些假设数据独立且完美均匀的常规“拟合优度”检验（如柯尔莫哥洛夫 - 斯米尔诺夫检验）。我们需要新的、修订后的方法，以考虑到我们是用有限的砖块来构建地图这一事实。如果我们不对此进行调整，我们的回测（检查风险模型是否有效）可能会产生误导。

技术摘要：为何经验 p 值并非均匀分布

问题陈述
本文探讨了概率积分变换（PIT）的理论属性与其在模型验证和回测中的实际实施之间存在的根本性差异。理论上，若 $X$ 是累积分布函数（CDF）为 $F_X$ 的连续随机变量，则变换后的变量 $F_X(X)$ 服从 $[0, 1]$ 上的均匀分布。这一性质构成了使用 PIT 和经验 p 值来评估预测分布校准度的基础，该做法已被从集合预报到金融风险管理（例如欧洲央行指南）等各个领域广泛采用。

然而，在实践中，真实分布 $F_X$ 是未知的。因此，从业者必须利用有限的参考样本来估计百分位数。本文认为，这一估计步骤从根本上改变了问题的统计结构。具体而言，将经验百分位数视为来自均匀分布的独立抽取是不正确的；即使在模型设定正确的情况下，由此产生的统计量也不服从预期的均匀分布，从而导致将经典单样本拟合优度检验（如 Kolmogorov–Smirnov 检验）直接应用于这些经验值时失效。

方法论
作者结合理论分解与蒙特卡洛模拟，分析了三种不同实施框架下经验 p 值的分布属性：

单一条件样本（固定参考）： 所有观测值均针对一个大小为 $n$ 的单一固定参考样本进行评估。经验百分位数 $\hat{p}(x)$ 是通过对该参考样本的顺序统计量进行插值构建的。
独立参考样本： 每个观测值针对一个不同的、独立的参考样本进行评估。该框架模仿了集合预报中使用的“秩直方图”方法。
滚动窗口框架： 经验 p 值是使用先前观测值的移动窗口计算的，其中每个新观测值进入参考集以供后续评估。

分析依赖于将变换值的经验分布函数 $F_m$ 相对于均匀分布 $F_U$ 进行分解。本文利用 Donsker 定理来刻画经验过程的渐近行为，并将由此产生的 Kolmogorov–Smirnov (KS) 统计量和 p 值与其理论对应值进行比较。

主要贡献与结果

方差分解（固定参考）：
本文证明，当使用单一参考样本时，变换值的经验分布是两种随机性源的叠加：
1. 来自被评估观测值的抽样变异性（阶数为 $O_p(m^{-1/2})$ ）。
2. 来自有限参考样本的估计误差（阶数为 $O_p(n^{-1/2})$ ）。
该分解表示为 $F_m - F_U = (F_m - \tilde{F}) + (\tilde{F} - F_U)$ ，其中 $\tilde{F}$ 是由参考样本诱导的随机分布。结果表明，由此产生的 KS 统计量在渐近上表现得像双样本 KS 统计量，而非单样本统计量。数值实验证实，经验 p 值的离散度以及由此产生的 KS 统计量，与比较两个独立样本时生成的统计量几乎无法区分。因此，应用标准的单样本均匀性检验会导致推断失真和系统性的拒绝率。
通过独立样本进行缓解：
在每个观测值拥有各自独立参考样本的框架下，与参考样本相关的估计噪声在观测值之间平均抵消。本文表明，在这种设置下，经验百分位数的离散度紧密跟踪精确百分位数的离散度。虽然存在噪声，但变换值保留了基础样本的统计属性，且精确 KS 统计量与经验 KS 统计量之间的相关性依然明显。
滚动窗口中的依赖性：
滚动窗口实施引入了自相关和方差抑制。由于每个观测值决定其自身的 p 值，随后进入参考集以供未来评估，经验 p 值序列不再独立。模拟表明，当被评估观测值的数量（ $m$ ）与窗口大小（ $n$ ）相当时，精确 p 值与经验 p 值的 KS 统计量之间的相关性就会瓦解。与真实 p 值相比，经验 p 值表现出系统性的波动性降低，使得标准回测程序产生误导。

意义与主张
本文主张，理论 PIT 与其经验估计之间的结构性不匹配，使得经典拟合优度程序在标准回测背景下的直接适用性无效。该工作的主要意义在于指出，经验 p 值并非独立的均匀抽取，而是受两阶段抽样结构支配。

作者得出结论：

共用样本实施实际上将问题转化为双样本比较，需要修订校准方法以考虑参考样本的大小和变异性。
滚动窗口实施引入了复杂的依赖结构（自相关），进一步扭曲了统计推断。
当前基于 PIT 的监管和实际回测程序需要修订，以考虑这些由估计引起的失真，特别是在参考样本有限且在观测值之间共享的情况下。

本文并未提出特定的新检验统计量，而是呼吁重新评估现有框架中的零假设分布，以反映数据生成过程 underlying 的双样本或依赖性质。