📊 statistics

Bet on Features: Anytime-Valid and Feature-Aware Auditing of Conditional Quantile Forecasters

本文引入了一种无分布假设的博弈论框架，用于对黑盒条件分位数预测器进行持续审计，该框架考虑了依赖于特征的信息集，从而在不依赖独立同分布假设的情况下，实现了具有可解释性且随时有效的失校检测。

原作者： Ivane Antonov, Sohom Mukherjee, Richard Pibernik, Yo Joong Choe

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Ivane Antonov, Sohom Mukherjee, Richard Pibernik, Yo Joong Choe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名裁判，正在观察一个神秘“黑盒”预言家表演的魔术。这个预言家能够预测未来，它告诉你：“下一次数值低于这条线的概率为 90%。”在现实世界中，企业利用这类预测来决定货架上应备多少库存，或为风险预留多少资金。

几十年来，裁判们一直用一个简单的规则来检查这些预测：“数字是否大约有 90% 的时间保持在这条线以下？”如果答案是肯定的，预言家就能获得合格的分数。但问题在于，这个旧规则就像是通过只看全年的平均气温来检查天气预报。虽然平均值看起来很完美，但在七月的每个星期二，它可能完全是错的。如果预言家在特定的日子里持续出错，那么依赖它的企业将会亏损，即便其“平均表现”看起来无懈可击。

新游戏：赌细节

本文的作者 Ivane Antonov 及其团队提出了一种新的方式来担任这些预测的裁判。他们不再仅仅计算总命中次数，而是将审计过程转变为一场连续的博弈游戏。

想象审计师是一名每天都可以下注的赌徒。

预言家做出预测。
真实的数值出现。
审计师对预言家是对是错进行下注，但有一个限制：审计师只能使用他们在下注前就能看到的信息。

如果预言家是真正公平的（经过校准的），那么无论审计师如何下注，他们都无法发大财。他们的财富将保持平稳，就像一枚正反面出现的概率相等的硬币。但如果预言家在暗中作弊——比如，总是在周六或促销活动期间失准——聪明的审计师就能发现这种模式。通过专门针对这些日子进行投注，审计师的财富将会增长。

“特征感知”的转折

论文最大的发现是：你所知道的信息改变了你能证明的东西。

把审计师的知识想象成一副眼镜。

“边际”眼镜（模糊）： 这副眼镜只能显示总分。如果你戴着它，你可能会错过预言家在周六预测销售额表现糟糕的事实。戴着这副眼镜，你会保持安全（你不会错误地指责一个公平的预言家），但你也会对作弊行为视而不见。
“特征感知”眼镜（清晰）： 这副眼镜能让你看到具体的细节，比如“今天是周六吗？”或者“现在是否有促销活动？”当你戴上这副眼镜时，你可以发现预言家专门在周六表现不佳。

作者展示了，如果你只使用模糊的眼镜，你可能会认为预言家是完美的，尽管它在现实世界中表现糟糕。但如果你使用清晰的眼镜并针对特定特征（如“周六”）进行投注，作弊行为就会变得显而易见。

他们的发现（以及没发现的）

团队通过两种方式测试了这个想法：

在模拟实验中： 他们创造了一个虚构的世界，在那里他们明确知道预言家要么是完美的，要么是带有秘密偏差的。他们发现，这种“特征感知”的投注策略可以快速检测出偏差，而旧的“模糊”方法则完全会漏掉它。在这些模拟中，当偏差存在时，新方法能正确识别出绝大多数情况下的作弊，且在预言家确实公平时很少发出“抗议”。
在现实世界中： 他们采用了一个流行的尖端 AI 模型 Chronos-2，并使用真实的商店销售数据（来自 Rossmann 数据集）和合成数据对其进行了测试。结果如何？该 AI 模型通过了旧的、模糊的测试。但当作者戴上“特征感知”眼镜，并针对促销和周六等因素进行投注时，AI 的财富迅速增长，跨越了阈值，证明其未经过校准。该 AI 在这些特定日子里持续出错，尽管从平均水平来看它表现尚可。

他们排除了什么

论文明确反对“只需检查平均表现即可确保预测良好”的观点。他们证明了，一个预测可以在平均意义上看起来完美，但在特定语境下却极其危险。他们还排除了对数据必须是“独立同分布”（i.i.d.）的要求，这是旧统计学中的一个常见假设。即使在数据混乱、随时间变化或取决于昨日情况的情况下，他们的方法依然有效。

他们有多确定？

作者对他们的数学推导非常有信心。他们证明了，如果一个预测者在审计师可见的特征范围内进行作弊，审计师的财富一定会增长，并且最终会抓到作弊者。这不仅仅是一个猜测，而是一个数学保证。

然而，他们也谨慎地指出，该方法只有在审计师拥有正确的“眼镜”时才有效。如果审计师无法接触到揭示作弊行为的特定特征（例如不知道今天是周六），他们可能仍然会漏掉它。这个方法很强大，但它的效力取决于审计师被允许使用的信息量。

简而言之，论文表明，要真正信任一个黑盒预测器，你不能只看大局。你必须赌细节，并且你需要知道哪些细节才是关键。如果你这样做，你就能抓住那些被旧方法放过的骗子。

技术摘要：基于特征的博弈 (Bet on Features)

问题陈述
黑盒条件分位数预测器正越来越多地被部署于具有非对称成本的序列决策场景中，例如库存规划和风险管理。然而，一旦部署，这些模型面临两个关键挑战：(1) 数据流往往存在漂移或机制变化（regime change），由于存在可选停止（optional stopping）的情况，使得标准的固定时界回测失效；(2) 现有的校准测试往往未能考虑到预测器与审计师之间的信息不对称。预测器可能拥有丰富的内部上下文（例如：促销活动、特定的门店标识符），而外部审计师可能仅能观察到较粗粒度的视图（例如：聚合销售额）。因此，一个预测对于边际审计师而言可能表现为已校准，但相对于特定的、可观测的特征而言却存在系统性的失校准。目前的框架通常要么满足“随时有效性”（anytime-validity，即在连续监测下是安全的）的要求，要么满足“条件敏感性”的要求，但很少能同时满足两者，并且往往缺乏一种明确机制来根据审计师的可获得信息对校准零假设进行索引。

方法论
作者提出了一种基于“通过博弈进行测试”（testing by betting）的无分布假设、博弈论框架，用于审计条件分位数预测器。

信息索引的校准零假设 (Information-Indexed Calibration Nulls)： 本文将基于特定监测信息结构 $\mathcal{H}$ 的条件分位数校准形式化。令 $Z_t = \mathbb{1}\{Y_t \le \hat{q}_t\} - \alpha$ 为中心化的命中值（centered hit）。零假设 $P_0(\mathcal{H})$ 被定义为满足 $\mathbb{E}_P[Z_t | \mathcal{H}_{t-1}] = 0$ 几乎处处成立的法则集合。作者建立了一个零假设的层级结构：边际校准 ( $\mathcal{H}^{marg}$ ) 是最弱的，其次是单特征校准 ( $\mathcal{H}^w$ )，最后是全特征校准 ( $\mathcal{H}^\phi$ )。至关重要的是， $P_0(\mathcal{H}^\phi) \subseteq P_0(\mathcal{H}^w) \subseteq P_0(\mathcal{H}^{marg})$ 。这意味着，对于较粗的零假设（如边际校准）有效的测试对于更丰富的零假设仍然有效，但较粗的测试可能缺乏检测仅在更丰富信息集下可见的违规情况的能力。
随时有效的 E-过程 (Anytime-Valid E-Processes)： 审计师扮演着“怀疑者”（skeptic）的角色，参与一场序列博弈。在每个时刻 $t$ ，怀疑者根据其拥有的信息 $\mathcal{H}_{t-1}$ 选择一个投注乘数 $\lambda_t$ ，该乘数取自无破产区间 $\Lambda_\alpha = [-1/(1-\alpha), 1/\alpha]$ 。财富过程 $M_t = \prod (1 + \lambda_i Z_i)$ 构成了一个测试超鞅（因此是一个 e-process），在零假设下成立。根据 Ville 不等式，该过程提供了随时有效的证据：如果 $M_t$ 超过 $1/\gamma$ ，则零假设被拒绝，且第一类错误概率至多为 $\gamma$ ，无论何时停止测试。
特征感知上下文博弈 (Feature-Aware Contextual Betting)： 为了实现针对特定特征失校准的检测效力，作者引入了上下文博弈。怀疑者利用可预测的特征字典 $\phi_t$ （例如：日历指标、滞后误差）并采用在线凸优化（OCO）学习器来调整投注权重 $\theta_t$ 。投注定义为 $\lambda_t(\theta) = \langle \theta, \phi_t \rangle$ 。学习器通过损失函数 $g_t(\theta) = -\log(1 + \langle \theta, \phi_t \rangle Z_t)$ 来最小化相对于固定比较器 $\theta^*$ 的遗憾（regret）。
从遗憾到效力的保证 (Regret-to-Power Guarantees)： 文中推导了有限时间内的检测保证。如果备选法则 $Q$ 表现出“可预测的优势”（即，条件失校准与线性特征方向一致，使得二次项优势 $b^Q_t(\theta^*) \ge \kappa$ ），则怀疑者的财富将呈指数级增长。具体而言，如果 OCO 学习器实现了路径级遗憾界 $r_T$ ，那么在备选法则下，停止时间 $\tau_\gamma$ 以概率 1 有限，且期望停止时间受限于遗憾值和优势强度的函数。

核心贡献

信息索引的随时有效审计： 本文将连续审计形式化为一个由审计师监测信息索引的序列博弈。作者证明了可预测的无破产投注对于任何监测结构都能生成有效的 e-process，且无需假设数据为 i.i.d.、平稳或符合参数模型。
有效性与效力的层级关系： 研究确立了有效性可以从较粗的零假设转移到较丰富的零假设，但效力（power）则不然。边际审计可能是完全有效的，但对于特征特定的违规行为却是盲目的。
特征感知上下文博弈： 作者开发了一种方法，使在线学习器能在特征字典上进行自适应线性投注。他们证明，在存在持续的特征对齐可预测优势的情况下，任何具有亚线性遗憾的 OCO 算法都能提供有限时间的检测保证。
失校准的实证验证： 该框架通过合成数据和使用 Chronos-2 预测器的真实商店销售数据（Rossmann 数据集）进行了验证。

结果

有效性： 在经过校准的负二项分布先验（Negative-Binomial oracle）上，不同分位数水平和怀疑者配置（边际、单特征、全特征）下的经验拒绝率均与名义 5% 的 Ville 水平一致，证实了对第一类错误的控制。
效力差距 (Power Gap)： 在一个受控的马尔可夫命中过程实验中，边际怀疑者未能检测到违规（在时界内被截断），而感知前一个命中值 ( $Z_{t-1}$ ) 的怀疑者则迅速拒绝了原假设，这证明了理论所预言的效力差距。
现实世界发现： 当应用于 Rossmann 商店销售数据的 Chronos-2 预测以及合成负二项序列时，特征感知怀疑者检测到了边际审计未能发现的显著条件失校准。具体而言，审计揭示了预测相对于促销状态 (promotion status)、周六指标 (Saturday indicators) 和 对数价格 (log-price) 存在系统性的失校准。边际怀疑者的财富保持平稳，而特征感知怀疑者的财富则跨越了拒绝阈值。

意义与主张
本文声称提供了第一个同时满足随时有效性 (anytime-validity) 和特征感知 (feature-awareness) 的黑盒条件分位数预测器审计框架。通过显式地对审计师的信息集进行建模，该框架分离了有效性（安全性）与效力（可检测性）的概念。作者认为，这对于信息透明度低于预测器的运营环境至关重要。实证结果表明，像 Chronos-2 这样的流行基础模型虽然在平均意义上可能经过了校准，但相对于特定的业务特征（如促销），会表现出系统性的、可预测的误差，而标准的边际回测无法检测到这些误差。这项工作连接了博弈论统计学、在线学习和预测评估，为非平稳环境下概率预测的连续、可解释监控提供了工具。

技术摘要：基于特征的博弈 (Bet on Features)

类似论文