📊 statistics

A General Framework for Stability Assessment of Non-Deterministic Prediction Models

本文通过引入能够克服现有方法在处理单个测试对象及对数据组成敏感性方面局限性的基于数据和基于模型的稳定性度量，提出了一个用于量化非确定性预测模型在度量、分类及定序结果上稳定性的通用框架。

原作者： Thomas Martin Lange, Armin Otto Schmitt, Felix Heinrich

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Thomas Martin Lange, Armin Otto Schmitt, Felix Heinrich

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试预测天气。你向一位非常聪明的气象学家询问预报，他说：“明天会下雨。”但随后，你要求他使用完全相同的数据再次运行完全相同的计算，而这一次他说：“明天是晴天。”如果你问第三次，他可能会说：“也许会有小雨。”这并不是因为气象学家糊涂了，而是因为他们的大脑运作起来有点像老虎机。每当你拉动杠杆（运行模型）时，都会发生一次微小的、随机的旋转，从而稍微改变结果。在计算机科学领域，这被称为“非确定性”（non-deterministic）模型。这是一个高级说法，意思是指计算机使用了一点随机性来做出决策，这对于做出聪明的猜测其实是一件好事，但也带来了一个令人头疼的问题：如果每次询问时答案都在变化，你又该如何信任它呢？

这正是研究人员托马斯·马丁·兰格（Thomas Martin Lange）、阿明·奥托·施密特（Armin Otto Schmitt）和费利克斯·海因里希（Felix Heinrich）正在解决的难题。他们从事的是预测建模领域的工作，在这种领域中，计算机通过学习过去的数据来猜测未来的结果——比如农场会生长多少玉米、病人可能会病到什么程度，或者股市会如何变动。他们要解决的核心问题是“稳定性”。如果你构建了一个预测机器，每次开启时给出的答案都不一样，它还可靠吗？旧的检查可靠性的方法就像是通过观察一整袋硬币来测量单次抛硬币的稳定性。在某些情况下它们还算凑合，但当你只有一个东西可以预测（比如单个未来事件）或者当答案非常复杂（比如将事物按“极早”到“极晚”进行排序）时，这些方法就会失效。

本文作者构建了一个更灵活的新型“尺子”，用来衡量这些摇摆不定的预测机器到底有多稳。他们不仅找到了一把更好的尺子，还发明了两种使用它的新方法。第一种方法，他们称之为“基于数据的稳定性”（data-based stability），它在问：“与我们在训练数据中看到的答案的多样性相比，这个模型的答案波动了多少？”这就像是在检查一名飞镖选手投掷出的轨迹相对于整个飞镖盘的范围来说是否过于狂野。第二种方法，“基于模型的稳定性”（model-based stability），则提出了一个更深层的问题：“模型的内部逻辑波动了多少？”这就像是在检查一名飞镖选手的投掷轨迹相对于其个人平均水平来说是否过于狂野，而不管飞镖盘本身有多大。

研究人员利用一个数字游乐场测试了这些新尺子，他们在其中模拟了成千上万种场景。他们创建了用于作物产量或疾病评分等方面的伪造数据，然后反复运行他们的预测模型，同时改变“决策树”（模型的脑细胞）的数量，从几百个增加到一万个。他们发现这些新尺子表现得非常出色。不同于旧有的尺子在面对不平衡的测试数据（例如“晴天”比“雨天”多得多）或只有一个对象可预测时会变得混乱或给出奇怪的结果，新尺子保持了稳定。它们展示了一条清晰且平滑的曲线：随着你向模型中添加更多的“脑细胞”，预测结果变得更加稳定，就像向合唱团中增加更多人会让歌声听起来更加一致一样。

然而，论文也警告我们，并非所有的尺子都是平等的。在模拟实验中，他们发现旧的方法有时会撒谎。例如，如果一个模型对所有人预测的结果都一样（这是数据不平衡时常见的问题），旧的尺子会认为该模型是完美稳定的，即使该模型其实只是在偷懒。新的尺子识破了这一点，显示出模型之所以稳定是因为其具有一致性，但它是以一种符合数学逻辑的方式呈现的。他们还发现，当你拥有一个极小的测试组（比如只有两三个对象）时，旧的尺子会变得疯狂，上下剧烈跳动。而新的尺子，尤其是“基于模型的”那把，即使在面对极小的群体时也能保持冷静和可靠。

作者们并不仅仅停留在理论层面；他们还构建了一个名为“APS”的工具包，供任何使用 R 语言的人用来检查自己的模型。他们建议，虽然我们通常只关心模型是否“准确”（是否得到了正确答案？），但我们也应该关心它是否“稳定”（是否每次都能得到同样的正确答案？）。他们的工作表明，通过使用这些新的衡量标准，我们可以找到模型复杂度的“甜点区”（sweet spot）——即既能增加足够的复杂度使其变得聪明，又不至于让它变成一个神经质的混乱体。这提醒我们，在人工智能的世界里，一致性与正确性同样重要，而现在，我们终于有了一种更好的衡量方式。

技术摘要：非确定性预测模型稳定性评估的一般框架

问题陈述
现代预测模型（包括随机森林、人工神经网络和贝叶斯模型）本质上是非确定性的。其拟合过程中的随机元素（例如自助采样、随机权重初始化或马尔可夫链蒙特卡洛采样）意味着在相同数据上进行重复训练会产生不同的模型和预测。这种变异性可能导致决策的不一致，然而现有的量化这种“预测稳定性”的方法仍显不足。

目前的方法依赖于用于度量连续型预测的组内相关系数（ICC）以及用于分类预测的 Fleiss' $\kappa$ 。这些方法存在三个关键局限性：

不适用于单体对象： ICC 和 Fleiss' $\kappa$ 都需要测试集中的多个对象来估计方差分量或预期偶然一致性。它们无法量化单体对象预测任务（例如预测单个未来的 GDP 或流行病率）的稳定性。
受限的预测类型： 它们不能自然地扩展到序数预测（Ordinal predictions），即具有自然顺序但既非纯粹名义型也非度量型的预测。
对数据结构的敏感性： 这些度量深受测试数据组成的影响。Fleiss' $\kappa$ 易受“流行率问题”（ $\kappa$ 悖论）的影响，即不平衡的类别分布即使在预测保持一致的情况下，也会人为地降低稳定性得分。同样，ICC 在测试集较小或同质化时估计也不可靠。

方法论
作者提出了一种基于改进的 Krippendorff's $\alpha$ 的通用框架，用于量化预测稳定性，该框架旨在区分观测到的不稳定性与预期的不稳定性。核心定义为：
$S = 1 - \frac{D_o}{D_e}$
其中 $D_o$ 是多次模型拟合中观测到的不一致性（instability），而 $D_e$ 是基于参考不稳定性模型的预期不一致性。

该框架引入了两种不同的预期不稳定性定义，从而产生了两种互补的稳定性度量：

基于数据的预测稳定性 ( $\phi$ )：
- 概念： 假设最大不稳定性受限于训练数据中响应变量的分布。
- 计算： $D_e$ 源自训练响应的经验分布。对于分类数据，使用类别比例；对于序数数据，使用按类别频率加权的序数距离函数；对于度量数据，使用训练响应的方差。
- 适用性： 适用于模型的预测受限于观察到的训练范围的情况（例如标准随机森林回归）。
基于模型的预测稳定性 ( $\psi$ )：
- 概念： 假设最大不稳定性由模型本身能够生成的预测分布决定。
- 计算： $D_e$ 源自模型预测分布的经验近似。这通过使用样本外预测（例如随机森林的袋外预测或 K 折交叉验证）来实现，以避免乐观偏差。
- 适用性： 当模型的预测行为限制了相对于原始训练数据的预测范围时（例如随机森林对终端节点的平均），该度量是必要的。

主要贡献

对单体对象的泛化： 与 ICC 和 Fleiss' $\kappa$ 不同，所提度量（ $\phi$ 和 $\psi$ ）是在对象层面定义的，允许对单个测试对象进行稳定性评估。
对序数数据的扩展： 该框架纳入了序数距离函数，从而实现了对有序分类响应的稳定性评估。
对数据结构的鲁棒性： 通过将预期不稳定性与特定的测试数据组成解耦（使用训练数据或模型行为作为参考），这些度量对类别不平衡和样本量大小的敏感性较低。
实现： 该框架已在 R 包 APS（版本 1.0.1）中实现，可在 CRAN 上获取。

结果
使用随机森林（具有不同数量的树）和三种响应类型（度量型、整数值/序数型和分类型）进行的模拟研究得出以下结论：

非线性关系： $\phi$ 和 $\psi$ 均表现出与学习器（树）数量的非线性关系，这种关系可以用二参数逻辑回归（2PL）模型进行准确建模。这使得优化树的数量以达到期望的稳定性阈值成为可能。
流行率问题： 在类别分布高度不平衡的场景下：
- Fleiss' $\kappa$ 未能反映稳定性，当所有预测都收敛到单一类别时，它往往趋于零或变得未定义。
- $\phi$ 和 $\psi$ 正确识别了高稳定性（接近 1），即使在极端流行率下也是如此。
小样本量： 在测试样本较小（2–30 个对象）的情况下：
- ICC 在少于 15 个对象时表现出高变异性和向下偏倚。
- $\psi$ （基于模型）和 $\phi$ （基于数据）保持了稳定的平均值，并显著降低了方差（例如，在只有 2 个对象时， $\psi$ 的标准差比 ICC 降低了七倍）。
优化差异： 虽然所有度量都遵循 2PL 趋势，但它们建议的最佳树数量各不相同。例如，在流行率场景中， $\phi$ 建议约 3,000 棵树，而 Fleiss' $\kappa$ 建议约 68,000 棵（或未定义），这凸显了选择何种度量会影响优化结果。

意义与主张
本文声称提供了一种量化非确定性预测模型可重复性的“原则性方法”，而这一方面在以往往往被侧重于预测准确性的研究所忽视。作者强调：

稳定性评估对于决策可靠性至关重要，特别是在传统的指标失效的单体对象预测场景中。
所提度量缓解了困扰现有一致性系数的“流行率问题”和对测试集规模的敏感性。
基于数据与基于模型的稳定性之间的区别，使研究人员能够选择符合其特定建模背景（内在数据变异性 vs 模型诱导变异性）的参考分布。
该框架与模型无关，适用于任何非确定性模型，尽管其模拟研究侧重于随机森林。

作者总结道，评估非确定性模型不应仅依赖于准确性，还必须包含对预测稳定性的正式评估，以确保决策的一致性。

技术摘要：非确定性预测模型稳定性评估的一般框架

类似论文