📊 statistics

The fundamental problem of risk prediction for individuals: health AI, uncertainty, and personalized medicine

本研究表明，临床环境中的个体风险预测往往比假设的具有更高的不确定性，因为即使在表现良好的算法中，模型和适用性不确定性也经常占据主导地位，从而使得预测工具必须作为临床医生与患者互动的辅助手段，而非决定性的决策者。

原作者： Lasai Barreñada, Ewout W Steyerberg, Dirk Timmerman, Doranne Thomassen, Laure Wynants, Ben Van Calster

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Lasai Barreñada, Ewout W Steyerberg, Dirk Timmerman, Doranne Thomassen, Laure Wynants, Ben Van Calster

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图为一个站在田野里的特定的人预测天气。你拥有一个超级计算机模型，它在预测整个国家的整体天气方面表现得极其出色。如果你问它：“这个地区会下雨吗？”它会基于数百万个数据点给出一个非常准确的答案。

然而，你提供的这篇论文指出，如果你问同一个超级计算机：“现在约翰的头上会下雨吗？”它给出的答案实际上比我们想象的要不确定得多。即便该模型在宏观层面是个天才，但在针对个体的预测上，它可能是在进行疯狂的猜测。

以下是利用简单的类比对论文研究结果进行的拆解：

三种类型的“猜测”（不确定性）

作者解释说，当医生使用人工智能来预测患者是否患有卵巢癌时，预测之所以存在不确定性，有三种不同的原因。他们称之为“估计”、“模型”和“适用性”不确定性。

1. 估计不确定性（Estimation Uncertainty）：“样本量小”的问题

类比： 想象你要猜测一个城市所有成年人的平均身高。如果你只测量了10个人，你的猜测可能会错得很离谱。如果你测量了10,000人，你的猜测就会变得非常精确。
论文观点： 这是由数据量较少引起的不确定性。论文证实，如果你给人工智能更多的数据（更大的训练集），这种特定类型的误差就会减少。但这是唯一一种能通过增加数据而改善的误差。

2. 模型不确定性（Model Uncertainty）：“食谱”的问题

类比： 想象你想烤一个蛋糕。你拥有相同的原料（患者的数据），但你有50位不同的厨师。厨师A用微波炉，厨师B用烤箱，厨师C加入了额外的糖，而厨师D漏掉了鸡蛋。即使他们使用的原料相同，他们做出的蛋糕也会略有不同。
论文观点： 在人工智能中，“模型不确定性”源于研究人员必须做出选择：我们应该使用哪种算法？哪些变量很重要？我们如何处理缺失的数据？论文发现，改变这些“食谱”式的选择会产生巨大的不确定性。即便你给厨师们提供了10,000种原料，他们依然会做出不同的蛋糕，因为他们使用的烹饪方法不同。

3. 适用性不确定性（Applicability Uncertainty）：“环境”的问题

类比： 想象一个食谱在比利时的厨房里运作得非常完美。现在，尝试将这个完全相同的食谱用到瑞典的厨房里，但那里的面粉不同，烤箱的加热方式不同，且水质也不同。即使食谱一样，蛋糕的效果也可能完全不同。
论文观点： 这种情况发生在模型是在一家医院训练，却被用于另一家医院（或国家）的患者身上时。医生测量方式的不同或患者群体的差异，都会产生不确定性。论文发现，仅仅增加数据并不能解决这个问题；“地点”和“测量风格”仍然起着至关重要的作用。

核心发现：数据并非万能灵药

这篇论文中最令人惊讶的发现是关于这些不确定性有多重要。

旧有的思维方式： 我们通常认为：“只要我们获得更多数据，人工智能就会变得对每一个人都完美无缺。”
论文的现实检查： 作者通过关于卵巢癌的数据测试了这一点。他们构建了近60,000个不同版本的预测模型（改变了食谱、数据来源和样本量）。
- 当他们观察“食谱”和“环境”问题（模型和适用性不确定性）时，增加数据几乎没有任何帮助。
- 即便拥有一个包含10,000名患者的海量数据集，对于单个患者的预测风险仍可能发生剧烈波动。对于某一个特定的患者，在一种版本的模型中，AI可能说他有5%的患癌风险；而在另一种版本中，AI可能说有95%。这两个版本对于群体来说可能都是“正确”的，但它们给个人的建议却截然相反。

这对你和你的医生意味着什么

论文最后传达了一个非常重要的信息，即我们应该如何使用这些人工智能工具：

AI 是向导，而非独裁者： 由于针对个人的预测具有如此大的不确定性，人工智能永远不应独自做出最终决定。它就像一个天气预报说“降水概率为50%”。它并不直接命令你留在室内，它只是提供信息。
人文连接是关键： 由于 AI 对个体的预测数值是摇摆不定的，真正的“个性化医疗”来自于医生与患者之间的沟通。医生需要解释，人工智能只是众多可能观点中的一种。
不要盲目信任数字： 仅仅因为一个模型对一个群体是“准确”的（例如，说某个城市有30%的时间在下雨），并不意味着这个数字对你个人而言是值得信赖的。

简而言之： 论文警告我们，虽然人工智能擅长识别大规模群体的模式，但在精准定位单个人的风险时，它其实是非常“模糊”的。我们需要停止期望人工智能能为每一位患者提供一个单一且完美的数字，而是开始将其作为一种工具，帮助医生和患者共同做出决策。

技术摘要：个体风险预测的基础问题

问题陈述
临床预测模型（日益由人工智能驱动）通常基于其在群体层面的表现（如区分度、校准度和临床效用）进行评估。然而，临床决策是针对个体做出的。在量化和理解个体患者风险估计的不确定性方面，存在着关键的空白。传统的统计方法侧重于估计不确定性（由于样本量导致的变异性），但往往忽视了模型不确定性（由于建模选择导致的变异性）和适用性不确定性（由于测量程序和群体特征差异导致的变异性）。本文认为，个体风险估计的不确定性远比通常认为的要高，而依赖单一研究中的单一模型会产生一种虚假的精确感。

方法论
为了实证说明这些不确定性的规模，作者针对预测出现卵巢肿瘤的患者发生恶性卵巢癌风险的情况进行了案例研究。

数据来源： 研究利用了来自鲁汶大学医院的真实世界回顾性数据（1,122名患者，1999–2015年）以及用于探索样本量效应的合成数据。研究使用了一个包含100名鲁汶真实患者的固定测试集来评估风险估计的变异性。
建模框架： 作者将认识论不确定性（epistemic uncertainty）分解为三个类别：
1. 估计不确定性： 由于不同训练样本导致的参数估计的变异性。
2. 模型不确定性： 由于模型类别的选择（逻辑回归、随机森林、XGBoost）、连续变量的处理方式（样条函数或其他）、变量选择、惩罚项和超参数调优而产生的变异性。
3. 适用性不确定性： 由于数据定义（如肿瘤大小测量）、缺失数据处理以及群体差异（来自鲁汶、罗马和马尔默的数据）而产生的变异性。
实验设计： 作者训练了一个包含 59,400个模型 的大规模集成模型。这是通过以下方式实现的：
- 创建了 594 个不同的建模场景（上述三个不确定性类别的变化）。
- 通过对每个场景进行 100 次随机抽样（自助法/bootstrapping）以捕捉估计不确定性。
- 测试了样本量为 $N=400$ 、 $N=2,000$ 和 $N=10,000$ 的情况。
指标：
- 群体层面： 受试者工作特征曲线下面积 (AUROC)、估计校准指数 (ECI) 和相对效用 (RU)。
- 个体层面： 风险估计的 95% 范围（第 97.5 百分位数与第 2.5 百分位数的差值）以及决策不确定性 (DU)。DU 衡量了基于 0.1 风险阈值，会导致不同临床决策（例如手术建议）的模型比例。

关键结果

非估计不确定性的主导地位： 虽然估计不确定性随着训练样本量的增加而显著降低（平均 95% 范围从 $N=400$ 时的 0.22 降至 $N=10,000$ 时的 0.04），但模型和适用性不确定性仍然很大，且基本不受样本量影响。
个体风险变异性： 即使对于 10,000 名患者的大型训练集，单个患者在 59,400 个模型中的平均 95% 风险估计范围仍为 0.39（范围从 0.05 到 0.99）。对于某些患者，该范围几乎覆盖了整个概率谱系（0 到 1）。
决策不确定性： 如果仅考虑估计不确定性，将样本量增加到 10,000 会使决策不确定性（即导致与大多数模型不同的行动建议的模型比例）降至 1%。然而，当纳入模型和适用性不确定性时，即使在 $N=10,000$ 时，决策不确定性仍然维持在 11% 的高水平。
群体与个体表现： 模型在所有场景下都保持了较高的群体层面表现（AUROC 为 0.92–0.93，校准良好，具有正向相对效用）。这表明，一个模型可以为群体策略提供高度有用的指导，同时为个体提供高度不确定且可能存在冲突的风险估计。

核心贡献

不确定性框架： 本文引入了一个结构化框架，区分了估计、模型和适用性不确定性，强调了传统评估往往掩盖了后两者。
实证证据： 研究提供了实证证据，证明仅仅增加数据集的大小并不能解决个体风险预测中的不确定性，因为模型设定和数据/群体差异占据了误差方差的主导地位。
量化决策不确定性： 研究量化了不同的有效建模选择在面对同一患者时，会导致多少次相互矛盾的临床决策，从而挑战了存在单一“真实”风险估计的概念。

意义与主张
作者得出结论，个体风险估计本质上是不确定的，其程度往往超过了经典置信区间或有效样本量指标所暗示的程度。他们认为，这种不确定性并不削弱预测模型在群体层面的临床效用，但要求在实践应用中进行转变：

AI 是信息提供者，而非决策者： 预测算法应当提供参考信息，而不是下达指令。这种不确定性意味着 AI 的输出不应被盲目地视为针对个体患者的确定性答案。
共同决策： 真正的精准医疗需要人类的参与。临床医生必须承认模型输出中的不确定性，并将这些估计整合到与患者的共同决策过程中，而不是依赖于单一的算法输出。
对个性化的谦逊态度： 本文呼吁对个性化医疗的承诺保持谦逊。虽然 AI 可以基于训练数据提供群体层面的估计，但“个性化”风险估计的性质受限于认识论上的不确定性。其价值在于由这些估计支持的共同决策过程，而非这些估计本身具有完美的精确度。

三种类型的“猜测”（不确定性）

核心发现：数据并非万能灵药

这对你和你的医生意味着什么

技术摘要：个体风险预测的基础问题

类似论文