📊 statistics

Bayesian sample size calculations for external validation studies of risk prediction models

本文提出了一种用于二元结局风险预测模型外部验证的通用贝叶斯框架，通过显式量化模型性能的不确定性，确立了基于期望精度、保障概率及信息价值（VoI）的多准则样本量计算规则，并在 COVID-19 患者恶化风险模型的案例研究中证明，相较于传统基于精度的方法，该框架能更灵活地确定样本量并可能显著降低所需样本量。

原作者： Mohsen Sadatsafavi, Paul Gustafson, Solmaz Setayeshgar, Laure Wynants, Richard D Riley

发布于 2026-02-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mohsen Sadatsafavi, Paul Gustafson, Solmaz Setayeshgar, Laure Wynants, Richard D Riley

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章提出了一种更聪明、更灵活的方法，用来决定在验证一个新的医疗风险预测模型时，我们需要调查多少人（样本量）。

为了让你更容易理解，我们可以把整个过程想象成**“在开一家新餐厅前，如何决定需要多少位试吃员”**。

1. 背景：为什么要做这个研究？

想象你开发了一款新的“健康食谱预测器”（风险预测模型），它能根据一个人的生活习惯预测他未来生病的概率。
现在，你想把这个模型推广到另一个城市（目标人群）。在正式推广前，你必须先在这个新城市做**“外部验证”**：找一批人，看看这个模型准不准。

核心问题是：我们需要找多少人来做这个测试？

找太少：结果不准，大家不敢信。
找太多：浪费钱、浪费人，甚至耽误时间。

2. 旧方法（Riley 等人的方法）：像“死记硬背”的考试

以前的方法（传统频率学派）有点像**“死记硬背”**：

研究者必须先猜一个具体的数字，比如：“我觉得这个模型在新城市的准确率大概是 76%"。
然后设定一个目标：“我要让结果的误差范围控制在 0.1 以内”。
最后套公式算出人数。

缺点是什么？
这就好比你猜“新城市的人平均身高是 175 厘米”，但你其实并不确定。万一猜错了呢？或者万一运气不好，你抽到的那群人刚好比较矮，导致算出来的误差很大，达不到目标怎么办？
旧方法假设你的“猜测”是绝对真理，忽略了**“不确定性”。而且，它只关心“误差条有多宽”，却不关心这个模型到底有没有用**（比如能不能帮医生做出更好的治疗决定）。

3. 新方法（贝叶斯方法）：像“经验丰富的老厨师”

这篇论文提出的贝叶斯方法，就像一位经验丰富的老厨师。
老厨师不会死记硬背一个数字，他会说：“根据我以前在其他城市的经验，这个模型的表现可能在 74% 到 78% 之间波动，但我也不完全确定。”

这种方法有三个核心优势：

A. 拥抱不确定性（把“猜测”变成“概率云”）

旧方法：假设模型表现是固定的（比如 76%）。
新方法：承认我们不知道确切值，所以给出一团**“概率云”**。比如：“有 90% 的把握，准确率在 74%-78% 之间”。
比喻：就像天气预报。旧方法说“明天肯定是晴天”；新方法说“明天有 80% 概率是晴天，20% 概率下雨”。做决策时，新方法更靠谱。

B. 追求“保险”（Assurance）

旧方法：只要“平均”能达到目标就行。
新方法：问自己：“我想有多大的把握（比如 90%）确保这次实验一定能成功？”
比喻：
- 旧方法：只要平均来说，试吃员觉得菜好吃就行。
- 新方法：我要确保90% 的情况下，试吃员都会觉得好吃，而不是偶尔好吃偶尔难吃。如果为了达到这个“高把握”，需要多找几个人，那就多找几个，求个心安。

C. 关注“价值”（Value of Information, VoI）

这是最精彩的部分。对于净收益（Net Benefit）（即模型能不能帮医生省钱、救人命），作者认为光看“误差条”没意义。

旧方法：不管模型有没有用，先要把误差条缩到很窄。
新方法：问自己：“多找一个人来测试，能给我带来多少额外的价值？”
比喻：
- 如果你已经找了 500 个人，模型准不准基本确定了。这时候再找第 501 个人，虽然能让误差条再窄一点点，但对医生做决定的帮助微乎其微。
- 新方法会告诉你：“别找了，再找人的成本（花钱、花时间）已经超过了它能带来的收益。”
- 这就叫**“价值信息分析”。它帮你找到那个“性价比最高”**的样本量，而不是盲目追求“最精确”。

4. 案例研究：新冠患者的“病情恶化预测器”

作者用了一个真实的例子：预测新冠住院患者是否会病情恶化。

旧方法算出来：需要 1056 人（因为要满足校准斜率的精度要求）。
新方法算出来：
- 如果只看“保险”（Assurance），可能需要 1181 人。
- 但如果看**“价值”（VoI），发现从 522 人增加到 1181 人，虽然精度提高了，但对临床决策的额外帮助**非常小（就像为了最后 1% 的完美，多花了一倍的钱）。
- 结论：新方法建议，522 人就足够了。既省钱，又足够好用。

5. 总结：这到底意味着什么？

这篇论文就像是在告诉科研界：

“别再死板地套公式了！在决定做实验需要多少人时，要承认我们不知道一切（利用不确定性），要追求稳稳的幸福（高把握度），更要算算这笔账划不划算（价值分析）。”

一句话概括：
以前的方法是**“为了把尺子量得最准，不惜一切代价”；
现在的新方法是“为了做出最好的决定，用最小的代价找到最合适的尺子”**。

这种方法不仅更科学，还能帮医院和科研机构省下大笔冤枉钱，把资源用在刀刃上。

论文技术总结：风险预测模型外部验证研究的贝叶斯样本量计算

论文标题：Bayesian sample size calculations for external validation studies of risk prediction models
作者：Mohsen Sadatsafavi, Paul Gustafson, Solmaz Setayeshgar, Laure Wynants, Richard D. Riley
发表日期：2025 年 5 月

1. 研究背景与问题 (Problem)

在风险预测模型的外部验证研究中，确定合适的样本量是研究设计的关键环节。目前主流的方法（如 Riley 等人提出的多准则方法）依赖于频率学派（Frequentist）的框架，存在以下主要局限性：

假设过于确定：传统方法要求研究者指定模型性能指标（如区分度、校准度）的固定真值作为输入。然而，由于既往研究样本有限，目标人群中的真实模型性能实际上是不确定的。将不确定性简化为固定值会导致样本量计算不完整。
精度目标的局限性：传统方法主要关注置信区间（CI）宽度的预期值。但在单一特定数据集中，实际获得的精度可能远低于预期，导致研究失败。
临床效用评估的不足：对于净获益（Net Benefit, NB）这一衡量临床效用的指标，传统的基于精度的推断（如 CI 宽度）相关性存疑。临床决策更关注能否正确识别最优策略，而非仅仅缩小参数估计的误差范围。
缺乏决策理论视角：传统方法未考虑增加样本量带来的预期临床收益（Value of Information, VoI）。

2. 方法论 (Methodology)

作者提出了一种通用的贝叶斯框架，用于二元结局风险预测模型的多准则样本量计算。该框架的核心在于将模型性能指标视为随机变量，而非固定常数。

2.1 核心概念与参数化

联合分布建模：定义目标人群中预测风险 $\pi$ 和观测结果 $Y$ 的联合分布 $P_\theta(\pi, Y)$ ，其中参数 $\theta$ 包含不确定性。
参数识别：利用既往研究的汇总统计量（如患病率 $\phi$ $ϕ$ 、c 统计量 $c$ $c$ 、校准函数 $h(\cdot)$ $h (\cdot)$ ）来构建参数 $\theta$ $θ$ 的先验分布 $P(\theta)$ $P (θ)$ 。
- 通过识别条件（单调性、分位数可识别性），利用患病率和 c 统计量唯一确定校准风险的分布（如 Logit-normal 分布）。
- 校准函数通常建模为 Logit 尺度上的线性函数（截距 $\alpha$ 和斜率 $\beta$ ）。
混合贝叶斯 - 似然视角：在研究设计阶段利用先验信息量化不确定性，但在未来样本获取后，假设仅依赖新数据（似然）进行推断。

2.2 样本量规则 (Sample Size Rules)

该框架支持多种基于不同目标的样本量确定规则：

统计性能指标（区分度、校准度）：
- 预期置信区间宽度 (ECIW)：目标为未来研究置信区间宽度的期望值达到预设精度。
- **保证概率规则 **(Assurance-type rules, QCIW)：目标为以特定概率（如 90%）保证未来研究的置信区间宽度不超过预设阈值。这比单纯追求期望值更能规避“单次研究精度不足”的风险。
临床效用指标（净获益 NB）：
- **最优性保证 **(Optimality Assurance)：定义为基于样本数据选出的“最佳策略”实际上确实是总体中“最佳策略”的概率。
- **信息价值 **(Value of Information, VoI)：
  - **EVSI **(Expected Value of Sample Information)：进行样本量为 $N$ 的验证研究相对于当前信息带来的预期净获益增量。
  - **rEVSI **(Relative EVSI)：EVSI 与完美信息价值 (EVPI) 的比值，用于衡量样本量带来的相对收益。
  - **ENBS **(Expected Net Benefit of Sampling)：考虑采样成本后的净获益，用于寻找最大化净收益的最优样本量。

2.3 算法实现

蒙特卡洛模拟：采用预后验（Pre-posterior）分布模拟。
1. 从先验分布 $P(\theta)$ 中抽取参数。
2. 基于抽取的参数模拟未来的验证样本 $D_N$ 。
3. 计算性能指标（如 CI 宽度、NB）。
4. 重复上述过程以生成预后验分布，进而计算 ECIW、保证概率或 VoI。
随机根查找算法：利用 Robbins-Monro 或 Stochastic-Simultaneous Optimistic Optimization 算法，寻找满足特定规则的最小样本量 $N$ 。
软件工具：开发了 R 包 bayespmtools，包含 bayespm_prec()（固定样本量下的精度/VoI 计算）和 bayespm_samp()（基于规则确定样本量）函数。

3. 案例研究结果 (Case Study Results)

研究以ISARIC 4C 模型（预测住院 COVID-19 患者病情恶化）在伦敦地区的外部验证为例进行了演示。

数据基础：基于英国其他 8 个地区的内部 - 外部验证结果进行元分析，构建了模型性能指标（患病率、c 统计量、校准斜率等）的预测分布。
对比分析：
- 传统 Riley 方法：基于固定真值假设，计算出的最小样本量为 1,056（由校准斜率的精度要求决定）。
- 贝叶斯方法：
  - 预期 CI 宽度：结果与传统方法接近（约 1,064）。
  - 90% 保证概率：由于考虑了不确定性，所需样本量略高，由校准斜率的保证概率决定，为 1,181。
  - 基于 VoI 的决策：通过 EVSI 曲线分析发现，从 $N=522$ （由其他指标决定）增加到 $N=1,181$ （由校准斜率决定），样本量翻倍，但带来的预期净获益增量仅为 8.8%（处于收益递减区）。
最终建议：结合 VoI 分析和校准曲线变异的可视化检查，作者建议可以放宽对校准斜率精度的要求，将推荐样本量定为 522。这比传统方法减少了约 50% 的样本量，同时保留了足够的临床效用。

4. 主要贡献 (Key Contributions)

引入不确定性量化：首次提出在样本量计算中显式量化模型性能的不确定性，利用先验分布替代固定真值，使设计更符合现实。
多准则决策框架：统一了统计精度（CI 宽度）和临床效用（NB）的样本量计算逻辑。
新的样本量规则：
- 提出了保证概率（Assurance）规则，确保研究在单次实施中达到精度目标的概率。
- 提出了基于信息价值（VoI）的规则，直接针对临床决策的最优性，而非单纯的参数估计精度。
混合策略的可行性：展示了如何混合使用不同规则（如用 CI 宽度确定部分指标，用 VoI 评估整体收益），从而在资源限制和科学严谨性之间取得平衡。
开源工具：提供了 bayespmtools R 包，降低了该方法的应用门槛。

5. 意义与影响 (Significance)

优化资源配置：通过 VoI 分析，研究者可以识别出那些“投入产出比”极低的样本量增加（如案例中校准斜率的过度要求），从而显著减少不必要的样本收集成本。
提升研究设计的稳健性：保证概率规则（Assurance）帮助研究者规避因单次抽样变异导致研究失败的风险，增加了研究结果的可信度。
推动临床决策导向：将样本量计算从单纯的“统计显著性”或“参数精度”转向“临床效用最大化”，更符合卫生技术评估（HTA）和循证医学的需求。
文化转变：倡导在预测模型研究中正视并量化不确定性，鼓励在模型开发阶段报告系数协方差矩阵等不确定性信息，为后续验证研究的设计提供坚实基础。

总结：该论文提出了一套先进的贝叶斯框架，解决了传统风险预测模型验证研究中样本量计算的僵化问题。通过结合不确定性量化、保证概率和信息价值分析，该方法不仅提供了更科学的样本量确定依据，还为在资源受限情况下最大化临床决策价值提供了强有力的工具。