📊 statistics

Adaptive Gaussian Process Search for Simulation-Based Sample Size Estimation in Clinical Prediction Models: Validation of the pmsims R Package

本文介绍并验证了 R 包 pmsims，该工具利用高斯过程自适应搜索技术，为临床预测模型提供了一种比传统解析法和非自适应模拟方法更灵活、高效且稳健的样本量估算框架。

原作者： Oyebayo Ridwan Olaniran, Diana Shamsutdinova, Sarah Markham, Felix Zimmer, Daniel Stahl, Gordon Forbes, Ewan Carr

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Oyebayo Ridwan Olaniran, Diana Shamsutdinova, Sarah Markham, Felix Zimmer, Daniel Stahl, Gordon Forbes, Ewan Carr

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 pmsims 的新工具（一个 R 语言软件包），它的核心任务是帮助医生和研究人员解决一个头疼的问题：在开发新的医疗预测模型时，到底需要多少病人的数据才够？

想象一下，你是一位厨师，正在研发一道新菜（医疗预测模型）。如果食材（数据）太少，菜的味道就不稳定，客人（患者）吃了可能会觉得难吃甚至有害；如果食材太多，又浪费钱和时间。那么，“刚刚好”的数量是多少呢？

这篇论文就是来告诉你，如何用一种更聪明、更省力的方法找到这个“刚刚好”的数量。

1. 以前的方法有什么毛病？

在介绍新方法之前，我们先看看以前大家是怎么做的，以及为什么它们不够好：

老方法 A（公式法）： 就像是用一本过时的食谱。它告诉你：“做这道菜通常需要 5 个鸡蛋。”但这本食谱假设所有鸡蛋都一样大，所有厨房温度都一样。但在现实世界里，数据（鸡蛋）千奇百怪，有大有小，还有坏的。用老公式算出来的数量，往往要么不够用（菜做失败了），要么浪费太多。
老方法 B（笨办法试错）： 就像是你盲目地试。先试 10 个鸡蛋，不行；再试 20 个，还是不行；再试 30 个……直到试到刚好。这种方法虽然能试出来，但太慢了，就像在黑暗中摸索，浪费了大量的时间和计算资源。

2. pmsims 是什么？（聪明的“导航仪”）

pmsims 就像是一个带有“智能导航”和“预测地图”的超级厨师助手。它不靠死板的公式，也不靠盲目试错，而是用一种叫**“高斯过程（Gaussian Process）”**的数学魔法。

我们可以用两个生动的比喻来理解它的工作原理：

比喻一：在迷雾中找宝藏（智能导航）

想象你要在一片大雾弥漫的森林里找到宝藏（合适的样本量）。

笨办法（二分法）： 你站在中间，问“宝藏在我左边还是右边？”，然后只往那个方向走。如果雾太大，你可能走错路，或者绕很多圈。
pmsims（高斯过程）： 它像一个经验丰富的向导。它先扔几个探测器（模拟几次），根据反馈画出一张**“迷雾地图”。这张地图不仅能告诉你宝藏大概在哪，还能告诉你哪里最有可能藏着宝藏，哪里肯定没有**。
- 它不会盲目地走每一步，而是专门挑那些“最不确定但最有希望”的地方去探索。
- 结果就是：它用最少的步数（最少的计算次数）就精准地找到了宝藏。

比喻二：调音师（精准校准）

想象你在给一把吉他调音（调整模型性能）。

老方法： 凭感觉拧弦，拧一下听听，再拧一下。
pmsims： 它像一个智能调音师。它不仅能听到现在的音准，还能预测如果你再拧半圈，声音会变成什么样。它知道什么时候该停手，什么时候该微调。它能确保吉他不仅“大概”准了，而且在绝大多数情况下（比如 80% 的概率）都绝对准，而不仅仅是“平均”准。

3. 这篇论文做了什么实验？

作者们像做科学实验一样，测试了这个新工具好不好用：

内部大比拼： 他们让 pmsims 里的三种“搜索策略”互相 PK：
- GP 策略（智能导航）： 也就是上面说的那个带地图的。
- 二分法（笨办法）： 传统的左右试探。
- 混合策略： 先笨办法探路，再智能导航。
- 结果： GP 策略（智能导航）完胜！ 尤其是在数据很复杂、信号很弱（比如罕见病，数据很少）或者变量很多（比如要分析 100 个指标）的时候，它比其他方法快得多，而且算出来的结果非常稳定，不会忽高忽低。
外部大比武： 他们把 pmsims 和市面上现有的两个著名工具（pmsampsize 和 samplesizedev）进行对比。
- 结果： pmsims 算出来的样本量，能让最终做出来的模型完美达到预期的准确度。
- 相比之下，老公式（pmsampsize）在模型很难做（比如区分度很高）的时候，往往会低估需要的样本量，导致做出来的模型“翻车”（准确度不够）。
- pmsims 既聪明又高效，比那些笨办法省去了大量的计算时间。

4. 为什么这很重要？（给普通人的启示）

省钱省时间： 以前为了保险起见，医院或研究机构可能会收集成千上万个病人的数据，结果发现其实 5000 个就够了。pmsims 能帮你精准计算，避免浪费宝贵的医疗资源。
更安全： 如果样本量算少了，做出来的预测模型可能不准，医生根据它给病人看病，可能会误诊。pmsims 能确保模型在“最坏情况”下（比如 80% 的把握）也是靠谱的，保护了患者的安全。
更灵活： 不管你是研究糖尿病（连续数据）、心脏病（生存时间）还是癌症（二分类数据），这个工具都能用，不像以前的工具只能处理特定类型的数据。

总结

这篇论文介绍了一个**“智能样本量计算器”。它不再依赖死板的公式或盲目的试错，而是像拥有透视眼的导航仪**，用最少的计算成本，精准地告诉研究人员：“为了做出一个靠谱的医疗预测模型，你只需要收集这么多数据。”

这不仅让医学研究更高效，更重要的是，它让未来的医疗 AI 模型更可靠、更安全，最终造福每一位患者。

1. 研究背景与问题 (Problem)

在开发可靠且可推广的临床预测模型时，确定适当的样本量是至关重要的前提。样本量过小会导致模型过拟合、校准度差和区分度降低，从而损害临床效用。然而，现有的样本量估算方法存在显著局限性：

解析法（Analytical Methods）： 如 pmsampsize R 包，通常基于线性或广义线性模型的最大似然估计假设（如正态分布协变量、线性预测因子）。这些方法难以推广到机器学习模型或复杂的惩罚最大似然估计，且往往假设模型设定正确，忽略了现实数据中的非线性、交互作用和复杂相关性。此外，它们主要关注“平均（Mean）”标准，无法捕捉有限训练样本带来的性能变异性，导致在模型强度较高时可能低估所需样本量。
现有模拟法（Simulation-based Methods）： 如 samplesizedev，虽然支持“保证（Assurance）”标准（即以高概率达到性能目标），但通常局限于特定的模型类型（如逻辑回归、Cox 回归）和简单的数据生成机制（独立正态分布预测因子），缺乏灵活性且计算效率较低。
核心痛点： 缺乏一种既灵活（适应各种模型和数据生成机制）又高效（避免穷举搜索的巨大计算负担）的样本量估算工具，特别是针对“保证”标准的估算。

2. 方法论 (Methodology)

本文提出并验证了 pmsims R 包，这是一个基于模拟的灵活框架，用于估算临床预测模型的最小开发样本量。其核心创新在于引入了高斯过程（Gaussian Process, GP）代理模型来优化搜索过程。

2.1 核心工作流程

pmsims 包含三个主要组件：

数据生成过程 (Data-generating process)： 支持二分类、连续和生存结局。用户可指定预测因子维度、信号强度（如大样本 $R^2$ 或 C 统计量）和事件发生率。
模型拟合过程 (Model-fitting procedure)： 默认支持逻辑回归、线性回归和 Cox 比例风险模型，但也允许用户自定义。
性能指标 (Performance metrics)： 包括区分度（AUC/C-index）和校准度（校准斜率）。

2.2 搜索引擎 (Search Engines)

研究比较了三种搜索算法，旨在找到满足预设性能阈值 $\tau$ 的最小样本量 $n^*$ ：

GP 自适应搜索 (gp)： 核心引擎。将样本量与性能之间的关系视为未知平滑函数，利用高斯过程代理模型进行近似。它基于贝叶斯优化原理，通过采集函数（Acquisition Function）平衡“预测性能”与“不确定性”，迭代选择下一个最有价值的样本量进行评估，从而大幅减少所需的模型拟合次数。
二分搜索 (bisection)： 传统的确定性二分法，在区间内不断折半搜索。
混合 GP-二分搜索 (gp-bs)： 先进行粗粒度的二分搜索以缩小范围，再使用 GP 进行精细搜索。

2.3 评估标准

平均标准 (Mean criterion)： 期望性能超过阈值。
保证标准 (Assurance criterion)： 性能超过阈值的概率达到指定水平（如 80% 保证，即取性能分布的第 20 百分位）。
稳定性指标： 使用变异系数 (CV) 评估样本量估计的稳定性。

3. 主要贡献 (Key Contributions)

提出 pmsims 包： 提供了一个通用的、基于模拟的样本量规划框架，突破了现有工具在模型类型和数据生成机制上的限制。
引入高斯过程代理建模： 首次将 GP 自适应搜索应用于临床预测模型的样本量估算，显著提高了搜索效率，相比传统网格搜索或二分法，能以更少的计算资源获得更稳定的结果。
全面的验证研究：
- Aim 1： 在广泛的场景下（不同结局类型、预测因子维度、信号强度、预算）比较了三种搜索引擎的性能。
- Aim 2： 将表现最佳的 pmsims (GP 引擎) 与现有的解析法 (pmsampsize) 和模拟法 (samplesizedev) 进行基准测试，验证其在独立验证集上的实际表现。
实证建议： 明确了最佳实践参数（如每次评估的重复次数 $\kappa \ge 20$ ，总模拟预算 $B \approx 1000$ ）。

4. 研究结果 (Results)

4.1 搜索引擎比较 (Aim 1)

稳定性： GP 搜索引擎 (gp) 在所有结局类型（二分类、连续、生存）和配置中，均表现出最低的变异系数 (CV)，即样本量估计最稳定。
优势场景： GP 的优势在低信号（低 $R^2$ 或低事件发生率）和高维（ $p=100$ ）设置中最为明显。
参数影响： 将每次评估的重复次数增加到 $\kappa=20$ 显著降低了 CV。总模拟预算 $B \approx 1000$ 时，性能提升趋于平稳，是效率与精度的最佳平衡点。
排名： 在 12 种不同的结局 - 聚合 - 指标配置中，GP 引擎在 9 种中排名第一，平均排名为 1.00；二分法表现最差。

4.2 基准测试 (Aim 2)

与 pmsampsize (解析法) 对比： 在高区分度设置下（如 AUC=0.9），pmsampsize 往往严重低估样本量，导致实际性能偏离目标（偏差可达 -9.84%）。pmsims (均值) 的偏差控制在 $\pm 1\%$ 以内。
与 samplesizedev (模拟法) 对比： pmsims 与 samplesizedev 表现相当，但在计算效率上更具优势（通过自适应搜索减少了评估次数）。
保证标准： 采用“保证”标准的 pmsims 推荐了更保守（更大）的样本量，确保了在独立验证集上以高概率达到目标性能，偏差极小（通常在 -2% 以内）。

5. 意义与结论 (Significance & Conclusion)

方法论突破： 该研究证明了基于高斯过程的自适应模拟搜索是解决临床预测模型样本量估算问题的有效途径。它克服了传统解析法假设过强和传统模拟法计算成本过高的问题。
实用价值： pmsims 包为研究人员提供了一个灵活的工具，能够针对特定的模型架构（包括机器学习模型）和复杂的数据生成机制进行样本量规划，特别是对于需要满足“保证”标准（即考虑不确定性）的研究至关重要。
最佳实践建议： 研究建议在使用 pmsims 时，设置每次评估的重复次数 $\kappa \ge 20$ ，总模拟预算 $B \approx 1000$ ，以获得稳定且准确的样本量估计。
未来方向： 尽管验证结果令人鼓舞，但未来工作仍需探索非单调性能曲线、更复杂的相关协变量结构、缺失数据处理以及噪声预测因子的影响，以进一步增强工具的通用性。

总结： pmsims 通过引入高斯过程代理模型，为临床预测模型的样本量规划提供了一个计算高效、灵活且稳健的解决方案，显著优于现有的解析法和传统模拟搜索方法，有助于提高预测模型开发的科学性和可靠性。