Sample Size Calculations for Developing Clinical Prediction Models: Overview and pmsims R package

本文综述了临床预测模型开发的样本量计算方法，提出了一种结合学习曲线、高斯过程优化和保证原则的新型模拟框架，并开发了开源 R 包 pmsims 以提供灵活、高效且模型无关的样本量估算解决方案。

要点

这篇论文主要解决了一个医学研究中的核心难题：在开发“疾病预测模型”时，到底需要多少病人的数据才算够？

想象一下，你是一位厨师，想发明一道能精准预测“客人明天会不会感冒”的菜谱（这就是临床预测模型）。你手里有一些食材（病人数据），比如年龄、体温、咳嗽程度等。

如果食材太少，你做出来的菜谱可能只是碰巧猜对了今天的客人，明天换个客人就完全失灵了（这叫过拟合，就像死记硬背答案的学生，换个考题就不会了）。
如果食材太多，虽然可能更准，但收集数据太贵、太慢，甚至可能因为数据太多而把一些无关紧要的噪音也当成了规律。

这篇论文就是为了解决"到底要多少食材（样本量）才能做出既好吃又稳定的菜谱"这个问题。

以下是用通俗语言和比喻对论文核心内容的解读：

1. 以前的方法：靠“拍脑袋”或“死公式”

以前，研究人员估算需要多少数据，主要靠两种笨办法：

• 经验法则（10 倍法则）： 就像老厨师说“每加一种调料，就得准备 10 个鸡蛋”。这很简单，但太死板。如果这道菜其实不需要那么多鸡蛋，或者调料之间会互相打架，这个规则就不准了。
• 数学公式： 就像用固定的食谱公式计算。但这假设所有食材（数据）都是完美的、分布均匀的。现实中的数据往往很复杂（有的病人数据缺失，有的病情很怪），公式算出来的结果往往偏少，导致做出来的模型在实际中“翻车”。

2. 这篇论文的新方法：pmsims —— 一个“虚拟试菜”模拟器

作者开发了一个叫 pmsims 的电脑软件（R 语言包）。它的核心思想不是靠公式硬算，而是在电脑里“模拟”做菜。

核心比喻：虚拟试菜场

想象你有一个虚拟厨房：

1. 设定参数： 你告诉电脑：“我要预测感冒，有 10 种症状，大概 10% 的人会感冒，我想用机器学习（像 AI 大厨）来做。”
2. 生成虚拟病人： 电脑根据这些设定，在虚拟世界里生成成千上万个“假病人”数据。
3. 反复试错（学习曲线）：
   • 电脑先只给 100 个假病人数据，让 AI 大厨做菜，看看准不准。
   • 再给 200 个，再试一次。
   • 再给 500 个……
   • 它不断记录：数据越多，准确率是不是越高？
4. 找到“甜蜜点”： 电脑会画出一条曲线（学习曲线），告诉你：“看，当数据达到 3000 个时，准确率就稳定在 90% 以上了；少于 3000 个，准确率就忽高忽低，不可靠。”

3. 两个关键概念：平均 vs. 保险（Assurance）

论文提出了一个非常重要的新视角，用**“考试”**来比喻：

• 传统方法（平均准则）： 就像问：“如果让 100 个学生考 100 次，平均分数能超过 80 分吗？”
  • 风险： 可能有一半学生考 90 分，另一半考 50 分，平均分是 70，但如果你只招了那个考 50 分的学生，你就失败了。
• 新方法（保险准则/Assurance）： 就像问：“我要保证80% 的学生都能考到 80 分以上，需要多少复习时间（数据量）？”
  • 优势： 这更稳妥。它考虑了数据的波动性。如果模型很复杂（像深度学习），数据稍微变动一点结果就大变，那么为了“保险”，就需要更多的数据量。

简单说： 以前的方法只看“平均水平”，新方法看“最坏情况下的保障”。

4. 为什么这很重要？

• 省钱省力： 以前为了保险，大家可能盲目收集几万人的数据，浪费钱和时间。现在用 pmsims 模拟一下，可能发现其实 3000 人就够了，或者发现 3000 人根本不够，得赶紧加人，避免最后模型做出来没法用。
• 适应 AI： 现在的预测模型很多是用**人工智能（机器学习）**做的，它们比传统的统计模型更“贪吃”（需要更多数据），也更复杂。旧公式算不准，只有这种“模拟试菜”的方法才能搞定。
• 灵活性强： 不管你是预测心脏病、癌症还是流感，不管你是用简单的逻辑回归还是复杂的神经网络，这个软件都能根据你的具体情况定制模拟方案。

5. 总结与未来

这篇论文就像给医学研究人员发了一本**“智能点菜指南”**。

• 它不再让你盲目地猜“我要多少数据”。
• 它让你先在电脑里预演一遍，看看在什么数据量下，你的模型能稳稳地达到预期的准确度。

未来的挑战：
虽然这个工具很厉害，但现实世界的数据（比如来自可穿戴设备、基因数据、或者有很多缺失值的数据）非常复杂。未来的工作就是让这个“虚拟厨房”能模拟出更逼真、更复杂的“食材”，甚至考虑到数据里的“偏见”（比如某些人群数据太少），让预测模型对所有人都公平。

一句话总结：
这篇论文介绍了一个聪明的电脑工具，它通过在虚拟世界里反复“试错”，帮医生和科学家算出到底需要多少病人数据，才能确保他们开发的疾病预测模型既准确又可靠，不会在现实中“翻车”。

技术摘要

论文技术总结

1. 研究背景与问题 (Problem)

临床预测模型在医疗决策中日益重要，但确定模型开发所需的最小样本量仍是一个未解决的关键挑战。

• 现有挑战：样本量不足会导致模型过拟合（overfitting）、泛化能力差（poor generalisability）以及预测偏差。
• 现有方法的局限性：
  • 启发式规则（如"10 事件/变量”规则）：过于简化，忽略了预测变量强度、相关性等复杂特征。
  • 闭式解析公式（Closed-form formulas）：基于分布假设，计算快但难以扩展到复杂数据结构（如分层数据）或机器学习（ML）模型。
  • 现有软件：虽然已有 pmsampsize 等工具，但缺乏针对复杂模型和用户自定义指标的灵活实现，导致许多研究仍使用不充分的样本量。
• 核心痛点：缺乏一种既能适应复杂数据/模型，又能明确考虑性能变异性（variability）并保证高概率达到目标性能的工具。

2. 方法论框架 (Methodology)

论文首先建立了一个理论框架，区分了两种样本量计算准则，并提出了基于模拟的新方法。

2.1 两种样本量准则

• 基于均值的准则 (Mean-based criterion)：寻找最小样本量 $n$，使得期望性能 $E[M|n]$ 超过目标值 $M^*$。这仅保证“平均”表现达标，忽略了模型在不同数据集上的波动。
• 基于保证的准则 (Assurance-based criterion)：寻找最小样本量 $n$，使得性能超过目标值 $M^*$ 的概率达到高置信度（如 80%）。即 $P(E[M|D_n] > M^*) > \delta$。这考虑了模型性能的方差，确保大多数训练出的模型都能达标，特别适用于参数估计不稳定的复杂模型（如深度学习）。

2.2 提出的新方法：pmsims
作者提出了 pmsims，一个开源、模型无关（model-agnostic）的 R 语言包，采用基于模拟的方法。其核心流程包括：

1. 定义场景：用户指定数据生成器（Data Generator）、模型函数（Model Function）、性能指标（Metric）以及目标性能（$M_{ideal}$ 和允许偏差 $d$）。
2. 数据生成器调优：确保生成的合成数据能反映目标人群特征，并使模型在大样本下达到预期的理想性能。
3. 学习曲线估计 (Learning Curve Estimation)：
   • 生成不同样本量 $n$ 的合成数据集。
   • 反复拟合模型并在独立测试集上评估性能。
   • 利用 高斯过程 (Gaussian Process, GP) 作为代理模型（Surrogate Model）来平滑拟合学习曲线。GP 不仅能估计均值，还能提供置信区间，从而高效地定位解所在的区域，减少计算负担。
4. 确定最小样本量：找到最小的 $n$，使得学习曲线在 $n$ 处的第 20 百分位数（对应 80% 保证率）超过预设阈值 $M^*$。

3. 关键贡献 (Key Contributions)

1. 理论框架创新：明确区分并形式化了“均值”与“保证”两种样本量计算范式，强调了在预测建模中考虑性能变异性的必要性。
2. 提出 pmsims 软件包：
   • 模型无关性：支持逻辑回归、Cox 回归以及任意用户定义的机器学习模型（如随机森林、神经网络）。
   • 灵活性：允许用户自定义数据生成机制、预测模型和性能指标（如 AUC、校准斜率、MAPE 等）。
   • 计算效率：结合学习曲线外推与高斯过程优化，显著降低了传统模拟方法所需的计算成本。
   • 保证准则实现：直接输出满足高概率（如 80%）性能达标的样本量，而非仅基于平均值。
3. 全面的方法论综述：系统梳理了从启发式规则到闭式公式再到模拟方法的演进，并对比了现有工具（如 pmsampsize, samplesizedev, Silvey & Liu 的 Shiny 应用等）的优劣。

4. 研究结果 (Results)

通过三个案例研究（涵盖不同患病率、预测变量数量和 AUC 水平），对比了多种方法：

• 样本量估计差异巨大：不同方法、不同模型类型（逻辑回归 vs. ML）以及不同性能指标（AUC vs. 校准斜率）得出的样本量估计值差异显著。
  • 例如，在案例 1 中，逻辑回归的估计值在 200 到 6000 之间波动。
  • 机器学习模型通常需要比逻辑回归大 5-10 倍的样本量。
• pmsims 的表现：
  • pmsims 的估计值（例如案例 1 中校准斜率>0.90 需 3510 例）位于整体估计范围的中间位置，与 samplesizedev 的结果具有可比性。
  • 当模型设定错误（Misspecification，如用 XGBoost 生成数据但用逻辑回归预测）时，所需样本量急剧增加（>20,000），突显了考虑模型失配的重要性。
• 验证了保证准则的价值：基于保证的准则（Assurance）通常比基于均值的准则需要更大的样本量，但这能更稳健地确保模型在实际应用中的可靠性。

5. 意义与未来展望 (Significance & Future Directions)

• 学术与实践意义：
  • 解决了临床预测模型开发中样本量确定的“黑箱”问题，提供了可解释、可复现的工具。
  • 推动了从简单的启发式规则向基于模拟、考虑不确定性的严谨方法转变。
  • 有助于减少因样本量不足导致的过拟合和偏倚，提高医疗 AI 模型的临床转化成功率。
• 局限性：
  • 当前版本主要依赖参数化数据生成器，对复杂分层、纵向或高维多模态数据（如影像、基因组）的支持尚需加强。
  • 尚未完全整合缺失数据处理机制。
• 未来方向：
  • 扩展数据生成器以模拟更真实的临床数据（如使用 GANs 生成合成数据）。
  • 纳入公平性（Fairness）和稳定性（Stability）指标作为样本量计算的目标。
  • 解决分层数据、时间序列数据及缺失数据带来的挑战。

总结：该论文通过引入 pmsims 包，为临床预测模型的样本量计算提供了一个灵活、高效且基于“保证”准则的解决方案，填补了现有工具在处理复杂模型和不确定性方面的空白，对提升医疗 AI 研究的严谨性具有重要意义。