💻 computer science

Leveraging Machine Learning Models to Predict Probability of Technical and Regulatory Success

本文表明，基于 ClinicalTrials.gov 公开临床试验方案特征训练的可解释机器学习模型，能够准确预测小分子药物试验的技术与监管成功概率，其表现优于标准基准，并为风险调整后的估值提供了一种可复现的工具。

原作者： Mason Kim, Michael Doane, James Melican, Kevin Wang, Haewon Jung, Cedric Liu

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Mason Kim, Michael Doane, James Melican, Kevin Wang, Haewon Jung, Cedric Liu

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在决定是否投资一家新创公司的风险投资人。你知道大多数初创公司都会失败，但你想知道哪些公司最有成功的机会。在医学领域，这些“初创公司”就是新药，而“投资者”则是制药公司。

你提供的这篇论文是关于为这些制药公司构建一个**“水晶球”**。然而，他们使用的不是魔法，而是数学和公开数据，来预测一种新药能否在通往成为获批药物的漫长且艰辛的旅程中幸存下来。

以下是他们工作的简单化解读：

1. 问题所在：“药物成功率”的黑箱

开发一种新药极其昂贵且充满风险。平均而言，只有约 1/10 的新药能从测试开始到最终获得批准。

传统方式： 公司通常通过观察历史平均水平来猜测成功概率（例如，“心脏病类药物的成功率为 15%”）或询问专家组以利用他们的直觉。
问题在于： 历史平均值过于笼统（它们没有针对特定的药物进行观察），而专家的意见则可能存在偏见或反应过慢。此外，当今许多高科技预测模型就像是“黑箱”——它们能给出答案，但没人知道它们是如何得出结论的，而且它们通常需要普通人无法看到的秘密且昂贵的数据。

2. 解决方案：透明、公开的“天气预报”

作者希望构建一个满足以下条件的模型：

可复现性： 任何人都可以构建它。
可解释性： 你可以查看其内部机制，准确了解它为何做出某种预测。
公开性： 它仅使用互联网上免费获取的数据（具体来说是 ClinicalTrials.gov，一个巨大的公共数据库，记录了大量的医学研究）。

他们将这种预测比作天气预报。正如气象学家利用过去的天气模式来预测降雨一样，该模型利用过去的临床试验数据来预测“药物降雨”（成功）或“药物干旱”（失败）。

3. 他们是如何构建模型的

原料： 他们下载了数千个过去临床试验的信息。他们并没有查看秘密的化学公式或公司的私人报告。他们只观察了试验的“方案”（即规则手册）：
- 谁在出资？（发起机构/赞助商）
- 它治疗什么疾病？（治疗领域）
- 试验处于什么阶段？（第一阶段、第二阶段或第三阶段）
- 试验是如何设计的？（是否是随机对照？患者群体是谁？）
训练： 他们将这些数据输入到一个计算机程序中（“随机森林”模型，类似于由许多决策者组成的投票团队）。他们利用 2017 年之前完成的试验来教导这台计算机。
测试： 然后，他们要求计算机预测 2017 年之后开始的试验结果，而这些试验是它从未见过的。这就像是在用旧的练习题教导学生后，再让他参加一场新的考试。

4. 结果：优于平均水平的猜测

计算机模型的表现优于行业内使用的标准“平均值”猜测。

得分： 该模型的得分（称为 ROC-AUC）为 0.788。在预测领域，这是一个稳健的“B+”或“A-”水平，意味着它显著优于仅仅靠掷硬币或使用通用平均值的水平。
布里尔分数（Brier Score）： 这衡量了预测的“校准度”。如果模型说成功的概率是 70%，那么它是否真的在 70% 的情况下取得成功？该模型在这方面表现出色，这意味着它的概率是值得信赖的。

5. 模型学到了什么（“为什么”）

由于该模型具有透明度，作者可以询问它：“哪些因素最重要？”它给了他们三个主要答案，这些答案符合常识，并通过数据得到了证实：

发起机构很重要： 由大型制药公司资助的试验比由大学或政府资助的试验更有可能成功。（这可以理解为资金充足的初创公司对比车库里的创业项目）。
疾病类型很重要： 针对传染病和代谢问题的试验成功率较高，而**癌症（肿瘤学）**领域的试验则要困难得多（成功率较低）。
阶段很重要： 随着药物接近终点线（第三阶段），成功的概率会上升。第二阶段是许多药物失败的“危险区”。

6. 局限性（不足之处）

作者诚实地说明了模型的局限性：

它并不完美： 它不是一个 100% 准确的魔力预测器。它仍然会犯错。
时间差距： 如果你用 10 年前的资料来训练模型并尝试预测今天的情况，它的准确性会略有下降，但它仍然比旧的基准要好。
信息缺失： 该模型没有使用药物的实际化学结构或深层的科学文本，仅使用了临床试验的公开“规则手册”。加入这些细节可能会让它变得更聪明。

总结

这篇论文证明了，你不需要秘密、昂贵的数据或复杂且无法解释的 AI，就可以预测药物的成功。通过使用公开数据和简单的、透明的数学方法，你可以构建一个工具，帮助公司在决定投资哪些药物时做出更明智的决策。这就像是为每个人提供了一张更好的地图，去应对药物研发这条充满风险的旅程。

技术摘要：利用机器学习模型预测技术与监管成功概率

问题陈述

制药行业面临着极高的研发失败率，临床试验药物（IND）的平均技术与监管成功概率（pTRS）仅约为 9.6%。准确评估 pTRS 对于风险调整后的净现值（rNPV）、组合管理和战略决策至关重要。然而，现有的评估方法通常依赖于专有数据、复杂的“黑盒”架构或主观的专家评估，这些方法难以复制、校准或集成到标准工作流中。目前缺乏一种仅利用公开数据即可生成经过校准且具有可解释性的 pTRS 估计值的标准化、可重复的框架。

方法论

数据来源与预处理

本研究使用了两个主要数据源：

特征空间： 通过 API 获取的 ClinicalTrials.gov 方案章节数据（截至 2026 年 1 月）。特征提取自八个模块：识别、发起人/合作者、描述、适应症、设计、臂间干预、结局指标和入组标准。
结局标签： 来源于 HINT 临床试验结局数据库（衍生自 IQVIA 数据）的截至 2021 年的小分子药物试验二元成功/失败标签（0/1）。

数据清洗与工程：

清洗： 非文本特征（如年龄、日期）进行了数值标准化。分类列表（如适应症）被转换为由管道符（|）分隔的字符串。
治疗领域映射： 使用 GPT-4o 进行少样本提示（few-shot prompting），根据适应症和关键词将试验归类为 21 个预定义的治疗领域（如肿瘤学、心血管疾病、传染病）。
编码： 对分类和多分类变量进行了独热编码（one-hot encoding）。
时间分割： 为了模拟现实世界的预测场景，数据进行了时间分割：
- 训练集： 主要完成日期在 2017 年 1 月 1 日之前的试验（ $n=10,224$ ）。
- 测试集： 开始日期在 2017 年 1 月 1 日之后的试验（ $n=478$ ）。
类别不平衡： 应用了与类别频率成反比的类别权重，以更严厉地惩罚对失败案例的误分类。

模型开发

研究评估了三种具有可解释性的机器学习模型：

逻辑回归（Logistic Regression）： 作为基准模型。
随机森林（Random Forest, RF）： 通过随机搜索（20 种组合，5 折交叉验证）进行超参数调优。
XGBoost： 评估方式与随机森林类似。

评估指标：

区分度： ROC-AUC 和 PR-AUC。
校准度： Brier 分数（分解为可靠性、分辨率和不确定性）。
基准比较： 定义了一个“超越率”（Outperformance Rate）指标，用于衡量模型的预测概率是否比派生基准（按疾病类别和阶段计算的平均成功率）更接近真实结果。
可解释性： 使用 SHAP（SHapley Additive exPlanations）值对特征重要性进行排序并解释单个预测结果。

关键结果

模型性能

随机森林模型在所有指标上表现出最强的综合性能，在大多数设置下均优于逻辑回归基准和标准基准：

ROC-AUC： 0.788（基准为 0.726）。
PR-AUC： 0.794（基准为 0.748）。
Brier 分数： 0.196（基准为 0.220），表明具有更优的校准度。
注：在针对 3 期临床试验的 PR-AUC 指标上，基准模型略微优于随机森林。

时间稳定性

研究测试了训练数据与测试数据之间存在时间间隔（0、1、3 和 5 年）对模型的影响。虽然性能随着间隔增加呈现出轻微且持续的下降趋势（例如，在 0 年间隔时 ROC-AUC 为 0.755，而在 5 年间隔时降至 0.748），但该模型依然保持稳健，即使在 5 年间隔的情况下仍能持续超越基准。

特征重要性（SHAP 分析）

SHAP 分析确定了以下是 pTRS 预测的主要驱动因素：

发起人类型： 工业界发起是强烈的正向驱动因素；非工业界发起（如 NIH、学术机构）与较低的预测成功率相关。
治疗领域： 肿瘤学相关的 pTRS 较低，而传染病和代谢类疾病的 pTRS 较高。
临床阶段： 3 期试验显示出较高的预测成功率，而 2 期（概念验证）显示出较低的成功率，这与历史上的损耗率一致。
设计变量： 随机分配、掩盖（盲法）和单组分配具有中等但一致的影响。

意义与主张

本文声称其主要贡献在于实践与方法论层面，而非通过架构复杂性追求最先进的预测精度。

可重复性： 研究证明，仅使用公开数据（ClinicalTrials.gov）和开放标签，即可生成经过校准且具有决策价值的 pTRS 估计值，从而消除了对专有数据库或复杂深度学习流水线（如 HINT, inClinico）的依赖。
可解释性： 通过使用随机森林和 SHAP 等模型，该方法为利益相关者提供了透明的解释，有助于集成到专家评估和估值工作流中，而这些工作流通常会拒绝“黑盒”模型。
决策效用： 作者认为，即使是概率准确性的微小提升（例如 3–4 个百分点），在投资组合规模上也具有重要意义，能够影响资本部署和“前进/停止”（Go/No-Go）决策。
基准策略： 本文引入了一种直接从训练数据中派生的基准方法（按阶段和治疗领域划分的平均值），以创建一个公平且可重复的比较指标，避免了外部可能存在偏差或不完整的行业数据库带来的偏见。

承认的局限性

作者明确指出了以下限制：

数据时效性： 标签仅限于截至 2021 年的小分子药物试验；监管或临床试验执行方式自此以来的变化可能会影响前瞻性表现。
特征范围： 模型排除了丰富的自由文本描述、分子性质（SMILES）以及 PK/PD/毒性数据，这可能会限制其性能，尤其是在面对首创药物（first-in-class）或肿瘤类资产时。
LLM 分类： 治疗领域的映射依赖于大语言模型（LLM），这可能会引入结构化分类错误。
基准推导： “超越率”指标依赖于从训练集中派生的基准；未来的工作应针对外部基准进行验证。

总之，本文认为，使用基于公开临床试验特征的可解释模型，可以为风险量化提供一个可行且实用的基础，这种方法是对专家判断和传统基准的补充，而非替代。