🤖 machine learning

SurvPFN: Towards Foundation Models for Survival Predictions

本文介绍了 SurvPFN，这是一种在数百万个合成任务上进行预训练的先验数据拟合网络，旨在使基础模型能够处理生存预测中的审查数据，在无需针对特定数据集进行拟合或使用专门架构的情况下，在真实世界数据集上实现了具有竞争力的性能。

原作者： Samuel Böhm (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany), Lennart Purucker (Department of Compute

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Samuel Böhm (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany), Lennart Purucker (Department of Computer Science, University of Freiburg, Freiburg, Germany, PriorLabs, Freiburg, Germany), Frank Hutter (Department of Computer Science, University of Freiburg, Freiburg, Germany, PriorLabs, Freiburg, Germany), Pascal Schlosser (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany, Department of Epidemiology, Johns Hopkins Bloomberg School of Public Health, Baltimore, Maryland, US, CIBSS - Centre for Integrative Biological Signalling Studies, University of Freiburg, Freiburg, Germany)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图精确预测一个灯泡何时会烧坏。在一个完美的世界里，你可以等待每一个灯泡都失效，并记录下确切的时间。但在现实世界中，你不能永远等下去。有些灯泡在实验停止时仍在工作，还有些在还没烧坏之前就被扔掉了。在统计学中，这被称为删失（Censoring）。你知道这个灯泡至少在停止观察时还在工作，但你不知道它究竟会在哪一刻熄灭。

长期以来，强大的新型人工智能工具——基础模型（Foundation Models）（特别是“TabPFN”）在预测诸如“这封邮件是否为垃圾邮件？”或“这栋房子能卖多少钱？”等问题上表现出色，但它们在处理生存预测（例如“患者何时会复发？”）时却显得力不从心，因为它们不知道如何处理这些“仍在工作”的灯泡。如果你向它们输入删失数据，它们会感到困惑并做出有偏差的猜测。

于是，SurvPFN 诞生了。作者构建了一个专门设计用于理解这种“灯泡问题”的新型 AI 版本。

以下是他们实现这一目标的方法，我使用了日常类比来解释：

1. “训练健身房”（合成数据）

你不能只让一名战士参加实战比赛来训练他；他需要通过健身房进行练习。作者利用数百万个虚构的生存场景构建了一个庞大的合成健身房。

设置： 他们使用一种数学配方（称为结构因果模型）生成了具有不同寿命的虚构“灯泡”。
转折： 他们特意对其中一些虚构灯泡进行了“删失”处理——即提前停止了部分灯泡的计时，就像现实生活中一样。
教训： 他们教会了 AI，“停止计数”的灯泡并不代表坏掉的灯泡，而是一个表示该灯泡至少存活了那么久。他们使用了一种特殊的评分系统（“删失损失函数”），该系统奖励那些对这些下限保持诚实的 AI，而不是让 AI 去盲目猜测一个具体的死亡时间。

2. “双轨制”大脑（模型架构）

他们构建的 AI 是基于现有模型中一个更小、更高效的版本——NanoTabPFN。为了使其适用于生存分析，他们添加了一个特殊功能：

事件指示器（Event Indicator）： 你可以把它想象成 AI 在查看每一条数据点时都会看一眼的小旗子。
- 旗帜 = 0： “这个灯泡在时间 X 烧坏了。”（我们知道确切时间）。
- 旗帜 = 1： “这个灯泡在时间 X 仍在工作。”（我们只知道它在 X 时刻之后仍然存活）。
AI 的大脑中有两条独立的“路径”来处理这两类旗帜。这使得它能够学习到“存活”的灯泡与“死亡”的灯泡是不同的，即使它们发生的时间点相同。

3. “通用型”方法

通常，为了预测生存情况，医生或数据科学家必须花费数周时间，针对特定的数据集进行特定的模型调优（就像为了接收某个特定电台而调节收音机频率）。

SurvPFN 的超能力： 它在那个庞大的合成健身房中完成了一次性训练。训练完成后，它可以直接走进一个新的、真实的现实世界数据集（如医院记录或机器可靠性日志），并立即开始做出预测。它不需要针对该特定群体进行重新训练或“微调”。它就像一个通用的翻译官，无需为每个新国家准备字典，就能听懂每种语言。

4. 结果：效果如何？

作者在 22 个真实世界数据集（涵盖从癌症研究到失业数据）上测试了 SurvPFN，并将其与以下“金标准”方法进行了对比：

Cox 比例风险模型（Cox Proportional Hazards）： 经典的传统统计方法。
随机生存森林（Random Survival Forests）： 一种流行的机器学习方法。
DeepSurv： 一种现代深度学习方法。
BinSurv： 一种较新的方法，试图将生存问题转化为一系列“是/否”的问题。

结论：
SurvPFN 的表现不逊于所有这些经过深度调优的专业模型。

它不需要为每个新数据集进行重新训练。
它不需要进行“特征工程”（手动调整数据）。
它甚至不需要复杂的、定制化的架构。

局限性（不足之处）

论文坦诚地说明了该 AI 目前存在的局限：

规模： 它在较小的数据集（最多 1,000 行和 10 个特征）上表现最好。它就像一辆跑车：擅长快速、灵活的比赛，但尚未被打造成为庞大的运输车队。
“Weibull”偏差： 该 AI 是基于特定的数学生存曲线形状（称为 Weibull 分布）进行训练的。虽然它能很好地处理许多现实场景，但如果现实世界的数据与它在健身房里看到的形状完全不同，它可能会遇到困难。
静态视角： 它假设影响生存的因素（如年龄或职业类型）不会随时间改变。它无法处理“竞争风险”（例如，患者在疾病进展之前死于车祸）。

核心启示

这篇论文证明了，生存分析本质上就是一种带有“下限”特殊规则的分布回归。 通过教会通用 AI 尊重“删失”规则（即事件指示器旗帜），他们成功解锁了使用这些强大的、预训练好的基础模型来进行“时间-事件”预测的能力，而无需每次都从头构建一个新模型。

技术摘要：SurvPFN：迈向生存预测的基础模型

问题陈述

表格基础模型（Tabular Foundation Models, TFMs），如 TabPFN，通过利用在合成数据上训练的先验数据拟合网络（Prior-Data Fitted Networks, PFNs），在标准的分类和回归任务中取得了快速成功。然而，生存预测任务在很大程度上仍未被这一范式所触及。主要的障碍在于删失（Censoring）：在生存分析中，感兴趣的事件（例如死亡、失效）在研究期间内往往并非对所有受试者都是可观测的（右删失）。标准的 TFM 架构和回归目标无法原生处理删失数据；将删失时间视为回归目标或将其丢弃，都会引入系统性偏差并导致预测不准确。现有的生存分析方法（如 Cox 比例风险模型、随机生存森林、DeepSurv）虽然显式地在它们的似然函数中对删失进行了建模，但它们通常需要针对每个数据集进行拟合，且缺乏“基础模型”的零样本（zero-shot）适应能力。

方法论

作者提出了 SurvPFN，一种专门为生存预测设计的先验数据拟合网络。该方法将生存分析视为一个带有删失损失函数的连续时间分布回归问题。

1. 合成先验生成

为了在不进行逐数据集拟合的情况下训练模型，作者使用**结构因果模型（Structural Causal Models, SCMs）**生成了数百万个合成生存任务：

事件时间： 从 Weibull 分布（生存分析中的标准选择）中生成。该模型同时支持比例风险（PH）和非比例风险（non-PH）机制。在非 PH 场景下，第二个结果节点会修改每个受试者的形状参数，从而诱导产生交叉的生存曲线。
删失机制： 应用了非信息性删失机制。这包括：
- 行政删视（Administrative censoring）： 在事件时间分布的一个分位数处设置数据集层面的随访期限（$FU$）。
- 交错入组（Staggered enrollment）： 观测具有不同的起始时间。
- 研究中途脱落（Mid-study dropout）： 观测可能会在行政删失时间之前的一个均匀分布的时间点结束。
数据结构： 合成数据集包含 2–10 个协变量（包括类别型特征）以及最多 1,000 行数据。

2. 模型架构与训练

SurvPFN 构建于 NanoTabPFN 之上，这是一个轻量级、用户友好的 TFM 主干网络（4.4M 参数，6 层）。

输入表示： 事件指示符（0 表示删失，1 表示观测到事件）作为一个显式的特征列被附加。这使得模型能够区分观测到的事件时间与下界（删失时间）。
目标编码： 双路径目标编码器通过两个架构相同的独立编码器分别处理观测到的事件和删失行，使模型能够学习观测到的真实事件时间与下界之间的不同表示。
训练目标： 模型通过最小化**删失负对数似然（Censored Negative Log-Likelihood, NLL）**进行训练：
- 对于观测到的事件：通过逆概率加权（IPCW）进行加权，以纠正信息性删失。
- 对于删失行：惩罚模型将概率质量放置在删失时间之前的情况。
- 排序项： 可选地添加一个可微的成对排序项，以使预测的生存时间与 SCM 诱导的底层风险顺序保持一致。
推理： 模型输出一个离散密度 $\hat{p}_j$ ，从中可以直接导出生存函数 $\hat{S}(t)$ 和预测的中位时间。

3. 评估协议

模型在 SurvSet 上进行了评估，这是一个涵盖临床、经济和可靠性领域的 22 个真实世界生存数据集的精选集合。

约束条件： 数据集被过滤至 $\le 1000$ 行且 $\le 10$ 个特征，以匹配其小型主干网络的训练机制。
基准模型： 对比对象包括：
- Cox 比例风险模型 (CoxPH)： 主流的经典基准。
- 随机生存森林 (RSF)： 标准的非参数集成方法。
- DeepSurv： 最广泛使用的深度学习方法。
- BinSurv： 一种最近提出的基于 TFM 的方法，它将时间离散化为二元分类任务。
指标： 通过 Uno's C-index（区分度）、集成 Brier 分数 (IBS)（准确度）和 集成校准指数 (ICI)（校准度）来评估性能。

关键结果

极具竞争力的性能： 在 22 个数据集上，SurvPFN 的表现与所有基准模型相比都极具竞争力。平均而言，它能达到或略微超过 RSF、DeepSurv 和 BinSurv 的水平，并且与 CoxPH 表现相当。
零样本能力： 至关重要的是，SurvPFN 在无需针对每个数据集进行拟合、无需特定的生存分析架构、也无需特征工程的情况下实现了这一性能。它完全依赖于预训练的先验。
消融实验：
- 事件指示符： 若移除作为特征的事件指示符（强制设为 1），虽然保留了区分度（C-index），但显著降低了校准度（ICI）。这证实了虽然可以仅从时间推断出相对风险顺序，但绝对校准需要明确知道哪些数据点是删失的。
- 损失函数变体： 使用预训练阶段可用的 Oracle 目标（仅在合成数据预训练时可用）的变体在真实世界数据上的表现与原生删失损失函数相当，这表明原生损失函数足以实现迁移。

意义与主张

本文声称，生存分析可以成功地被框架化为一个连续时间的分布回归问题，并能由 PFN 解决。其核心贡献在于：

弥补差距： 证明了基础模型可以处理删失数据，而这在以前被认为是不适合标准回归 PFN 的任务。
简洁性： 展示了仅通过增加一个事件指示符特征和一个删切损失函数，标准的回归 PFN 架构就足以恢复专门生存模型的性能。
高效性： 提供了一个无需超参数调优或在新数据集上重新训练的模型，为中小规模的表格生存分析任务提供了一种“即插即用”的解决方案。

作者对局限性保持了谦逊的态度，指出目前的评估仅限于小型数据集（ $\le 1000$ 行）和静态协变量。他们承认合成先验目前局限于 Weibull 分布，且尚未解决竞争风险和随时间变化的协变量问题，并建议将这些作为未来扩展性和表达能力的必要方向。