🤖 machine learning

Evidential Fusion Network for Multimodal Survival Prediction under Missing Modalities

本文提出了证据缺失模态生存融合（EMMS）模型，该模型利用 Dempster-Shafer 理论和高斯随机模糊数，通过将缺失模态视为真空证据而非进行生成式插补，在缺失数据条件下实现了达到最先进水平且经过校准的多模态生存预测。

原作者： Yucheng Xing, Hailan Mo, Zi Wang, Ling Huang, Mengling Feng

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yucheng Xing, Hailan Mo, Zi Wang, Ling Huang, Mengling Feng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名医生，正试图预测一名癌症患者可能的生存时间。为了做出最准确的判断，你通常需要两种类型的信息：

“图像”（病理学）： 肿瘤组织的显微照片。
“代码”（基因组学）： 患者基因活动的列表。

在理想的世界里，你两者兼备。但在现实世界中，事情总会出错。有时，在拍下照片之前组织样本就用完了；或者基因检测太贵，被跳过了。这导致你只掌握了故事的一半。

目前的多数计算机模型试图去猜测缺失的那一半。它们会说：“噢，你没有照片？没关系，我来根据基因想象一下照片大概长什么样。”这个问题就像厨师在缺少一种食材时去猜测味道一样。有时候猜对了，但更多时候，计算机在“幻觉”（编造）不存在的细节，这在涉及高风险医疗决策时可能会导致危险的错误。

其他模型则干脆忽略缺失的部分，试图仅凭现有信息进行处理，但它们的表现就像是即便手里只有一半拼图，也表现得和拥有完整拼图时一样自信。这是很危险的，因为它们没有承认：“嘿，我丢失了一块巨大的拼图，所以我不能这么确定。”

解决方案：“诚实”的 AI (EMMS)

该论文的作者提出了一种名为 EMMS（证据缺失模态生存融合）的新系统。EMMS 不去猜测缺失的数据，也不假装一切正常，而是利用了一种基于邓波特-沙费尔理论（Dempster–Shafer theory，可以理解为一种“置信度会计系统”）的巧妙数学技巧。

以下是它的工作原理，使用简单的类比说明：

1. “空盒子”策略

当数据缺失时（例如，没有基因检测），EMMS 不会尝试用一个虚假物品填满盒子。相反，它会放一个贴着标签“我对此一无所知”的空盒子。

旧方法： 尝试用一个猜测来填满盒子（有风险）。
EMMS 方法： 让它保持空白，但清晰地标记出来。这个空盒子被称为**“真空证据”**（vacuous evidence）。它告诉系统：“这个输入贡献了零信息，所以不要让它干扰其他有效信息。”

2. “团队会议”（融合）

想象一下，病理团队和基因组学团队正在开会，共同决定患者的预后情况。

如果两个团队都在场，他们会结合彼此的笔记，做出一个强有力且自信的决定。
如果基因组学团队缺席了，病理团队仍会提交他们的报告。
至关重要的一点是： 由于基因组学团队不在场，最终的决定会附带一个响亮的警告标签：“此预测仅基于一半的数据，因此我们的确定性较低。”

系统会计算一个“置信度得分”。如果数据缺失，该得分会自然下降。它不会在缺乏事实依据的情况下强行给出一个高置信度的答案。

3. 两种类型的“不确定性”

论文解释说，该系统追踪两种怀疑：

偶然不确定性（Aleatoric Uncertainty，噪声）： 数据中天然存在的随机性（例如，“即使有完美的数据，生物学本身也是复杂的”）。
认知不确定性（Epistemic Uncertainty，无知）： 由信息缺失导致的怀疑（例如，“我不知道答案，因为我缺少基因检测数据”）。
EMMS 的特别之处在于，它能够区分“数据是有噪声的”和“我没有数据”。

他们发现了什么？

研究人员在四种不同的癌症数据（乳腺癌、胃癌、肾癌和肺癌）上测试了这个系统。他们模拟了缺失比例高达 60% 的情况。

更高的准确性： 即使在数据缺失的情况下，EMMS 的预测效果也优于那些试图通过猜测来补全缺失部分或直接忽略问题的其他方法。
诚实的信心： 当系统感到不确定时（因为数据缺失），它会承认这一点。而其他系统即使在出错时也会继续表现得很有信心。
无需额外成本： 与其他试图“重建”缺失数据的模型（这需要大量的计算能力）不同，EMMS 非常快速。它不需要做额外的计算工作来填补空白，它只是优雅地处理了这些空白。

核心结论

这篇论文展示了一种更聪明的方法，用于处理不完整的医疗记录。它不去编造事实，也不假装无所不知，而是承认自己缺失了信息，并相应地调整其置信度。这就像一位医生说：“根据我目前掌握的情况，这是我的最佳推测，但请注意，我还缺少一项关键测试，所以我们需要谨慎对待。”

技术摘要：用于缺失模态多模态生存预测的证据融合网络

问题陈述

准确的生存预测对于精准肿瘤学至关重要，然而在现实世界的临床环境中，多模态模型的部署经常受到模态缺失的阻碍。在实践中，由于组织耗尽、测序成本或基础设施异构化，完整的形态学-分子谱（结合全切片图像和转录组数据）往往无法获得。

现有方法面临两个主要局限性：

基于插补的方法（例如 SMIL、M3Care）通过生成式建模来重建缺失数据。虽然这些方法在平均水平上有效，但存在“幻觉”不存在的生物信号的风险，并会产生高昂的计算成本，这对于高风险的临床决策而言是存在问题的。
无插补方法（例如 EmbraceNet）仅聚合可用嵌入，但通常将缺失视为仅仅是掩码（masking）或丢弃（dropout）问题。它们未能显式地量化由缺失模ologous模态引起的认识不确定性（epistemic uncertainty，即知识缺乏），从而导致模型无法反映其自身无知状态的失准置信度。

此外，目前的模型难以区分偶然不确定性（aleatoric uncertainty，即内在数据噪声）与认识不确定性（epistemic uncertainty，即由信息缺失引起的不确定性），只能提供一个“最佳猜测”，而无法发出可靠性信号。

方法论

作者提出了**证据缺失模态生存融合（EMMS）**模型，这是一个旨在处理不完整多模态观测值且无需数据重建的框架。其核心组件包括：

1. 理论基础：Dempster–Shafer 理论与 GRFN

EMMS 基于 Dempster–Shafer 证据理论。不同于预测单一生存时间，每种模态的预测都被表示为由高斯随机模糊数（GRFNs）参数化的生存证据。

一个 GRFN，记作 $\tilde{Y} \sim \tilde{N}(\mu, \sigma^2, h)$ $\tilde{Y} \sim \tilde{N} (μ, σ^{2}, h)$ ，对生存时间分布进行建模，其中：
- $\mu$ ：位置参数（最可能的事件发生时间估计）。
- $\sigma^2$ ：偶然不确定性（数据变异性）。
- $h$ ：认识强度（认识不确定性/无知程度的倒数）。
真空证据（Vacuous Evidence）： 至关重要的是，当某一模态缺失时，模型将其认识强度设为 $h=0$ 。这导致 GRFN 退化为“真空证据”，代表完全的无知。这种公式化避免了近似缺失输入，而是将缺失显式编码为零证据贡献。

2. 单模态分支

模型在融合前独立处理两个模态：

病理分支： 全切片图像（WSIs）被切分为补丁（patches），通过预训练的补丁编码器进行编码，并使用 TITAN 切片编码器聚合为切片级表示。该特征通过基于径向基函数核的原型证据公式映射到生存证据。
基因组学分支： 转录组谱通过类似的框架处理，以生成建模为 GRFN 的生存证据。

3. 证据融合

模型使用 Dempster 组合规则融合来自可用模态的证据。

处理缺失性： 二进制可用性指示符（ $r \in \{0, 1\}$ ）决定模态是否存在。如果 $r=0$ ，则该模态贡献真空证据（ $h=0$ ）。
加权聚合： 融合后的 GRFN 参数（ $\mu_f, \sigma^2_f, h_f$ ）通过闭式、证据加权的聚合方式计算。具有更高认识强度的模态会对最终预测产生更大贡献。
优雅降级： 当某一模态缺失时，融合过程会自然降级为仅使用可用模态，而不受干扰。总认识强度（ $h_f$ ）呈加性累积，可作为整体置信度的可解释指标。 $h_f$ 的降低明确反映了由数据缺失引起的不确定性。

4. 损失函数

训练目标结合了：

生存损失（ $L_{surv}$ ）： 针对 GRFNs 的广义负对数似拟合，利用置信度和可能性边界对未删失样本和右删失样本进行监督。
对齐损失（ $L_{align}$ ）： 仅在两种模态同时存在时应用的对称 Kullback–Leibler (KL) 散度项，作为轻量级的跨模态一致性正则化项。

核心贡献

真空证据公式化： 本文引入了一种在 GRFN 框架内将缺失模态视为真空证据（ $h=0$ ）的方法。这防止了模型产生数据幻觉或被缺失输入污染，同时自然地增加了预测的认识不确定性。
不确定性量化： EMMS 显式区分了偶然不确定性和认识不确定性。总证据强度作为一个内置的可解释指标，用于衡量在不完整观测下的预测置信度。
计算效率： 与基于插补的方法不同，EMMS 不需要生成阶段或潜在空间检索，因此不会引入相对于无插补基准模型的额外计算开销。
闭式融合： 使用 Dempster–Shafer 理论允许进行原则性的闭式聚合，确保缺失输入不会对已有数据产生影响。

实验结果

作者在来自癌症基因组图谱（TCGA）的四个癌症队列（BRCA, LUAD, STAD, KIRC）上评估了 EMMS。

完整数据下的性能： 在 0% 模态缺失设置下，EMMS 在大多数数据集上实现了状态最优（SOTA）的性能，包括一致性指数（C-index）和集成 Brier 分数（IBS），优于 DisPro、MUSE 和 Flex-MoE 等基准模型。
缺失数据下的鲁棒性： 在 60% 模态缺失率下，EMMS 在所有数据集和所有评估设置（仅病理、仅基因组学及完整模态）中均持续优于所有基准模型。在其他模型表现出显著性能下降的情况下，它展示了卓越的鲁棒性。
校准度： 校准图表明，与基准模型相比，EMMS 的预测更接近理想对角线，且具有更低的平均绝对偏差（MAD）。这表明该模型能提供更可靠的置信度估计。
效率： 训练时间对比显示，EMMS 的速度与无插补基准模型 MUSE 相当，且明显快于基于插补的 DisPro。

意义与主张

本文声称 EMMS 为现实临床环境下无法保证数据完整性的个性化医疗提供了一种可扩展、计算高效且具有理论依据的解决方案。

通过利用 Dempster–Shafer 理论，该模型弥合了预测性能与不确定性感知之间的鸿沟。它允许临床决策支持系统在数据缺失时“发出其自身无知的信号”，从而区分噪声与知识缺乏。作者强调，这种方法在实现 SOTA 判别能力和校准度的同时，避免了数据幻觉的风险或生成式插补的计算负担，使其成为异构临床环境部署的有力候选方案。