🤖 machine learning

Latent World Recovery for Multimodal Learning with Missing Modalities

本文提出了潜在世界恢复（Latent World Recovery, LWR）框架，该框架通过在共享潜在空间中对齐特定模态的嵌入，并仅融合可用模态，从而在无需填补缺失数据的情况下，实现面向生物科学应用的鲁棒多模态预测。

原作者： Hui Wang, Tianyu Ren, Joseph Butler, Christopher Baker, Karen Rafferty, Simon McDade

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Hui Wang, Tianyu Ren, Joseph Butler, Christopher Baker, Karen Rafferty, Simon McDade

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图破解一个关于患者健康的复杂谜团，但你手中的线索是零散且不完整的。有时你拥有他们的 DNA，有时是蛋白质水平，有时是病史，但很少能为每一个人都拥有所有这些信息。

在生物科学领域，这是一个被称为**“缺失模态”（missing modalities）**的常见问题。传统的 AI 模型通常会尝试通过“猜测”（或“填补/插值”）来填补空白，以便做出诊断。这篇论文的作者 Hui Wang 及其同事认为，这就像是通过自己画出缺失的部分来完成拼图——你可能得到了图像，但也可能引入了错误。

相反，他们提出了一种名为**“潜空间世界恢复”（Latent World Recovery, LWR）**的新方法。以下是它的工作原理，并使用了一些简单的类比：

1. “局部视角”哲学

想象一下，你正在一个雾气弥漫的房间里观察一座雕像。

传统方法： 你根据可见的部分去猜测隐藏部分的样貌，然后构建一个完整的雕像模型。
LWR 方法： 你接受了只能看到部分雕像的事实。与其猜测缺失的部分，不如专注于仅根据你实际能看到的部件来理解雕像的“本质”。

论文指出，在生物学中，不同的测试（如基因表达或 DNA 甲基化）只是同一底层生物现实的不同“局部视角”。LWR 并不试图合成缺失的视角，而是学习如何仅利用当前可用的视角来构建对患者的深刻理解。

2. “智能混合器”（可用性感知融合）

一旦 AI 观察了现有的线索，它需要将它们组合成一个单一的摘要。

旧方法： 一些方法只是简单地取所有可用线索的平均值，并将它们视为同等重要。这就像是在调制奶昔时，你倒入等量的菠菜、糖和盐，寄希望于味道能行得通。
LWR 方法： LWR 使用了一个“智能混合器”。它观察现有的线索，并询问：“现在哪一个是最重要的？”如果一位患者的 DNA 数据很出色，但蛋白质数据很微弱，混合器会自动调高 DNA 的音量，并调低蛋白质的音量。它根据实际存在的内容动态地调整线索的权重，确保最终生成的摘要是高质量的。

3. “邻里地图”（基于邻居的对齐）

这是论文中最巧妙的部分。通常，AI 会试图强迫不同类型的数据完全匹配，就像把方榫头硬塞进圆孔里。

问题所在： 如果你强迫 DNA 图谱和蛋白质图谱变得完全一致，你可能会丢失让每种测试都具有独特细节的特征。
LWR 的解决方案： LWR 并不强求地图完全相同，而是观察**“邻里关系”**。想象你有两张不同的城市地图（一张是交通图，一张是公园图）。它们看起来可能不同，但如果两栋房子在交通图中是邻居，那么它们在公园图中也应该是邻居。
LWR 确保了“邻居”（具有相似性的患者）在最终的摘要中依然保持邻居关系，即使地图本身看起来略有不同。这保留了患者之间的关系，而没有强迫数据成为自身的完美副本。

4. 为什么这很重要（研究结果）

作者在真实的癌症数据（来自 TCGA、CCMA 和 CCLE 等来源）上测试了这种方法，这些数据通常是不完整的。他们将 LWR 与其他顶尖方法进行了对比，发现：

更好的诊断能力： 它在分类癌症类型和预测肿瘤侵袭性方面表现得非常出色。
更好的生存预测： 与许多现有方法相比，它能更准确地预测患者的生存率。
没有“幻觉”： 因为它没有尝试去发明缺失的数据，所以它不会基于虚假信息犯错。
真实的生物学意义： 当他们基于这种新方法对患者进行分组时，这些组别与已知的真实生物学癌症亚型（如特定的基因突变）相吻合。这证明了该 AI 不仅仅是在寻找随机模式，而是在寻找真实的医学真相。

核心结论

该论文声称，在处理不完整的医疗数据时，我们不应该浪费时间试图用猜测来“填补空白”。相反，我们应该建立一个足够聪明的系统，能够利用我们确实拥有的碎片，正确地权衡它们，并将它们排列得让相似的患者保持在一起。**潜空间世界恢复（Latent World Recovery）**正是这样做的，它提供了一种更稳健、更可靠的方法，在无需承担因猜测缺失部分而产生错误的风险下，去理解复杂的生物数据。

技术摘要：面向多模态学习中缺失模态的潜世界恢复 (Latent World Recovery)

问题陈述

在现代生物科学（尤其是多组学分析）中，生物系统具有异质性的模态特征（例如：基因表达、DNA 甲基化、蛋白质丰度）。虽然像癌症基因组图谱 (TCGA) 这样的大规模资源提供了丰富的数据，但一个核心挑战依然存在：由于成本限制、检测失败或数据集成不完整，完整的模态集很少能覆盖每一个样本。

现有的处理这种“缺失模态”问题的方法通常分为两类，且各具局限性：

基于插补的方法 (Imputation-based methods)： 这些方法试图在下游分析之前合成缺失的模态。这可能会引入误差传播并掩盖模态特有的变异，因为强迫一个模态精确地复制另一个模态可能无法反映不同的生物学过程。
固定集或后期融合方法 (Fixed-set or late-fusion methods)： 前期融合要求输入是完整的；而后期融合方法通常仅在决策层面捕捉跨模态交互，未能学习到一个连贯的共享潜层组织结构。

本文认为，目标不应是重建所有缺失的模态，而是直接从观测到的模态中恢复一个有用的、统一的样本级表示，将每个可用模态视为对底层潜在生物状态的部分感知。

方法论：潜世界恢复 (Latent World Recovery, LWR)

作者提出了 潜世界恢复 (LWR)，这是一个旨在处理不完整多模态表示学习的基于变分自编码器 (VAE) 的框架。该框架基于三个核心原则运行：

具有共享潜空间的模态特定编码：
每个模态 $v$ 由一个模态特定的变分编码器 $q_{\phi_v}(z^{(v)}_i | x^{(v)}_i)$ 处理，将其映射到共享潜空间。编码器输出一个具有均值 $\mu^{(v)}_i$ 和方差 $\sigma^{(v)}_i$ 的高斯后验分布。使用重参数化技巧采样潜变量 $z^{(v)}_i$ 。
可用性感知潜层融合 (Availability-Aware Latent Fusion)：
LWR 并不使用零填充或掩码标记来插补缺失数据，而是通过聚合针对特定样本的观测到的模态嵌入来构建融合后的样本级嵌入 $\hat{z}_i$ 。
- 一个自适应注意力机制根据每个模态的潜层表示计算其权重 $s^{(v)}_i$ 。
- 这些权重通过对观测到的集合 $V_i$ 进行 Softmax 归一化： $\alpha^{(v)}_i = \frac{\exp(s^{(v)}_i)}{\sum_{u \in V_i} \exp(s^{(u)}_i)}$ 。
- 最终的嵌入是加权和： $\hat{z}_i = \sum_{v \in V_i} \alpha^{(v)}_i z^{(v)}_i$ 。
  该机制在训练和推理过程中应用完全一致，确保模型在部署时面临的相同不完整条件下进行优化。
基于邻域的潜层对齐 (Neighbor-Based Latent Alignment)：
为了在不对齐坐标点（这会抑制模态特有信号）的情况下实现模态对齐，LWR 引入了一个基于邻域的对齐目标。
- 对于每个观测到的模态 $v$ ，基于其后验均值 $\mu^{(v)}$ 的余弦相似度，在包含 $v$ 的小批量子集上计算一个邻域分布 $r^{(v)}_{ij}$ 。
- 在融合潜空间 $\hat{z}$ 上，针对相同的样本子集计算相应的分布 $\hat{r}^{(v)}_{ij}$ 。
- 该损失函数最小化模态特定分布（作为带有梯度停止标记的目标）与融合分布之间的 KL 散度。这保留了由单个模态在共享空间中诱导的局部样本邻域结构。

训练目标：
总损失结合了三个项：
$\mathcal{L} = \lambda_{rec}\mathcal{L}_{rec} + \lambda_{KL}\mathcal{L}_{KL} + \lambda_{neigh}\mathcal{L}_{neigh}$

$\mathcal{L}_{rec}$ ：仅应用于观测到的模态的重构损失 (MSE)。
$\mathcal{L}_{KL}$ ：仅应用于观测到的模态的变分正则化 (KL 散度)。
$\mathcal{L}_{neigh}$ ：基于邻域的对齐损失。

至关重要的是，LWR 将表示学习与任务特定预测分离。训练完成后，提取融合后的潜层表示 $\hat{z}_i$ ，并将其作为外部下游模型（例如用于分类的 XGBoost、用于生存分析的 Cox 模型）的输入。

核心贡献

范式转变： 作者将不完整多模态学习重新定义为“从部分观测中恢复潜状态”，将重点从合成缺失数据转向从可用数据中学习鲁棒的表示。
LWR 框架： 他们提出了一个结合了可用性感知注意力融合和基于邻域的潜层对齐的 VAE 架构。这避免了显式重构带来的误差传播以及坐标级对齐的僵化问题。
实证验证： 该框架在包括 TCGA、CCMA 和 CCLE 在内的真实世界不完整多组学基准测试中，通过分类、生存预测和重构任务进行了评估。

实验结果

作者将 LWR 与包括 MIND、IntegrAO、JASMINE 和 MSNE 在内的最先进基准模型进行了对比评估。

癌症表型分类： LWR 在 TCGA、CCMA 和 CCLE 数据集上的平均排名最高 (2.20)。它在多个 TCGA 队列（如 KIRC, BLCA, STAD）中优于基准模型，并在 CCMA 上实现了最高的准确率 (0.844 对比最佳基准的 0.793)。
生存预测： LWR 展示了极具竞争力的性能，在多个 TCGA 队列（BRCA, STAD, UCEC, COADREAD, LIHC）中实现了最佳 C-index，平均排名为 2.35，与 MIND 相当。
重构： LWR 在重构掩码组学值方面达到了最高的 Pearson 相关系数，表明其学习到的嵌入有效地保留了模态特有的信息。
消融研究：
- 对齐： 用朴素的成对坐标对齐取代基于邻域的对齐会导致性能显著下降，特别是在重构方面（相关系数接近于零），这证实了严格的坐标匹配是有害的。
- 融合： 虽然基于注意力的融合通常在分类任务中表现最好，但均值融合结合邻域对齐在生存预测方面表现略好，这表明动态特征选择与正则化之间存在权衡。
案例研究（聚类）： 在 TCGA 数据上对 LWR 嵌入进行无监督聚类，揭示了具有不同生存预后的患者亚群。在低级别胶质瘤 (LGG) 中，聚类结果与已知的分子亚型（IDH 突变型 vs 野生型）及其相关的预后完美对齐，验证了潜空间的生物学解释性。

意义与主张

本文声称，通过将表示学习过程与缺失数据的合成解耦，LWR 为不完整多模态学习提供了一种实用且鲁棒的方法。作者认为，他们的基于邻域的对齐策略提供了一种比坐标级约束更稳定的方式来保留跨样本关系结构，因为后者往往会对潜空间过度正则化。

结果表明，直接从观测到的模态中学习连贯的共享潜层组织，是处理生物科学下游任务的一种可行且有效的策略。该框架成功捕捉到了具有临床意义的患者异质性，这从生存分层和分子亚型对齐的案例研究中得到了证实。作者总结道，未来的工作应探索更具表达能力的、具备不确定性感知的融合机制，并将该框架扩展到更大、更多样化的生物医学数据集。