🤖 machine learning

Improving Patient Subtyping on Longitudinal Data using Representations from Mamba-based Architecture

本文提出了一种基于 Mamba 的自监督模型，该模型从不规则的纵向电子健康记录数据中学习有效的表示，从而与现有的基准模型相比，显著改善了患者亚型分类和精准医学结果。

原作者： Md Mozaharul Mottalib, Rahmatollah Beheshti

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Md Mozaharul Mottalib, Rahmatollah Beheshti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：像图书管理员一样对患者进行分类

想象一下，医院就像一座巨大的图书馆，每一位患者都有一本记录着其病史的“书”。这些书非常凌乱。有些页面缺失了，有些是用不同的语言写的，而且条目在时间轴上分布得非常随机（比如一位患者在周一做了验血，三周后做了 X 光检查，半年后又做了常规检查）。

医生需要根据疾病进展的方式，将这些患者归入不同的“俱乐部”或亚型（subtypes）。这有助于他们实现精准治疗。然而，对于计算机来说，对这些凌乱且不规则的“书”进行分类是非常困难的。

问题所在：“二次方”瓶颈

论文解释说，之前的计算机模型（称为 Transformers）就像是试图通过对比每一页与每一页之间的关系来阅读每本书的图书管理员。

类比： 如果你有 10 本书，互相比较起来很容易。但如果你有 1,000 本书，图书管理员就必须进行一百万次比较。如果你有 10,000 本书，他们就必须进行一亿次比较。这就是所谓的二次方复杂度 ( $O(L^2)$ )。
结果： 为了避免计算机崩溃，这些旧模型不得不丢弃长期的患者病史，或者将它们切成细小的、僵化的块（就像强行把一个长篇故事压缩成一个 50 字的摘要）。这意味着它们会错过疾病实际发展过程中那些微妙的长期模式。

解决方案：“Mamba”列车

作者构建了一个名为 Triplet-Mamba 的新模型。他们没有使用对比每一页与每一页关系的图书管理员，而是使用了 Mamba 架构。

类比： 把 Mamba 想象成一列穿梭在患者病史中的高速列车。它不会停下来对比每一个站点与其他站点的关系。相反，它线性地移动（一步一个脚印），并在移动过程中记住重要的上下文信息。这就是线性复杂度 ( $O(L)$ )。
为什么重要： 它可以处理患者的整个生命史（即使跨度数年），而不会导致计算机内存耗尽。它既快速又高效。

如何处理凌乱的数据：“三元组（Triplet）”系统

真实的医疗数据是不规则的。患者可能在下午 2:00 测量了体温，然后在第二天下午 4:30 做了一次血液检查。旧模型通常会将这些数据强行放入整齐的网格中（类似于电子表格），但这会丢失精确的时间信息。

Triplet-Mamba 将每一条数据视为一个三元组（Triplet）：

时间： 事情发生的时刻。
特征： 它是什么（例如：“血压”）。
数值： 数值是多少（例如：“120”）。

类比： 它不是将一本凌乱的日记强行塞进日历，而是按照日记原本的写法来阅读：“周二，我感到头晕（时间：周二，特征：头晕，数值：高）”。这保留了患者生活的精确且凌乱的真实情况。

训练过程：无需老师的学习

论文描述了一种**自监督（Self-Supervised）**方法。

类比： 想象一下，你通过让学生读一本缺了最后一页的书，并让他们猜猜接下来会发生什么，来教他们理解一个故事。他们并不是由老师告诉正确答案，而是通过尝试预测未来，从而学习故事的结构。
在论文中： 模型观察患者过去的记录，并尝试预测他们未来的实验室检测结果。通过进行数百万次的这种尝试，它学习到了疾病进展的深度内部图谱。它学习的是疾病的“形状”，而不仅仅是记忆标签。

结果：更好的分组

研究人员在真实世界的数据（包括 ICU 患者和有体重管理问题的儿童）上测试了这种新模型，并将其与现有的最佳模型（如 STraTS 和 DuETT）进行了对比。

更好的“俱乐部”： 当他们利用模型的内部图谱进行分组时，各组之间的界限更加紧密且清晰。
- 指标： 他们使用了一个名为**轮廓系数（Silhouette Score）**的得分。你可以把它理解为“分组质量”得分。Triplet-Mally 获得了最高的得分，这意味着每个组内的患者非常相似，而与其他组的患者则有显著差异。
更好的预测： 与竞争对手相比，该模型在预测结果（如死亡率或体重减轻）方面也略胜一筹。
稳定性： 该模型发现的分组是非常稳定的。如果你给模型稍微不同的数据，它仍然能找到相同的组。这表明这些组是真实的模式，而非随机噪声。

核心总结

论文声称，通过从“二次方”模型（处理长数据时会变慢且变得混乱）转向“线性”Mamba 模型，并通过将数据视为灵活的三元组而非僵化的网格，他们创建了一个能更好地理解长期、凌乱患者病史的系统。这带来了更准确的分组方式，而分组正是迈向个性化医疗的第一步。

该论文并未声称：

它并未声称这目前正在医院中用于治疗患者。
它并未声称该模型目前可以阅读医学文本（如医生笔记）或查看 X 光片（它目前专注于数字和时间戳）。
它并未承诺这会治愈疾病，仅表示它改进了研究人员使用的分组和预测工具。

技术摘要：利用基于 Mamba 架构的表示学习改进纵向数据的患者亚型分类

问题定义
有效的患者亚型分类（将具有共同疾病进展路径的患者进行分组）对于精准医学至关重要，但由于电子健康记录（EHR）数据的固有特性，这一任务仍然具有挑战性。临床记录具有缺失性、极端稀疏性和采样间隔不规则等特征。虽然基于 Transformer 的模型在临床预测方面取得了成功，但其二次方计算复杂度（ $O(L^2)$ ）为处理长患者病史造成了瓶颈。这种限制迫使研究人员不得不截断有价值的数据，或采用计算成本极高的离散化方法（例如分箱法），而这可能会掩盖对识别稳健临床表型至关重要的患者状态微小转变。

方法论：Triplet-Mamba
为了解决这些挑战，作者提出了 Triplet-Mamba，这是一种旨在进行纵向表示学习的自监督架构。该模型从传统的 Transformer 骨干网络转向使用选择性状态空间模型（SSM）的 Mamba 架构。这种转变实现了线性时间复杂度（ $O(L)$ ），使得模型能够在不超出内存限制的情况下处理广泛的患者轨迹。

该方法论的核心组件包括：

三元组输入表示（Triplet Input Representation）： 与以往通过离散化时间的方法不同，Triplet-Mamba 原生处理不规则采样。它将每次观测视为一个三元组 $(t, f, v)$ ，分别代表时间、特征和数值。这些元素通过**初始三元组嵌入（Initial Triplet Embedding）**模块映射到潜在空间，该模块结合了通过前馈网络（FFN）学习的变量、连续数值和连续时间的嵌入。
上下文编码（Mamba 模块）： 初始嵌入通过由堆叠 Mamba 块组成的**上下文三元组嵌入（Contextual Triplet Embedding）**模块。这些模块利用均方根归一化（RMS normalization）、线性投影和 SSM 来过滤相关信息，充当一种高效的连续时间滤波器，适用于非均匀采样率。
融合自注意力（Fusion Self-Attention）： 融合自注意力模块聚合来自 Mamba 块的上下文嵌入，以生成固定长度的时间序列表示。该表示与静态人口统计学嵌入进行拼接，形成最终的患者表示。
训练策略： 模型采用两阶段训练方法：
- 自监督预训练： 模型通过在更大规模数据集上的预测任务学习表示，即通过掩码均方误差（MSE）损失来预测被掩码的未来值。这使得模型能够学习捕捉真实疾病进展的结构化潜在空间，而不完全依赖于特定任务的标签。
- 微调： 学习到的表示通过带有 Sigmoid 激活函数的全连接层和交叉熵损失，被适配用于下游任务（二分类或亚型分类）。

主要贡献
论文概述了三个主要贡献：

新颖架构： 引入了 Triplet-Mamba，它利用 Mamba 的高效性来捕捉超过 Transformer 模型上下文限制的长程医疗动态。
专门的输入表示： 设计了一种嵌入方案，通过直接嵌入连续时间戳和测量值来保留细粒度的时间信息，避免了与离散化相关的信息丢失。
亚型分类流水线： 一个完整的流水线，利用自监督预测来学习患者时间序列表示，随后使用标准的聚类技术（K-means、谱聚类、GMM）将其分类为有意义的亚型。

实验结果
作者在三个数据集上评估了 Triplet-Mamba：公开数据集 PhysioNet 2012（死亡率预测）、MIMIC-IV（死亡率预测）以及一个私有的儿科体重管理数据集。

预测性能： Triplet-Mamba 在二分类任务中达到了最先进或具有竞争力的结果。它在 MIMIC-IV 和儿科数据集上优于基准模型（STraTS、EHR-Mamba、DuETT），在 MIMIC-IV 上 AUROC 提升了 1.7%，在儿科减重任务上提升了 2.8%。在 PhysioNet 2012 上，其表现与最佳基准模型（DuETT）相当。
亚型质量： 在无监督聚类任务中，Triplet-Mamba 学习到的表示在所有数据集和聚类方法中一致地产生了更高的 轮廓系数（Silhouette scores），优于基准模型。对于以肥胖等级作为真实标签的儿科数据集，Triplet-Mamba 获得了最高的 调整兰德指数（ARI），表明其与临床分类的高度一致性。
稳定性： Bootstrap 稳定性分析表明，由 Triplet-Mamba 发现的亚型具有高度一致性（平均 Jaccard 指数为 0.814），显著优于基准模型，并超过了稳定临床表型化的阈值。
消融实验： 移除三元组嵌入、融合注意力层或自监督预训练阶段会导致性能持续下降，证实了这些组件之间的协同作用对于模型的成功至关重要。

意义与主张
作者声称，Triplet-Mamba 证明了有效的患者亚型分类依赖于学习能够与纵向 EHR 数据结构相匹配的、可扩展且具有时间表达能力的表示。通过优先考虑线性时间序列模型和自监督目标，本研究表明，可以在不牺牲计算可行性或临床保真度的前提下，对长且不规则的患者轨迹进行建模。

这项工作强调，受原则性事件级编码和自监督预测支持的稳健表示学习，能够产生实现更连贯且更具临床意义的患者亚型的潜在空间。作者指出，虽然目前的实现侧重于实验室检查结果和生命体征，但该架构旨在设计为未来可以扩展到包含手术、诊断和其他模态。