🤖 machine learning

HyMaTE: A Hybrid Mamba and Transformer Model for EHR Representation Learning

本文介绍了 HyMaTE，这是一种结合了 Mamba 状态空间模型的线性时间效率与 Transformer 通道级混合能力的创新混合模型，旨在有效解决电子健康记录（EHR）数据中面临的稀疏性、缺失值和长序列挑战，并在临床预测任务中展示了卓越的性能和可解释性。

原作者： Md Mozaharul Mottalib, Thao-Ly T. Phan, Rahmatollah Beheshti

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Md Mozaharul Mottalib, Thao-Ly T. Phan, Rahmatollah Beheshti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 HyMaTE 论文的解释，已将其转化为通俗易懂的语言并采用了创意类比。

核心问题：“图书馆” vs. “短跑健将”

想象一下，患者的电子健康记录（EHR）就像一座庞大且混乱的图书馆，包含了他们整个医疗史。这座图书馆里有成千上万本书（化验结果、医生笔记、生命体征），它们在不规则的时间被记录，而且很多页面是缺失或破损的。

为了预测患者接下来可能发生的情况（例如他们是否会再次病倒），我们需要一个计算机模型来阅读这座图书馆。然而，目前的模型有两个主要缺陷：

“超级阅读者”（Transformer）： 它们像是博学多才的学者，能够阅读图书馆里的每一本书，并理解它们之间的所有联系。但它们很慢。如果图书馆变得太大，它们就会感到不堪重负并耗尽时间（计算能力）。它们也难以一次性阅读完整个图书馆，因此往往不得不跳过开头或结尾。
“短跑健将”（Mamba）： 它们像是能在几秒钟内冲刺完整个图书馆而不会疲倦的快速奔跑者。它们处理长篇故事的效率极高。然而，它们有点“思维单一”。它们擅长按顺序阅读故事（时间维度），但不擅长注意到不同类型的书籍（例如心率如何与某次血液检查相关联）在同一时刻是如何相互作用的。

解决方案：HyMaTE（混合型图书管理员）

论文作者构建了 HyMaTE，这是一个全新的模型，它通过结合“超级阅读者”和“短跑健将”的最佳特质，扮演了一个完美的图书管理员角色。

将 HyMaTE 想象成一个两步走的阅读过程：

第一步：冲刺赛（Mamba）： 首先，模型使用“短跑健将”（Mamba）快速扫描患者漫长且混乱的历史记录。它抓取故事的大致脉络，并在不被繁琐细节拖累的情况下，高效地处理长时序数据。
第二步：深度挖掘（Transformer）： 一旦完成了故事扫描，模型就会切换到“超级阅读者”（Transformer）。它会停下来仔细观察特定的时刻。它会自问：“这个心率与此时此刻的血压读数有什么关系？”这一步确保它能理解不同医疗变量之间复杂的相互关系。

最后，它使用了一种特殊的**“融合注意力”（Fusion Attention）**机制。想象一下管弦乐团中的指挥家。短跑健将演奏了乐器，超级阅读者理解了音符。而指挥家（融合注意力）将它们融合在一起，创造出一场代表患者健康的完美交响乐。

它是如何学习的：“填空游戏”

在 HyMaTE 准备好为医生提供帮助之前，它必须经过学习。论文描述了一种聪明的训练方法：

游戏规则： 模型被给予了一段患者的历史记录，但其中许多数字被隐藏了（掩码处理）。
任务： 它必须根据故事的其他部分来猜测缺失的数字。
结果： 通过一遍又一遍地玩这个“填空游戏”，模型学会了理解人类健康的模式，而不需要人类为每一个答案进行标注。这至关重要，因为在现实生活中，我们往往无法为每位患者都拥有完美的、带标签的数据。

结果：赢得比赛

研究人员在三个不同的“图书馆”（数据集）上将 HyMaTE 与其他顶尖模型进行了对比测试：

PhysioNet 2012： 一个公开的 ICU 患者数据集。
MIMIC-IV： 来自一家大型医院的海量数据集。
儿科体重管理（Pediatric Weight Management）： 一个私有数据集。

最终结果： HyMaTE 胜出了。它在以下方面的预测表现更好：

患者是否会在医院死亡（死亡率）。
患者住院时长（Length of Stay）。
患者是否会再次入院（再入院率）。
儿童在使用药物后是否会减轻体重。

它击败了“超级阅读者”（Transformer），因为它不会被冗长的历史记录压垮；它也击败了“短跑健将”（Mamba），因为它理解了不同医疗检测之间复杂的关联。

“为什么”（可解释性）

HyMaTE 最酷的部分之一在于它不仅给出答案，还会解释为什么。

聚光灯： 由于有了“指挥家”（融合注意力）这一步，模型可以高亮显示患者时间轴中哪些时刻最为重要。
- 案例研究： 在一个案例中，模型预测一名 82 岁患者的高死亡风险。当研究人员查看“聚光灯”时，他们发现模型正强烈关注该患者在特定一天的血压读数。这与现实中医生所知的关键预警信号完全吻合。
计分板： 模型还可以对哪些医疗变量在整体上最为重要进行排名（如心率或血尿素氮），这些排名与既有的医学知识相符。

总结

HyMaTE 是一种新型 AI 工具，它阅读患者医疗历史的速度比旧有的“超级阅读者”更快，且对不同医疗检测之间复杂联系的理解比旧有的“短跑健将”更深。它通过猜测缺失数据来进行学习，在预测患者预后方面表现更优，并且能够向医生展示患者历史中的哪些部分导致了其预测结果。

技术摘要：HyMaTE —— 一种用于电子健康档案（EHR）表示学习的混合 Mamba 与 Transformer 模型

问题陈述

电子健康档案（EHR）是分析患者健康进展、记录包括诊断、操作和实验室结果在内的纵向历史的重要资源。然而，为 EHR 数据建模面临着显著的挑战，其本质具有复杂性：它由长序列、多变量序列组成，且通常具有稀疏性、不规则采样以及包含大量缺失值的特点。

现有的深度学习方法在此领域面临特定的局限性：

基于 Transformer 的模型： 虽然在捕捉长程时间依赖关系方面取得了成功，但它们面临着相对于输入序列长度的二次方计算复杂度（ $O(N^2)$ ）和内存需求。这限制了它们处理广泛患者病史（跨越数千个 token）的能力，而无需进行截断或量化，否则会降低准确性。此外，标准的 Transformer 通常优先考虑序列混合（sequence mixing）而非通道混合（channel mixing），这可能忽略了不同事件类型（变量）之间的相互作用。
状态空间模型 (SSMs) / Mamba： 这些模型提供了线性时间序列建模和处理长序列的高效性。然而，传统的 Mamba 架构主要侧重于序列混合，缺乏强大的通道混合机制，而对于变量间关系至关重要的多变量时间序列数据而言，这种机制是必不可少的。

方法论

作者提出了 HyMaTE（一种用于 EHR 表示学习的混合 Mamba 和 Transformer 模型），这是一种旨在合成 SSM 的线性效率与 Transformer 的上下文及通道混合优势的新型架构。

1. 输入表示

EHR 事件表示为三元组 $(t, f, v)$ ，由观测时间、特征/变量和观测值组成。这些三元组通过对特征（查找表）、连续值和时间（通过前馈网络得出）的嵌入进行求和，被嵌入到一个 $\tau$ 维向量中。

2. 模型架构

该架构遵循一个顺序处理流水线：

上下文注意力（Mamba 模块）： 嵌入的输入通过多个 Mamba 模块。这些模块利用离散化状态空间模型（SSM）来高效地过滤相关信息。SSM 单元通过隐式隐藏状态将输入序列映射到输出序列，并采用全局卷积核进行并行处理。该阶段负责高效编码长序列。
局部上下文提取（自注意力）： 在 Mamba 编码之后，应用自注意力层来提取序列内的局部上下文和即时依赖关系。
融合自注意力： Mamba 模块的输出被传递到融合自注意力模块。该层对每个上下文嵌入应用前馈网络（FFN），并使用 softmax 函数计算注意力权重 ( $\alpha_i$ )。最终的时间序列嵌入 ( $z_T$ ) 是上下文嵌入的加权和。
静态变量集成： 静态人口统计学变量通过带有两个隐藏层的 FFN 进行单独嵌入，以生成静态嵌入 ( $z_d$ )。
最终表示： 时间序列嵌入 ( $z_T$ ) 和静态嵌入 ( $z_d$ ) 被拼接在一起，形成最终的患者表示 ( $e_E$ )。

3. 训练策略

HyMaTE 采用半监督的两阶段训练方法：

自监督预训练： 模型在一个较大的数据集上通过掩码预测任务进行预训练。它学习根据观测到的历史预测未来的变量值，并利用掩码均方误差（MSE）损失来处理缺失值。这一阶段使模型能够从有限的标记数据中学习鲁棒的表示。
监督微调： 预训练模型通过连接特定任务的头部，在特定的下游临床预测任务（如死亡率、住院时长）上进行微调。

核心贡献

混合架构： HyMaTE 战略性地结合了用于高效线性时间序列编码的 Mamba 块，以及用于解决纯 SSM 在通道混合方面局限性的 Transformer 式注意力机制，同时也解决了纯 Transformer 的计算瓶颈。
融合机制： 引入的融合自注意力层允许将局部上下文（来自自注意力）和全局序列信息（来自 Mamba）合成到一个统一的表示中。
可解释性： 模型通过分析融合层的注意力权重以及最终预测密集层的系数，显式地引入了可解释性，从而提供了时间维度和全局特征重要性的见解。
半监督学习： 自监督预测预训练阶段的集成使得模型能够从稀缺的标记 EHR 数据集中学习高质量的表示，这是在医疗场景中的一个关键优势。

实验结果

HyMaTE 在三个不同的数据集上进行了评估：PhysioNet Challenge 2012（ICU 死亡率）、MIMIC-IV（死亡率、住院时长、再入院）以及一个私有的儿科体重管理数据集。

性能： HyMaTE 一致地优于基准模型，包括 SeFT、STraTS、EHR-Mamba 和 DuETT。
- 在 MIMIC-IV 死亡率预测上，HyMaTE 实现了 0.907 的 AUROC 和 0.648 的 AUPRC，在 AUROC 上超过了第二好的模型（EHR-Mamba）0.026。
- 在 PhysioNet 2012 上，它实现了 0.868 的 AUROC。
- 在儿科减重任务上，它实现了 0.752 的 AUROC，显著优于 EHR-Mamba (0.704)。
消融研究： 移除关键组件会导致性能下降：
- 移除输入嵌入导致性能显著下降，突显了三元组表示的重要性。
- 移除自注意力或注意力融合会导致相同的性能下降，证实了这两个组件对于有效特征融合的相互依赖性。
- 移除自监督预训练显著影响了性能，尤其是在儿科数据集上，验证了半监督方法的必要性。
- 移除 Mamba 块导致性能大幅下降，证实了线性时间序列处理的价值。
可扩展性： 该模型展示了处理长序列（高达 8,654 个观测值）的鲁棒性，即使在更长的序列长度下，性能下降也极小。

重要性与主张

论文声称，HyMaTE 通过有效地平衡计算效率与表示丰富度，为现实世界的医疗应用提供了一个可扩展且泛化能力强的解决方案。通过克服 Transformer 的二次方复杂度和 Mamba 的通道混合局限性，HyMaTE 提供了一种统一的 EHR 数据表示，既能捕捉长程依赖关系，又能捕捉细粒度的变量间关系。

作者强调，模型的可解释性——源自注意力权重和密集层系数——与已建立的临床发现相一致（例如，识别出 NIMAP 和心率是死亡率的关键因素），从而增强了透明度和潜在的临床实用性。这项工作将 HyMaTE 定位为 EHR 表示学习迈进的一步，能够处理纵向医疗数据的复杂性，同时保持处理广泛患者病史所需的高效性。