🤖 machine learning

LLM4EHR: Aligning Clinical Time Series with Medical Event Sequences via Large Language Models

本文介绍了 LLM4EHR，这是一种临床基础模型，通过利用领域自适应的大语言模型和正则化对比目标，将电子健康档案时间序列与医学事件序列进行对齐，从而增强了 ICU 环境下的结局预测能力，进而提升了在下游任务中的性能，并实现了对新患者队列的有效 k-shot 自适应。

原作者： Jingteng Li, Alexander Capstick, Louise Rigny, Iona Biggart, Neil J Sebire, Payam Barnaghi

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jingteng Li, Alexander Capstick, Louise Rigny, Iona Biggart, Neil J Sebire, Payam Barnaghi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，医院就像一座巨大且繁忙的图书馆，每一位患者的故事都用两种截然不同的语言书写着。一种语言是稳定、有节奏的鼓点：时间序列。这是像心率、血压和血氧水平这样连续不断的数据流，一秒钟接一秒地跳动，创造出患者状况平滑且流动的旋律。另一种语言则是零散、不规则的音符：医疗事件。这些是特定的、一次性的动作，比如医生开具某种药物、护士插入一根管子，或是开启一台机器。几十年来，试图预测患者预后的计算机科学家们一直在努力同时解读这两种语言。他们通常将稳定的鼓点和零散的音符视为两个独立的故事，从而忽略了两者交汇时产生的关键线索。这就是“临床机器学习”的核心问题：你如何教会计算机理解，在特定时刻给予的特定药物（一个事件）是如何改变心脏的节奏（时间序列），并以此来预测未来？

LLM4EHR 应运而生，它是一种全新的方法，充当了这两种语言的首席翻译官与指挥家。研究人员构建了一个系统，利用“大语言模型”（LLM）——一种以理解人类文本而闻名的 AI 类型——来阅读零散的医疗记录，并将其转化为丰富的语义摘要。你可以把这个 LLM 想象成一位睿智的图书管理员，能够瞬间将复杂的医疗医嘱总结成一句清晰的话。然后，该系统使用一种特殊的“对比”技术，迫使计算机去倾听患者生命体征那稳定的鼓点，并使其与此时此刻发生的事件摘要完美匹配。这就像是在训练一名音乐家，去演奏一段能与朗诵的诗歌完美同步的旋律，确保每一个音符都与词句的情感相契合。通过这种方式，AI 学会了对患者状况更深层、更连贯的理解，而不仅仅是孤立地记忆模式。

这篇题为 《LLM4EHR: 通过大语言模型实现临床时间序列与医疗事件序列的对齐》 的论文提出，通过在训练阶段迫使这两股数据流共同“起舞”，AI 能学到更好的患者健康表征。作者在重症监护室（ICU）的数据上进行了测试，具体使用了大规模的 MIMIC-IV 数据集和 Physionet2012 挑战赛数据。他们发现，这种通过“语义正则化对比目标”将时间序列与事件摘要进行对齐的新方法，始终优于现有方法。简单来说，该 AI 在预测关键结果方面表现得更好，例如患者是否会死亡、是否会发展出特定疾病（表型分析）、健康状况是否会突然恶化（失代偿），以及患者会在医院停留多久。

最令人兴奋的发现之一是，这种“音乐指挥家”式的方法具有极强的灵活性。论文证明了该 AI 学习到了可迁移的技能：它可以在一组患者身上进行学习，然后通过极少的示例（一种称为“k-shot adaptation”的技术）快速适应一组完全不同的新患者。这就像是教一名音乐家仅凭几个音符就能学会一首新歌，并能完美地演奏整部作品。研究人员还进行了“消融实验”，即通过拆解机器来观察哪些齿轮是必不可少的。他们发现，他们对齐数据的方式——即利用 LLM 对医学语言的理解来引导时间序列——正是其成功的秘诀。如果没有这种对齐，或者没有来自语言模型的特定“语义”引导，性能都会下降。

然而，论文也谨慎地指出，这并不是解决一切问题的万灵药。作者指出，虽然该模型在区分住院时间长短方面表现出色，但预测患者停留的确切天数仍然很困难，其准确度（以 R² 衡量）在所有测试模型中都保持在相对较低的水平。他们还提到，该系统目前依赖于 ICU 的数据，目前尚不清楚它在处理跨越多年、在不同医院间移动的患者时表现如何。此外，该系统需要大量的计算能力，尤其是因为它使用了大型语言模型，这对内存的要求非常高。作者建议，未来的工作可以研究如何提高这些模型的效率，或者将其应用于超越 ICU 的长期患者旅程中。

本质上，LLM4EHR 表明，医疗 AI 的未来不在于将数据视为孤立的事实，而在于将患者生命体征的连续故事与塑造其护理过程的特定、有意义的事件编织在一起。通过教计算机同时理解“发生了什么”（事件）与“何时发生”（时间序列）之间的关系，研究人员创造了一个更稳健、更准确且更具适应性的工具，以应对人类健康中混乱且复杂的现实。

技术摘要：LLM4EHR

问题陈述

电子健康记录（EHR）本质上是多模态的，包含两种截然不同的时间数据类型：EHR 事件（不规则采样、离散的临床交互，如处方或处置）和 EHR 时间序列 (TS)（常规收集、连续的生理测量值，如生命体征）。虽然近期的临床基础模型已转向使用大语言模型（LLM）来处理 EHR 事件序列，但现有方法往往未能充分探索 EHR 事件与 TS 观测值之间共享的时间结构。

目前的多种模态方法通常采用“静态”对齐，即将整个片段（或粗粒度的笔记）的嵌入与相应的 TS 嵌入进行对齐。这种方法忽略了特定事件与生理变化之间细粒度的、步长级别的相互依赖关系。此外，标准的对比学习目标（例如 InfoNCE）存在“类别冲突”问题，即语义相似的实例会被错误地视为负样本，从而在嵌入空间中被推开。本文认为，这些局限性导致临床基础模型的鲁棒性和适应性降低，进而影响其在死亡率预测和表型识别等下游任务中的表现。

方法论：LLM4EHR

作者提出了 LLM4EHR，这是一个多模态融合框架，旨在将 LLM 编码的 EHR 事件序列与专门的 EHR 时间序列编码器进行时间对齐。

1. 数据表示与聚合

EHR 事件： 离散事件（如用药医嘱、置管操作）被聚合到固定的时间窗口内（MIMIC-IV 中为 5 小时分箱），并使用固定模式转换为自然语言摘要。这些摘要使用领域适配的 LLM（具体为 BioClinical ModernBERT）进行嵌入。在预训练期间，LLM 是冻结的，并添加了一个可学习的投影层以保持稳定性。
EHR 时间序列： 多变量生理变量（如化验值、生命体征）在相同的时窗内通过统计特征（均值、最小值、最大值、标准差、计数）进行聚合。这些变量由一个可训练的基于 Transformer 的 TS 编码器处理，该编码器由 1D 卷积嵌入层和自回归注意力块组成。

2. 语义正则化对比目标

其核心创新在于一种预训练目标，该目标在每个时间步 $t$ 将 TS 嵌入 ( $v_t$ ) 与 LLM 生成的事件嵌入 ( $z_t$ ) 进行对齐。总损失函数 ( $\mathcal{L}_{total}$ ) 结合了对比对齐损失和重构损失：

改进的 InfoNCE ( $\mathcal{L}_{NCE}$ )： 通过将 $v_t$ 和 $z_t$ 拉近，同时将它们与同一片段内的其他时间步推开，来实现 $v_t$ 与 $z_t$ 的对齐。
语义正则化 ( $\mathcal{L}_{\omega}$ )： 为了缓解类别冲突，作者引入了一个源自 LLM 事件嵌入 ( $z_t$ ) 语义相似性的权重矩阵 $\omega$ 。如果两个时间步 $t$ 和 $t^*$ 具有相似的事件嵌入（高语义相似性），则调整对比损失，以防止相应的 TS 嵌入 ( $v_t$ 和 $v_{t^*}$ ) 被推开。这有效地利用了 LLM 学习到的语义知识来引导 TS 表示学习。
重构损失 ( $\mathcal{L}_{recon}$ )： 一个辅助的自回归重构任务确保 TS 编码器保留了足够的信息来重构输入的时间序列。

3. 训练与适配

该模型在 ICU 数据（MIMIC-IV）上使用组合目标进行预训练。对于下游任务，使用任务特定的线性头来适配 TS 编码器。作者证明，该模型可以通过 k-shot 适配部署到新队列中，即仅需少量有标签样本即可进行微调。

核心贡献

LLM4EHR 框架： 一种新型基础模型，通过时间与语义感知的对比预训练目标，共同建模 EHR 事件和 TS，超越了静态对齐，从而捕捉细粒度的动态时间特征。
语义正则化对比学习： 提出了一个 $\omega$ -正则化的 InfoNCE 目标，利用 LLM 衍生的语义相似性来减轻类别冲突，从而获得更一致且鲁棒的 TS 嵌入。
迁移性的实证验证： 证明了所学习的 TS 嵌入可以通过 k-shot 适配迁移到新数据集（Physionet2012），其表现优于监督学习基线和其他自监督方法。

结果

模型在 MIMIC-IV 和 Physionet2012 数据集上针对四个下游任务进行了评估：

表型识别： LLM4EHR 在所有表型组中均实现了最先进的性能，相比于次优基线，AUROC 提升了 2.7%，AUPRC 提升了 5.1%。值得注意的是，它在低流行率表型中表现出了显著的鲁棒性。
滚动预测（失代偿与住院时长 LoS）： 该模型在滚动失代偿预测方面达到了最佳性能（AUROC 0.876），显著优于消融后的基线模型。虽然在住院时长（LoS）预测方面的性能增益相对于某些基线较为微弱（这与该任务的难度一致），但 LLM4EHR 仍优于消融版本，证实了预训练目标的价值。
死亡率预测： LLM4EHR 在全量样本设置下达到了最高 AUROC（MIMIC-IV 为 0.870，Physionet2012 为 0.856）。在少样本设置下，它展示了卓越的适应能力，在 $k \ge 10$ 时优于其他模型，并且与使用静态对齐的模型相比，对数据偏移的敏感度较低。
消融实验：
- 去除语义正则化 ( $\mathcal{L}_{\omega}$ ) 会导致性能持续下降，证实了其在稳定嵌入方面的作用。
- 使用领域适配的 LLM（BioClinical ModernBERT）比使用通用 LLM 取得了显著更好的结果，凸显了领域特定语义知识的重要性。

意义与主张

论文声称 LLM4EHR 代表了构建更具泛化性和高性能临床基础模型迈出的一步。通过显式地将离散临床事件的时间结构与连续生理时间序列进行对齐，该模型学习到的表示既具有临床意义，又能在有限的有标签数据下适应新的患者队列。

作者强调，他们的方法解决了先前多模态工作中存在的“时间错配”（通常是将粗粒度笔记与细粒度 TS 对齐）以及标准对比学习中固有的“类别冲突”问题。结果表明，利用预训练 LLM 的语义知识来引导时间序列表示学习，是提高临床预测建模能力的有效且可行的方法。作者在结论中保持了谦逊，承认了在扩展到更大规模 LLM 方面的局限性，并指出未来需要在建模超越单次 ICU 入住时间的更长患者轨迹方面进行研究。