📊 statistics

Contrastive Learning on Multimodal Analysis of Electronic Health Records

本文提出了一种具有理论依据的、保护隐私的多模态对比学习框架，该框架有效地整合了电子健康记录中的结构化代码与非结构化文本，从而在性能上超越了单模态方法并展示了临床实用性。

原作者： Tianxi Cai, Feiqing Huang, Ryumei Nakada, Linjun Zhang, Doudou Zhou

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Tianxi Cai, Feiqing Huang, Ryumei Nakada, Linjun Zhang, Doudou Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一个患者的健康故事，但这个故事同时用两种截然不同的语言书写。一种语言是结构化代码：像“类风湿性关节炎”或“甲氨蝶呤”这样简短、严格的标签，医生用它们进行计费和记录。另一种语言是非结构化笔记：医生写的那些杂乱、自由流动的段落，比如“患者自述晨僵且关节肿胀”。

长期以来，研究人员试图通过只看代码或只看笔记来阅读这些故事，但很少将两者结合起来。这就像是试图通过只看字幕或只听配乐来理解一部电影。有些人尝试将字幕和配乐粘在一起，变成一大堆混乱的东西，但这往往会混淆每种语言独特的节奏。

于是，CLAIME（用于集成多模态电子健康记录的对比学习算法）诞生了。把 CLAIME 想象成一个超级聪明的翻译官，它不仅仅是将两种语言粘在一起，它还在学习它们如何共同起舞。

核心理念：“同一患者”之舞

CLAIME 的核心秘密在于一个概念——对比学习（Contrastive Learning）。想象一下，你有一个装满了人（患者）的房间。每个人都有一个由代码和笔记组成的独特“健康指纹”。

CLAIME 在玩一场“寻找匹配”的游戏：

良性匹配（正样本对）： 它提取来自同一个人的代码和笔记，并说：“嘿，这两个属于同一个人！它们在描述同一个人的现实。”它将它们的数字表示拉近，就像磁铁吸在一起一样。
恶性匹配（负样本对）： 它提取 A 的代码和 B 的笔记，并说：“不对！它们不属于彼此。”它将它们推开。

通过进行数百万次的这种练习，CLAIME 学会了一张地图，使得相似的医学概念（如笔记中的“关节肿胀”与代码中的“类风袭性关节炎”）即使表面上看起来完全不同，也会在地图上紧挨在一起。

CLAIME 击败了什么（以及为什么）

论文明确反对了处理此类数据的两种常用方法，认为它们就像是用大锤去砸坚果：

“粘合”法（Concate）： 这是研究人员将代码和笔记合并成一个巨大的列表并进行标准分析的方法。论文指出这是一个坏主意，因为它忽略了代码和笔记具有不同的“噪声”（错误）。这就像试图将油和水混合并期望得到一杯顺滑的奶昔；结果是有偏差的，并且会错过微妙的联系。
“标准对比”法（CL）： 这是在其他领域（如图像与文本匹配）中常用的技术。论文认为，如果不进行特殊调整就直接将其应用于医疗数据也是行不通的。它会被医疗数据的生成方式所迷惑，最终学到的是“噪声”（记录中的错误）而非“信号”（真实的健康真相）。

在模拟实验中，作者创建了虚构的患者数据来测试他们的理论，结果显示“粘合”法和“标准”法无论看到多少数据，其错误率都维持在高位。然而，CLAIME 随着看到的数据增多而变得越来越精准，成功地忽略了噪声。

隐私超能力

这里是最有趣的部分：CLAIME 是一个隐私忍者。大多数 AI 模型需要查看每个患者的原始文件才能学习，这带来了巨大的隐私风险。然而，CLAIME 只需要汇总统计数据。

可以这样理解：与其要求阅读每个人的日记，CLAIME 只是询问在整个医院范围内，某些词汇出现的频率。这就像是通过观察记分牌来学习游戏的规则，而无需看到球员的脸。这意味着不同的医院可以联手构建一个更聪明的模型，而无需分享任何一个患者的私人数据。

我们有多确定？

作者对他们的数学逻辑非常有信心。他们不仅是在猜测，还建立了一个严密的理论框架，证明了在特定条件下 CLAIME 比其他方法更好。他们展示了该方法与一个被称为**奇异值分解（SVD）**的数学概念之间的联系，这是一种寻找混乱矩阵中最重要模式的高级方法。

他们通过两种方式进行了测试：

模拟实验： 他们创建了 100 个不同的虚构场景，涵盖了不同的数据量和噪声水平。在每一次测试中，CLAIME 都优于其他方法，尤其是在数据含有噪声（真实医疗数据总是如此）的情况下。
现实世界测试： 他们将 CLAIME 应用于来自 Mass General Brigham 的 53,716 名类风湿性关节炎患者的真实数据。他们要求模型寻找医学代码与临床笔记之间的联系。
- 结果： CLAIME 比其他方法更能发现“相关”概念（例如一种导致副作用的药物）。例如，与次优方法相比，它将识别“因果关系”的能力提高了约 3.3%；与 KPCA 方法相比，提高了 8%。有趣的是，在检测简单的“相似”对的任务中，KPCA 的表现最好，但 CLAIME 的真正实力在于揭示那些对临床推理至关重要的复杂且细微的关系。

总结

论文表明，通过将结构化代码和非结构化笔记视为两个合作伙伴进行舞蹈，而不是两堆独立的数据，我们可以描绘出更清晰的患者健康图景。CLAIME 是一个新工具，它学会了这场舞蹈，通过仅需汇总数据来尊重患者隐私，并已被证明在计算机模拟和现实世界医院数据中都比现有方法更准确。它不是解决一切问题的魔杖，但它是迈向理解隐藏在电子健康记录中复杂的、多模态故事的重要一步。

技术摘要：基于多模态电子健康记录对比学习的研究

问题陈述

电子健康记录（EHR）包含丰富的多模态数据，包括结构化临床代码（如诊断、药物、手术）和非结构化临床文本。虽然这些模态提供了患者健康的互补视图，但现有研究通常将其孤立对待，或使用简单的组合方法（如直接拼接）。这种方法忽视了模态之间的内在协同作用，也未能考虑到它们截然不同的统计形式和噪声结构。

目前的多种模态方法面临以下局限性：

缺乏理论理解： 虽然多模态对比学习在视觉-语言任务（如 CLIP）中取得了成功，但其在稀疏、离散的 EHR 数据上的理论基础仍有待深入探索。
隐私约束： 许多深度学习方法需要患者级数据，这引发了隐私担忧，并阻碍了跨机构的协作。
偏差与噪声： 忽视模态特异性的差异可能会掩盖特定信息、丢弃互补信号，并放大系统性偏差。现有方法往往无法区分真实的临床信号与特定数据采集过程（如计费代码与 NLP 提取的概念）中固有的噪声。

方法论

作者提出了 CLAIME（用于集成多模态电子健康记录的对比学习算法），该框架旨在为多模态 EHR 数据学习鲁棒且保护隐私的特征嵌入。

1. 生成模型

该方法基于噪声多模态对数线性生成模型（公式 2.1）。

潜在状态： 每个患者 $i$ 与一个潜在临床状态 $c_i \sim N(0, I_p)$ 相关联。
特征生成： 结构化代码（ $w^{(1)}$ ）和非结构化概念（ $w^{(2)}$ ，例如 CUI）根据 $c_i$ 条件性生成，但受到模态特异性噪声向量 $\epsilon^{(M)}_i$ 的影响。
核心假设： 虽然特征共享一个共同的潜在结构，但它们会被各自模态特有的噪声独立扭曲（例如，计费实践与 NLP 提取错误）。

2. CLAIME 算法

CLAIME 利用多模态对比损失函数来学习两种模态的嵌入 $V_1$ 和 $V_2$ 。

对比目标： 该算法将来自同一患者的代码-CUI 对视为正样本对，并将来自不同患者的对视为负样本对。
损失函数： 损失函数 $L_{CLAIME}$ 鼓励正样本对具有高相似度，同时通过正则化控制嵌入幅度以降低负样本对的相似度。
闭式解： 一个关键的理论洞察是，最小化对比损失等价于寻找经验点互信息（PMI）矩阵（ $\widehat{PMI}_{CLAIME}$ ）的秩受限近似。这使得算法可以通过奇异值分解（SVD）高效求解，而无需迭代梯度下降。
隐私保护： 该算法仅基于聚合共现统计数据（汇总级数据）运行，而非原始患者级记录，从而实现了安全的跨机构协作。

3. 理论分析

论文提供了严谨的理论保证，确立了 CLAIME 的一致性：

与 PMI 的联系： 该损失函数的解直接连接到人口层面 PMI 矩阵的 SVD。
收敛速率： 在关于患者数量 ( $n$ )、特征维度 ( $d$ ) 和潜在维度 ( $p$ ) 的特定假设下，作者证明了 $\widehat{PMI}_{CLAIME}$ 是真实跨模态 PMI 矩阵的渐近无偏估计量。
优于基准方法： 理论分析表明，基准方法（简单的拼接法 "Concate" 和基于拼接数据的标准对比学习 "CL"）存在不可消除的偏差和噪声污染。具体而言，在某些噪声协方差条件下，基准方法可能无法捕捉到真实的信号（收敛至噪声子空间），而 CLAIME 则能成功恢复核心表示。

核心贡献

新颖算法 (CLAIME)： 一种用于多模态 EHR 表示学习的隐私保护算法，仅需汇总级的共现数据。
生成模型： 一种新型潜在变量模型，显式考虑了模态特异性噪声和患者异质性，区别于以往的词向量模型。
理论框架： 首次建立了将医疗领域多模态对比学习与 PMI 矩阵 SVD 联系起来的理论分析，提供了收敛速率，并证明了跨模态方法相对于单模态或拼接方法的优越性。
实证验证： 通过广泛的模拟实验和现实应用，展示了其在噪声环境下的鲁棒性以及在捕捉复杂临床关系方面的卓越性能。

结果

模拟研究

作者在不同样本量、特征维度和信噪比（SNR）下，将 CLAIME 与基准方法（Concate, CL, KPCA）以及梯度下降变体进行了评估。

噪声鲁棒性： CLAIME 始终优于基准方法，特别是在噪声协方差矩阵与信号正交的低 SNR 设置下。基准方法往往无法恢复真实的嵌入子空间，而 CLAIME 保持了准确性。
可扩展性： 基于 SVD 的方法在计算开销显著低于梯度方法（CLAIME-GD）的同时，表现出了相当的性能，且不需要患者级数据。

现实世界应用（Mass General Brigham RA 队列）

该方法应用于包含 53,716 名类风湿关节炎（RA）患者的队列，整合了 3,477 个编码特征和 1,048 个 CUI。

关系检测： CLAIME 被用于评估其检测代码与 CUI 之间“相似”（Similar）和“相关”（Related，如因果、治疗）关系的能力。
性能表现： 虽然所有方法在“相似”对上表现良好，但 CLAIME 在“相关”对上的表现显著优于基准方法。值得注意的是，在检测因果关系方面，它比 KPCA 的 AUC 提升了约 8%。
案例研究： 使用 Kendall's tau 相关系数与 LLM 生成的相关性评分（GPT-3.5/4）进行对比，CLAIME 在特定概念（如区分相关的药物-疾病对）上展现出比拼接法和标准对比学习更高的临床语义对齐度，后者在某些概念上甚至显示出负相关。

重要性与主张

论文声称 CLAIME 填补了多模态 EHR 数据统计分析中的关键空白。通过超越简单的拼接和深层的“黑盒”模型，CLAIME 提供了：

可解释性： 该方法植根于具有明确统计属性的生成模型。
隐私性： 它支持多机构学习而无需共享敏感的患者级数据，仅依赖于聚合统计数据。
理论严谨性： 它首次为为什么多模态对比学习在稀疏、多噪声的医疗环境下优于单模态或朴素融合方法提供了理论依据。
临床实用性： 实证结果表明，所学习的表示能够捕捉细微且具有临床意义的关联（如因果关系），这是其他方法容易遗漏的，从而有望改善下游任务如患者画像和疾病预测。

作者指出，虽然目前的框架专注于两种模态，但该方法在概念上可以扩展到更多模态，尽管针对高阶交互的理论保证仍是未来研究中待解决的挑战。