Automatic Cardiac Risk Management Classification using large-context Electronic Patients Health Records

该研究提出了一种基于大型上下文电子健康记录的自动心血管风险管理分类框架，通过对比传统机器学习、专用深度学习架构及生成式大语言模型，证实了定制 Transformer 模型在捕捉医疗文本长程依赖方面表现最优，为老年心血管风险分层提供了高效的自动化替代方案。

要点

这篇论文讲述了一个关于如何利用人工智能（AI）自动识别老年人是否需要接受心血管风险管理的故事。

想象一下，医院里有一位非常忙碌的“老医生”（护士），他需要每天翻阅成千上万份厚厚的、手写或打印的病历本（电子健康记录，EHR）。他的任务是判断哪些老人心脏风险高，需要进入“心脏保护计划”（CVRM）。

1. 现在的痛点：人工筛选像“大海捞针”

以前，这位“老医生”主要靠看病历上的行政代码（比如预约类型）来筛选。这就像是在图书馆里，只根据书的封面颜色来决定哪本书值得读，而完全忽略了书里的内容。

• 问题：这种方法很粗糙。代码可能会变，而且护士手动输入容易出错。更重要的是，它忽略了老人复杂的身体状况（比如同时有糖尿病、高血压、吃很多药等）。
• 后果：很多真正需要帮助的人被漏掉了，或者不需要帮助的人被误判了。

2. 我们的新方案：给 AI 装上一副“超级眼镜”

研究团队开发了一个自动化的 AI 系统，让它直接去“阅读”那些复杂的、非结构化的病历文字（就像让 AI 去读整本小说，而不是只看目录）。

他们用了三种不同的“阅读策略”来测试谁最厉害：

1. 老派学霸（传统机器学习）：像是一个只会背关键词的学生，看到“高血压”就标记，看到“心脏病”就标记。
2. 通用天才（大语言模型 LLM）：像是一个读过全世界所有书的博学家（比如 GPT-4），但它是“零样本”学习，意味着它没专门学过这个医院的规矩，只能靠猜。
3. 定制侦探（自定义的层级 Transformer）：这是团队自己设计的 AI。它像是一个专门训练过的侦探，不仅识字，还特别擅长理清长故事里的因果关系。

3. 核心创新：层级注意力机制（Hierarchical Attention）

这是论文最精彩的部分。老年人的病历通常很长，充满了各种细节。

• 普通 AI 的困境：就像让你读一本 8000 页的长篇小说，读到第 7999 页时，你可能已经忘了第 1 页主角叫什么名字了。普通 AI 处理长文本时，容易“记性不好”，抓不住重点。
• 我们的“层级侦探”：它使用了一种**“分层阅读法”**。
  • 它先读每一段（比如今天的就诊记录），提取重点。
  • 然后再把这些段落的重点汇总，像拼图一样拼成完整的故事。
  • 它特别擅长**“抓长距离的依赖”**：比如，它能把“十年前的一次心脏病发作”和“今天开的药”联系起来，判断出风险。

4. 实验结果：谁赢了？

团队用 3482 位老人的真实数据进行了测试：

• 通用大模型（LLM）：表现最差。虽然它很聪明，但因为没专门学过这个医院的具体规则，加上语言障碍（病历是荷兰语，它主要懂英语），它经常“瞎猜”，准确率很低。
• 传统方法：表现不错，但不够灵活。
• 定制“层级侦探”（H-Transformer）：大获全胜！
  • 它不仅能读懂文字，还能结合老人的身高体重和用药清单（就像侦探不仅看证词，还看物证）。
  • 它的准确率最高，能最精准地把真正高风险的老人挑出来。

5. 为什么不用更强大的通用大模型？

你可能会问：“既然 GPT-4 那么强，为什么不用它？”

• 隐私与成本：医院的病历是绝密的，不能上传到公共云端。要在医院内部运行巨大的通用大模型，需要超级计算机，太贵且太慢。
• 专用更优：团队设计的这个“定制侦探”虽然个头小，但专攻心血管风险，训练快、省资源，而且完全在本地运行，既安全又高效。

总结

这项研究就像是为医院配备了一位不知疲倦、记忆力超群且严守秘密的“智能助手”。
它不再依赖容易出错的行政代码，而是直接阅读和理解复杂的病历故事，自动识别出那些最需要心脏保护的高风险老人。这不仅减轻了医护人员的工作负担，更重要的是，它能挽救生命，让医疗资源更精准地流向最需要的人。

一句话概括：用专门设计的 AI“侦探”代替人工“翻书”，通过深度阅读长病历，精准揪出心脏风险高的老人，比通用的“天才”更靠谱、更安全。

技术摘要

论文技术总结：基于大上下文电子健康记录的自动心脏风险分类管理

1. 研究背景与问题定义 (Problem)

核心挑战：
在老年心血管风险管理（CVRM）中，传统的依赖人工行政编码（如预约代码）来识别高危患者的方法存在显著局限性。这些方法往往无法准确反映患者的生理参数和复杂的临床病史，且容易因人工操作导致选择错误。此外，临床指南虽存在，但在日常实践中执行不一致，且难以应对不断更新的证据。

研究目标：
利用学习医疗系统（Learning Healthcare System, LHS）框架，通过自动化处理非结构化电子健康记录（EHRs），实现对老年患者心血管风险分层的自动分类。具体目标是开发一种自动化策略，评估患者是否符合 CVRM 项目的准入资格，重点在于整合临床病史数据，以替代或辅助现有的人工编码流程。

数据特点：

• 数据来源：荷兰乌得勒支大学医学中心（UMCU）的老年门诊 EHR 数据库。
• 样本量：3,482 名患者。
• 数据构成：包含非结构化文本（咨询报告、转诊信、出院记录等）、结构化数据（药物记录、人体测量数据如年龄/性别）。
• 任务类型：二分类问题（是否符合 CVRM 准入资格：Class 0 不符合 vs Class 1 符合）。
• 数据不平衡：Class 0 占 80.61%，Class 1 占 19.39%。

2. 方法论 (Methodology)

本研究提出了一套完整的自动化分类框架，涵盖了数据预处理、多模态融合策略以及多种模型架构的对比评估。

2.1 数据预处理与特征工程

• 非结构化文本：提取咨询报告（Consult texts），包含主诉、病史、认知评估等。
• 药物处理：将原始药物名称映射到世界卫生组织的解剖学治疗学及化学分类系统（ATC），提取描述性文本，并使用 BioLORD-2023（基于 UMLS 本体预训练的 Sentence-Transformer）将其转化为 768 维的语义向量嵌入。
• 人体测量数据：主要使用年龄和性别（BMI 等因数据缺失或不一致被排除）。
• 输入长度：支持长达 8192 个 Token 的长上下文序列，以容纳完整的纵向临床叙事。

2.2 建模策略

研究对比了三种主要的建模范式，并采用了两种输入策略：

1. 单模态（文本仅）：仅使用咨询文本。
2. 多模态（晚期融合 Late Fusion）：将文本编码特征与结构化数据（药物嵌入 + 人体测量数据）在分类头之前进行拼接。

对比的模型架构：

1. 传统机器学习基线：
   • 分层 Dummy Classifier（随机猜测基线）。
   • LinearSVC：基于 TF-IDF 特征向量的线性支持向量机。
2. 深度学习架构：
   • 自定义 1D ResNet：作为卷积神经网络的基线，用于评估卷积方法对序列文本的处理能力。
   • 自定义分层 Transformer (Hierarchical Transformer)：
     • 核心创新：专为长上下文设计的 Encoder-only Transformer。
     • 机制：采用分层注意力机制 (Hierarchical Attention)，将输入填充为 2 的幂次，优先处理局部依赖，再处理长距离依赖，以平衡计算效率与内存复杂度。
     • 位置编码：使用旋转位置嵌入 (RoPE)。
     • 聚合策略：对比了两种策略：
       • CLS Token 池化：在序列前添加可学习的 [CLS] 标记，仅对该标记进行池化。
       • 全局平均池化 (Global Average Pooling)：对所有输出 Token 取平均。
3. 通用大语言模型 (Zero-shot LLMs)：
   • 使用 GPT-4o, GPT-4o-mini, GPT-4.1 等模型。
   • 提示工程 (Prompting)：采用两步法（荷兰语翻译 -> 基于指南的标签提取），并在系统提示中注入 CVRM 指南的摘要（由 GPT 5.2 生成）。
   • 隐私保护：调用 API 前使用 DEDUCE 工具对患者数据进行去标识化。

2.3 训练与优化

• 优化器：AMSGrad。
• 验证策略：分层 5 折交叉验证（Stratified 5-fold CV），以应对类别不平衡。
• 评估指标：F1 分数、精确率 (Precision)、召回率 (Recall)、马修斯相关系数 (MCC)。

3. 关键贡献 (Key Contributions)

1. 数据构建与标准化：成功从 UMCU 复杂的 EHR 系统中提取并预处理了高度非结构化的纵向临床数据，将其转化为适合深度学习的结构化数据集，特别是将药物数据转化为语义嵌入。
2. 专用架构设计：提出了一种针对长上下文医疗文本优化的自定义分层 Transformer 架构。该架构通过分层注意力机制有效捕捉了老年患者复杂的共病和长期依赖关系。
3. 多模态融合验证：系统评估了“文本 + 结构化数据”的晚期融合策略，证明了结合药物语义嵌入和人口统计学数据能进一步提升模型性能。
4. 基准对比分析：在真实临床场景下，全面对比了传统机器学习、专用深度学习模型与通用零样本 LLM 的表现，揭示了通用 LLM 在缺乏领域微调时的局限性。

4. 实验结果 (Results)

4.1 性能对比

• 最佳模型：自定义分层 Transformer (H-Transformer) 在所有设置下均表现最佳。
  • 文本仅设置：使用 CLS Token 池化的变体达到了 92.48% 的 F1 分数 和 0.758 的 MCC。
  • 晚期融合设置：结合结构化数据后，F1 分数保持在 91.02% - 92.48% 之间，MCC 在 0.730 - 0.758 之间。
• 传统基线：LinearSVC 表现强劲（F1 ~86%），证明了在数据有限场景下传统方法的鲁棒性，但略逊于 Transformer。
• ResNet：表现中等（F1 ~78-85%），表明纯卷积架构在处理长序列医疗文本时不如注意力机制有效。
• 零样本 LLMs：表现最差（F1 ~33-35%，MCC ~0.07-0.14）。尽管召回率较高，但精确率极低，导致 F1 分数低下。这表明在没有领域微调（Fine-tuning）的情况下，通用 LLM 难以准确理解复杂的临床语境和荷兰语指南。

4.2 关键发现

• 分层注意力机制的重要性：分层 Transformer 能够捕捉长距离依赖，这对于处理包含多重共病和长期用药史的老年患者记录至关重要。
• 池化策略：CLS Token 池化略优于全局平均池化，表明 [CLS] 标记能更好地聚合全局分类信息。
• 数据隐私与部署：通用 LLM 需要外部 API 调用，存在隐私风险且计算成本高；而自定义 Transformer 模型轻量级，适合在医院本地（On-premise）部署，符合严格的数据隐私法规。

5. 意义与展望 (Significance)

1. 自动化与效率：该研究提供了一种替代人工行政编码的自动化解决方案，能够显著减少人为错误，提高心血管风险分层的准确性和效率。
2. 学习医疗系统 (LHS) 的落地：展示了如何利用日常产生的 EHR 数据构建闭环的学习系统，实现从数据到临床决策支持的实时转化。
3. 隐私合规的 AI 部署：证明了在严格的数据隐私限制下（如欧盟 GDPR），开发专用的、轻量级的编码器架构比依赖庞大的通用生成式模型更具可行性和实用性。
4. 未来方向：虽然零样本 LLM 表现不佳，但未来研究可探索在本地安全环境中对领域特定的临床 LLM 进行微调，以结合生成式模型的推理能力与专用模型的高效性。

总结：本文通过构建自定义的分层 Transformer 模型，成功实现了对非结构化 EHR 数据的自动化心血管风险分类，其性能显著优于传统方法和零样本 LLM，为老年心血管疾病的精准预防和风险管理提供了强有力的技术支撑。