Automatic identification of diagnosis from hospital discharge letters via weakly supervised Natural Language Processing

本文提出了一种弱监督自然语言处理流水线，该流水线通过利用句子提取、领域特定语义嵌入和两级聚类来生成弱标签，从而自动识别意大利语医院出院信中的患者诊断，在显著减少人工标注需求的同时，实现了与全监督模型相当的性能。

要点

想象一座装满数百万封手写信件的巨大图书馆。这些不是情书或粉丝来信，而是意大利医生写的出院小结。每一封信都讲述了一个患病儿童的故事：他们被诊断出了什么疾病，以及接受了怎样的治疗。

研究人员想要找出所有关于特定疾病（例如细支气管炎，一种常见的婴儿肺部感染）的信件，以研究其流行程度。但人工阅读数百万封信件就像试图用消防栓喝水一样——既耗时又昂贵。

本论文介绍了一种巧妙的“半自动化”方法，可以在无需人类阅读每一封信的情况下对这些信件进行分类。以下是该系统的运作方式，通过简单的类比进行解释：

1. 问题所在：“大海捞针”的困境

通常，为了教会计算机寻找这些特定的信件，你需要雇佣专家阅读数千封信，并手动将它们标记为“细支气管炎”或“非细支气管炎”。这就是“金标准”（Gold Standard），但它极其缓慢且成本高昂。作者希望跳过昂贵的人工标记过程，同时仍能获得准确的结果。

2. 解决方案：三步走的“智能分类器”流水线

作者构建了一个流水线（一个分步处理的过程），其作用就像一位聪明的图书管理员。

第一步：“翻译官”（预训练）
首先，他们采用了一个强大的 AI 语言模型（一个理解文本的数字大脑），并让它接受了意大利医学术语的速成班。他们向其输入了数千份医学文档，使其理解“bronchiolite”在医学上的含义，以及医生可能会以不同的方式书写它。这就像是在要求翻译官阅读信件之前，先教他流利地使用“医生语言”。

第二步：“聚类派对”（弱监督标注）
系统并没有要求人类阅读每一封信，而是执行以下操作：

• 提取： 它扫描信件并提取出医生写下诊断结果的具体句子。
• 分组： 它根据含义（而非仅仅是拼写）将这些诊断句子进行归类。例如，它会将“轻度细支气管炎”、“急性细支气管炎”和“伴有发热的细支气管炎”归入同一个堆栈，因为 AI 理解它们是相关的。
• “关键词检查”： 这是巧妙之处。研究人员（在医生的帮助下）给系统提供了一个简单的“是”词表（如“bronchiolitis”）和“否”词表。系统会观察这些按含义分组的句子“堆栈”。如果一个堆栈中大多是“是”词，系统就会判定：“好的，这一堆信件很可能都是关于细支气管炎的。”
• 结果： 系统为数千封信件创建了“弱标签”（Weak Label）。它并非 100% 完美（因此称为“弱”），但足以作为一个良好的起点。这就像是先按颜色对一袋混合硬币进行分类，然后检查其中几堆以确认这一堆主要是分厘钱。

第三步：“期末考试”（训练分类器）
现在，系统已经拥有了一大堆“疑似细支气管炎”的信件和一堆“疑似非细支气管炎”的信件，它开始训练一个最终的 AI 模型。这个模型学习如何阅读整封信（而不只是诊断句）来预测该信件是否关于某种疾病。

3. 结果：效果如何？

研究人员在来自意大利的 33,176 封儿童信件上进行了测试。

• “金标准”（人类专家）： 如果由人类阅读每一封信，他们会得到一个完美的得分。
• “弱监督”AI： 在“弱”标签上训练的 AI 取得了非常接近人类专家的得分（在 F1 分数指标上达到了约 78% 的准确率）。
• 竞争对比：
  • 它击败了简单的“搜索并查找”方法（例如仅仅在文本中寻找“bronchiolitis”这个词），因为这类方法如果医生以复杂方式书写诊断，往往会漏掉目标。
  • 它的表现优于“零样本”（Zero-shot）大语言模型（一种尝试在没有训练的情况下进行猜测的高级 AI）。
  • 它的表现仅略逊于使用完美的人类标注数据进行训练的模型。

4. 大获全胜：节省时间

论文中最重要的论点是节省的时间。
要为这个数据集获得“金标准”标签，人类需要花费超过 1,500 小时（大约 75 个完整的工作周）来阅读并标记信件。
通过使用这种弱监督方法，他们避免了几乎所有的手动工作。他们只需要医生提供简单的“关键词列表”（这所花费的时间微乎其微）。

5. 本论文并未声称的内容

• 它并不声称取代医生： 该系统用于研究和数据分类，而非实时诊断个体患者。
• 它并不声称目前适用于所有疾病： 他们专门针对细支气管炎进行了测试，并在一个较小的支气管炎数据集上进行了测试。他们表示该方法可能适用于其他疾病，但尚未证明这一点。
• 它并不声称完美： 系统会犯错。有时它会漏掉一封信，因为医生没有在诊断部分写下特定的关键词，或者将其归入了稍微不同的疾病类别。然而，论文认为对于大规模研究而言，这种准确度水平是实现大规模时间节省的公平权衡。

总结类比

想象你有一个装满混杂乐高积木的大盒子。你想找到所有的红色积木。

• 旧方法： 一个人拿起每一个积木，观察它，然后把红色的放进桶里。（慢，且昂贵）。
• 新方法： 你把积木倒进一台机器，让它先按形状和大小进行分类。然后，你告诉机器：“如果一堆看起来有很多红积木，就把整堆都放进桶里。”你检查一些堆栈，以确保机器掌握了规则。
• 结果： 你很快就得到了一桶大部分是红色的积木。它不一定是 100% 纯净的（里面可能混入了一个粉色积木），但你用极短的时间得到了你的红积木，而且不需要雇人一个一个去分拣。

这篇论文表明，这种“智能分类”方法在处理意大利医院信件方面表现出色，为研究疾病提供了一种实用的方法，而无需让医护人员精疲力竭。

技术摘要

技术摘要：通过弱监督 NLP 实现住院出院小结中诊断结果的自动识别

问题陈述
从医院出院小结中识别患者诊断对于大规模队列选择和流行病学研究至关重要。然而，传统的监督式自然语言处理（NLP）方法需要对文档级标签进行大量的手动标注，这一过程耗时、成本高昂，且对于大规模文本数据集而言往往不切实际。在临床环境中，由于医疗文档的异质性、专业词汇、歧义缩写以及人工标注数据的稀缺性（特别是在像意大利语这样的低资源语言环境下），这一挑战被进一步放大。虽然现有的 NLP 工具针对英语进行了优化，但由于缺乏特定领域的语言资源和已标注语料库，其向意大利语的迁移能力有限。此外，现有的弱监督方法通常依赖于结构化的电子健康档案（EHR）变量（例如，诊断代码、药物记录）或跨多次就诊的聚合数据，而在急诊科入院等场景中，这些数据可能不完整或无法获取，此时出院小结是主要的诊断来源。

方法论
作者提出了一种三步走的弱监督 NLP 流水线，旨在无需文档级人工标注的情况下，自动从意大利语医院出院小结中识别诊断结果。该流水线仅依靠自由文本形式的临床文档运行。

1. 针对意大利语医学文档的 Transformer 预训练 (TPT)：
   为了解决缺乏领域特定语言模型的问题，作者使用欧洲临床病例语料库（E3C）对 Transformer 模型（具体为 UmBERTo、XLM-RoBERTa 和 RemBERT 的变体）进行额外的预训练。该语料库包含多语言医学文档（期刊文章、入学测试、患者手册、论文摘要）。非意大利语文档通过 Google 翻译 API 自动翻译为意大利语。该模型在聚合后的意大利语医学语料库上进行额外的掩码语言模型（MLM）预训练，以在后续步骤中使用前完成领域适配。

2. 半自动标注 (SAL)：
   此步骤通过基于聚类的方法为部分数据生成弱标签：

• 提取： 使用正则表达式从出院小结指定的诊断部分提取诊断字符串。
• 聚类： 提取的字符串经过归一化，并使用领域适配的 Transformer 编码器进行嵌入。应用了两层聚类程序：
  • 第一层： HDBSCAN 对高维嵌入（经 PCA 降维后）进行聚类，以将语义相似的诊断字符串分组。
  • 第二层： 每个簇通过提取代表性关键词进行总结。这些关键词摘要被重新嵌入并再次聚类，以合并语义相关的簇，从而细化分组。
• 映射到弱标签： 临床医生通过定义感兴趣的疾病的正向和负向关键词集来进行操作。如果关键词摘要满足这些定义，则将簇映射到疾病标签。分配到“正向”簇的文档获得弱正标签 (1)；分配到其他簇的文档获得弱负标签 (0)。未提取到字符串或未被聚类的文档被排除在弱监督训练集之外。

3. 弱监督分类 (WLC)：
   生成的弱监督数据集用于训练一个基于 Transformer 的二分类器。该模型由带有顶层线性分类层的领域适配编码器组成。模型通过最小化二元交叉熵损失来针对弱标签进行训练。输入是完整的出院小结（必要时截断为 512 个 token），这使得模型能够从整个叙述上下文中学习，而不仅仅局限于提取的诊断部分。

核心贡献

• 首次应用于意大利语出院小结： 这是首个直接针对意大利语医院出院小结进行诊断识别并采用弱监督方法的的研究。
• 领域适配预训练： 作者证明了在多语言医学语料库（翻译为意大利语）上进行额外预训练，对于提高低资源语言环境下的临床文本性能具有成效。
• 用于弱标签生成的两层聚类： 该流水线引入了一种稳健的方法，通过对诊断字符串进行聚类并利用关键词进行总结来生成弱标签，从而减少了直接在原始文本上进行关键词匹配所带来的噪声。
• 无需文档级标注的可扩展性： 该方法消除了对人工文档级标注的需求，仅需临床医生提供关键词定义，这比全量标注的工作量要小得多。

结果
该流水线在来自意大利威尼托大区的 Pedianet 网络的两个数据集上进行了评估：

1. 细支气管炎数据集： 33,176 份出院小结（2017–2020 年），包含 335 例人工标注的正例。
2. 支气管炎数据集： 3,188 份出院小结（2020–2025 年），包含 97 例人工标注的正例。

• 性能： 表现最好的弱监督模型 (WS-UmBERTo-TPT) 在细支气管炎数据集上实现了 77.68% 的 AUROC 和 73.13% 的 AUPRC。该性能超越了无监督规则基准和零样本大语言模型 (LLM) 方法，并接近使用金标准标签训练的全监督模型（后者达到了 77.57% 的 AUPRC）。
• 对比： 该弱监督方法优于使用 XPRESS 框架（直接将关键词应用于全文）的基准模型以及标准的基于规则的方法。领域适配预训练 (TPT) 在所有 Transformer 模型中一致地提升了性能。
• 鲁棒性： 模型对簇选择的变化表现出鲁棒性，并且在训练中金标准标签比例减少时表现出平滑的性能下降，表明其对标签噪声具有韧性。
• 效率： 与全监督方法相比，该方法在处理如此规模的数据集时，减少了超过 1,500 小时的人工标注需求。

意义与主张
本文主张，弱监督 NLP 方法为临床出院小结中的疾病识别提供了一个实用且可扩展的框架，特别是在人工标注难以实现的场景下。作者强调，虽然与全监督模型相比存在适度的性能差距（4–6% AUPRC），但对于旨在识别潜在相关患者群组而非追求完美个体分类的大规模队列选择而言，这种权衡是可以接受的。

研究强调，该流水线能有效地从出院小结的全文中学习，这使得在自动提取诊断字符串失败或诊断未在指定部分明确说明时，该方法具有优势。作者总结道，他们的方法为意大利语临床 NLP 提供了一种通用的解决方案，在降低人工标注负担的同时保持了竞争力的性能。作者也承认了局限性，包括单一标注者金标准的设定以及第二个验证数据集规模较小，建议未来的工作应包括双重标注以及在更多样化、多区域数据集上的验证。