Evaluation and LLM-Guided Learning of ICD Coding Rationales

该论文通过构建基于 MIMIC-IV 和 ICD-10 的多粒度标注数据集，系统评估了 ICD 编码中不同解释性依据（实体链接、LLM 生成及注意力分数）的忠实度与合理性，并进一步利用 LLM 生成的合理性依据作为弱监督信号，显著提升了模型生成解释的说服力。

要点

这篇论文就像是在给医院的“病历翻译官”（AI 系统）做一场**“透明度体检”，并教它如何更好地“解释自己的工作”**。

为了让你更容易理解，我们可以把整个故事想象成：一位老练的医生（AI 模型）在诊断病人，但他总是只给出一张写着“确诊：糖尿病”的纸条，却不告诉你是因为看到了什么症状才这么判断的。

以下是这篇论文的核心内容，用大白话和比喻来讲：

1. 背景：为什么我们需要“解释”？

• 现状：现在的 AI 能把病人的病历（一堆乱糟糟的文字）自动转换成标准的疾病代码（ICD 代码），就像把方言翻译成普通话。这能帮医院省钱、省时间。
• 问题：但是，AI 像个“黑盒子”。它告诉你“是糖尿病”，却不说“为什么”。医生和病人会想：“你是怎么看出来的？是不是看错了？”如果 AI 不能解释，大家就不敢信任它。
• 过去的尝试：以前的方法就像让 AI 在病历上**“高亮”**几个词（比如把“血糖高”标红），告诉医生“我是看这个词才判断的”。但研究发现，这种“高亮”有时候是瞎蒙的，或者根本不够有说服力。而且，以前用来测试这些解释好坏的“题库”（数据集）太老了，用的是过时的编码系统。

2. 核心工作：我们做了什么？

这篇论文主要做了三件大事：

第一件事：造了一个新的“标准答案库” (RD-IV-10)

• 比喻：以前用来考试的标准答案（MDACE 数据集）是几十年前的旧教材，而且答案很简略（比如只标了一个词）。
• 创新：作者们找来了真正的医学专家，基于最新的病历数据（MIMIC-IV），重新标注了一份**“超级详细的答案库”**。
• 特点：这份新答案不仅标出了关键词，还标出了整个句子甚至段落。比如，不仅标出“糖尿病”，还标出“病人长期服用胰岛素”、“家属有糖尿病史”等所有支持诊断的理由。这就像从只给一个单词的提示，变成了给了一篇完整的推理文章。

第二件事：给三种“解释方式”做了一场大比拼

作者找来了三种不同的“解释员”来比赛，看谁的解释最靠谱：

1. 机器高亮法（Attention）：AI 自己觉得重要的词就标出来。
   • 结果：就像让一个心不在焉的学生划重点，经常划错，医生看了直摇头（可信度低）。
2. 实体链接法（Entity Linking）：像查字典一样，把病历里的词直接对应到疾病代码。
   • 结果：比第一种好点，但太死板，只能找到直接提到的词，找不到隐含的意思。
3. 大语言模型法（LLM Generated）：请一个超级聪明的 AI（像 Gemini 2-Flash）来读病历，然后像人一样写出：“因为病人提到了 X 和 Y，所以判断是 Z。”
   • 结果：大获全胜！ 这种解释最像人写的，医生看了觉得“嗯，这逻辑通顺，有道理”。

第三件事：用“聪明 AI"教“笨 AI" (LLM-Guided Learning)

• 痛点：虽然“聪明 AI"（LLM）能写出好解释，但它太贵、太慢，不能直接用在医院里。我们需要训练一个“学生 AI"（普通的编码模型），让它也能写出好解释。
• 方法：
  • 远程辅导：让“聪明 AI"先写出好解释，然后把这些解释当作“标准答案”（虽然没经过人亲手写，但质量很高），去训练“学生 AI"。
  • 少样本提示（Few-shot）：就像教学生做题时，先给他看几个**“人类专家写的完美范例”**，再让他去写。
• 效果：经过这种“辅导”和“看范例”的训练，“学生 AI"不仅编码更准了，而且它生成的解释也更像人话了，医生更愿意相信它。

3. 核心发现与结论

• 信任的关键：AI 生成的解释，不能只看它“是不是模型自己算出来的”（忠实度），更要看“人觉得它有没有道理”（合理性）。
• 大模型是神器：大语言模型（LLM）在生成解释方面表现极佳，甚至超过了传统的医学编码模型。
• 以强带弱：用大模型生成的解释作为“老师”，可以教会小模型如何更好地解释自己。
• 人类范例很重要：哪怕只给大模型看几个人类专家写的例子（Few-shot），它的表现也会突飞猛进，生成的解释更精准。

总结

这篇论文就像是在说：

“以前的 AI 医生只会给结论，不会给理由，大家不敢信。现在我们造了一个最新的、详细的‘理由库’，发现大语言模型最会写理由。于是，我们让大语言模型当老师，教那些普通的 AI 医生学会像人一样思考并解释，而且只要给它们看几个人类专家的范例，它们就能学得特别好。这样，未来的 AI 医生就能既准又快，还能把道理讲得清清楚楚，让医生和患者都放心。”

这项研究让 AI 在医疗领域的应用从“黑盒”走向了“透明”，是迈向可信赖医疗 AI的重要一步。

技术摘要

这是一篇关于ICD 编码可解释性评估与大语言模型（LLM）引导的推理学习的学术论文。该研究针对医疗临床编码中模型缺乏可解释性、现有评估数据集陈旧以及缺乏高质量推理（Rationale）标注数据的问题，提出了一套完整的评估框架和新的学习方法。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 临床编码的挑战：ICD 编码是将电子健康记录（EHR）中的非结构化文本映射为标准化疾病分类代码的过程。目前主要依赖人工，成本高且易错；自动化模型（如基于 Transformer 的模型）虽提高了效率，但缺乏可解释性，难以获得医生信任。
• 现有方法的局限性：
  • 评估标准单一：现有研究多依赖基于注意力机制（Attention）生成的推理，且评估多基于医生定性判断或旧数据集（如基于 MIMIC-III 和 ICD-9 的 MDACE 数据集）。
  • 数据缺陷：MDACE 数据集存在严重的标签分布偏移（Distribution Shift），且推理标注稀疏（每个代码通常只有一个标注），无法反映现代 ICD-10 编码系统的复杂性。
  • 缺乏专用推理学习：由于缺乏大规模高质量的推理标注数据，专门训练生成合理推理的模型方法稀缺。

2. 核心方法论 (Methodology)

A. 构建新数据集：RD-IV-10

• 数据源：基于最新的 MIMIC-IV 数据库和 ICD-10 编码系统。
• 标注：由医学专业人员对 150 份出院小结进行标注。
• 特点：
  • 提供了多粒度的推理标注（单词、短语、完整/部分句子）。
  • 每个代码平均有 35.94 个推理片段，远多于 MDACE 的 14.10 个。
  • 代码分布与原始 MIMIC-IV 高度一致（Top-50 代码重叠率 83.88%），解决了 MDACE 的分布偏移问题。

B. 可解释性评估框架

研究从两个维度评估推理的质量：

1. 忠实度 (Faithfulness)：推理是否真实反映了模型的内部决策逻辑。
   • 指标：充分性（Sufficiency，仅保留推理时的性能）和完备性（Comprehensiveness，移除推理后的性能下降）。
   • 对象：评估了三种基于注意力的模型（CAML, LAAT, PLM-ICD）。
2. 可信度/合理性 (Plausibility)：推理对人类（专家）来说是否令人信服。
   • 方法：将生成的推理与 RD-IV-10 中的人工标注进行匹配（精确匹配、位置无关匹配等）。
   • 对比对象：
     • 朴素实体级推理：基于实体链接（Entity Linking）直接提取的实体。
     • LLM 生成推理：使用 Gemini 2-Flash, Gemini 1.5-Pro, LLaMA-3.3 等模型生成。
     • 模型生成推理：上述 ICD 编码模型基于注意力权重提取的推理。

C. LLM 引导的推理学习 (LLM-Guided Rationale Learning)

鉴于 LLM 生成的推理具有高可信度，研究将其作为**弱监督信号（Distant Supervision）**来训练推理模型：

1. 多目标学习 (Multi-objective Learning)：在 ICD 编码任务的基础上，增加一个损失函数，最小化模型生成的注意力掩码与 LLM 生成的推理标签之间的差异。
2. 基于 NER 的公式化 (NER Formulation)：将推理提取任务转化为命名实体识别（NER）任务。将支持代码的文本片段视为实体，LLM 生成的标签作为训练信号。
3. 少样本提示增强 (Few-shot Prompting)：在提示 LLM 时，加入少量人工标注的示例（Few-shot examples），以进一步提升 LLM 生成推理的质量，进而提升下游学习模型的效果。

3. 关键贡献 (Key Contributions)

1. RD-IV-10 数据集：构建了首个基于 MIMIC-IV 和 ICD-10 的、包含丰富多粒度推理标注的基准数据集，填补了现代临床编码推理评估的空白。
2. 全面的推理评估：系统比较了实体链接、LLM 生成和传统注意力模型生成的推理。发现LLM 生成的推理在可信度上显著优于传统模型，而传统注意力模型生成的推理与人类解释几乎不匹配。
3. 新的推理学习方法：提出了基于 NER 的推理学习框架，利用 LLM 生成的弱标签进行监督。
4. 少样本提示的验证：证明了在 LLM 提示中加入少量人工标注示例，能显著提升 LLM 生成推理的质量，并进一步改善基于 NER 的推理学习模型的表现。

4. 实验结果 (Results)

• 忠实度评估：
  • PLM-ICD（基于预训练 Transformer 的模型）在忠实度上表现最好，仅用 200 个 Token（约 11-16% 的文本）即可保持较高的预测精度。
  • 移除推理后，LAAT 模型性能下降最剧烈，表明其决策更依赖被高亮的 Token。
• 可信度评估：
  • LLM 表现最佳：Gemini 2-Flash 生成的推理在各项指标（F1 分数）上远超其他方法。
  • 传统模型表现差：CAML、LAAT 和 PLM-ICD 基于注意力生成的推理与人类标注的匹配度极低（F1 < 1%），说明注意力权重并不能直接作为可信的解释。
  • 实体链接：表现居中，但受限于编码映射的不一致性。
  • 少样本提升：在提示中加入 5 个人工标注示例后，Gemini 2-Flash 的推理 F1 分数平均提升了约 40%-50%。
• 推理学习结果：
  • 多目标学习：在不降低编码准确率的情况下，将推理的可信度提升了约 1%。
  • NER 方法：虽然编码准确率略低于 PLM-ICD（存在权衡），但其生成的推理可信度最高，甚至超过了作为“教师”的 Gemini 2-Flash 模型。这表明 NER 模型能更稳定地识别完整的实体模式。
  • 少样本 NER：使用 Few-shot 生成的标签训练的 NER 模型，比无示例训练的模型在推理可信度上又有显著提升。

5. 意义与影响 (Significance)

• 推动可信 AI：该研究证明了单纯依赖模型内部注意力机制无法提供可靠的临床解释，而利用 LLM 生成高质量推理作为监督信号是可行的。
• 解决数据瓶颈：通过构建 RD-IV-10 和展示 LLM 辅助标注的有效性，为缺乏大规模人工标注的医疗领域提供了一种低成本、高质量的推理数据构建方案。
• 方法论创新：提出的 NER 化推理学习框架，将编码和解释任务统一，为未来开发既准确又可解释的医疗 AI 系统提供了新的技术路径。
• 资源开源：研究团队公开了数据集、代码及生成的 12.2 万条推理数据，促进了该领域的后续研究。

总结：这篇论文通过构建高质量的新数据集，揭示了传统注意力机制在解释性上的不足，并创新性地利用 LLM 生成推理作为弱监督信号，结合少样本提示技术，成功训练出了具有高可信度的推理模型，为医疗 AI 的可解释性研究树立了新的标杆。