💬 NLP

Serialisation Strategy Matters: How FHIR Data Format Affects LLM Medication Reconciliation

该研究首次系统评估了四种 FHIR 数据序列化策略对大语言模型药物核对任务的影响，发现序列化格式对 8B 及以下参数模型性能影响显著（临床叙事格式最优），而 70B 以上模型则更适合原始 JSON 格式，且所有模型均存在以遗漏药物为主的系统性偏差，提示临床部署需根据模型规模选择特定数据格式并调整安全审计重点。

原作者： Sanjoy Pator

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sanjoy Pator

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在做一场**“给大模型（AI）喂病历”的烹饪实验**。

想象一下，医生要把病人的用药历史（比如吃了什么药、吃了多久）交给一个超级聪明的 AI 助手，让它帮忙核对有没有漏掉或重复的药物。这个任务非常重要，因为一旦出错，病人可能会吃错药。

但是，这个 AI 助手虽然聪明，但它对“食物”的呈现方式非常挑剔。这篇论文就是研究：把同样的病历数据，用不同的格式“端”给 AI，效果会有什么不同？

1. 核心问题：怎么“端菜”很重要

病历数据在电脑里原本是一堆复杂的代码（叫 FHIR JSON），就像是一堆乱糟糟的、只有程序员能看懂的原始食材。
论文测试了四种“摆盘”方式（序列化策略）：

原始 JSON（Raw JSON）： 直接把乱糟糟的代码端上去。就像把整袋面粉、整块生肉直接扔给厨师，没切没洗。
Markdown 表格（Markdown Table）： 整理成整齐的表格。就像把菜切好、摆盘，一目了然。
临床叙述（Clinical Narrative）： 写成通顺的段落，像医生写的病历故事。比如“病人目前正在服用阿司匹林……"。
时间轴（Chronological Timeline）： 按时间顺序罗列，像日记一样。

2. 主要发现：小模型和大模型，口味完全不同

🍽️ 对于“小个子”AI（7B-8B 参数，像 Mistral 或 Llama-3.1-8B）

结论： 它们最喜欢**“临床叙述”**（像讲故事一样）。
比喻： 这就像让一个刚学做菜的新手厨师（小模型）去处理食材。如果你直接把一袋生面粉扔给他（原始 JSON），他会晕头转向，做不出好菜。但如果你把面粉揉好、做成面团，甚至告诉他“这是做面包的”（写成通顺的叙述），他就能立刻上手，做得非常好。
数据： 用“叙述”格式，小模型的正确率比用“原始代码”格式提高了近 20%！这相当于把及格分直接拉到了优秀分。

🍽️ 对于“大个子”AI（70B 参数，像 Llama-3.3-70B）

结论： 它们反而更喜欢**“原始 JSON"**。
比喻： 这就像一位米其林三星大厨（大模型）。你直接把整袋生面粉、整块生肉扔给他，他不仅能处理，还能看出里面的门道，甚至觉得这样更原汁原味、效率更高。如果你非要把它切好摆盘（写成叙述），他反而觉得有点多余，甚至可能因为过度解读“摆盘”而犯错。
数据： 大模型用原始代码格式，准确率接近完美（99.5%）。

3. 一个惊人的“翻车”案例

论文里有一个叫 BioMistral 的模型，它是专门在医学文献上训练过的（就像专门学过医学理论的书呆子）。

结果： 它完全失败了，在所有测试中得分为 0。
原因： 它虽然懂医学知识，但忘了怎么“听指令”。就像一个人背熟了所有菜谱，但当你让他“做一道菜”时，他却开始背诵菜谱目录，或者胡言乱语。
启示： 光有专业知识不够，**“听懂人话并执行指令”**的能力才是关键。

4. 最大的风险：不是“乱编”，而是“漏掉”

在核对药物时，AI 最容易犯的错误是什么？

不是“乱编”（幻觉）： 比如明明没吃这个药，AI 却瞎编一个。
而是“漏掉”（遗漏）： 病人明明在吃这个药，AI 却把它忘了，没列出来。
比喻： 这就像安检员。最危险的不是他凭空变出一个炸弹（乱编），而是他漏掉了乘客包里真正的炸弹（漏掉）。
影响： 这意味着医生在使用 AI 时，不能只检查 AI 列出来的药对不对，更要重点检查**“有没有漏掉什么药”**。

5. 小模型的“体力极限”

现象： 小模型（7B-8B）在面对药品种类很多（比如同时吃 7-10 种药）的病人时，会突然“断片”，记不住后面的药了。
比喻： 就像让一个小容量的背包去装 20 件行李，装到一半就装不下了，后面的东西直接掉在地上。
现实： 那些病情最复杂、吃的药最多的老人（多药共用患者），恰恰是最需要 AI 帮忙的，但小模型却帮不上忙，只能靠大模型（70B）才能搞定。

💡 总结：给医生的实用建议

如果你用“小模型”（7B-8B）： 别直接把原始代码扔给它。先把数据整理成通顺的中文叙述（像讲故事一样），效果会好很多。
如果你用“大模型”（70B+）： 直接用原始代码就行，它处理起来更顺手，准确率更高。
安全审查重点： 无论用哪个模型，都要重点检查**“有没有漏药”**，而不是纠结于它有没有乱编。
别迷信“医学专用模型”： 如果模型没有经过“指令微调”（即没学会怎么听话），哪怕它背熟了所有医学书，也干不了活。

这篇论文告诉我们：在 AI 医疗领域，怎么把数据“喂”给模型，和模型本身有多聪明一样重要。 选对了“摆盘”方式，小模型也能发挥大作用；选错了，大模型也可能翻车。

1. 研究背景与问题 (Problem)

临床痛点：在临床交接（如出院、转科）过程中，用药核对（Medication Reconciliation）是一项高风险且易出错的任务。药物遗漏、剂量重复或药物消失是导致可预防性不良事件的主要原因（超过 60% 的患者在护理过渡期存在用药差异）。
技术挑战：
- 数据格式复杂：患者健康记录的标准格式 FHIR R4 是深度嵌套的 JSON，包含大量数值型本体代码（如 RxNorm, SNOMED），而非人类可读的药物名称。单个患者的完整 FHIR 包可能超过 80 万行 JSON，远超当前大语言模型（LLM）的上下文窗口。
- 预处理缺失：虽然已有研究利用函数调用（Function Calling）筛选 FHIR 资源类型，但缺乏系统性研究：在给定任务相关的 FHIR 子集后，将数据序列化（格式化）成何种形式输入给模型（如原始 JSON、Markdown 表格、临床叙述、时间轴）会如何影响模型性能？
- 现状：目前的集成管道通常基于便利性或惯例选择序列化格式，缺乏实证依据。

2. 方法论 (Methodology)

该研究构建了一个受控基准测试，旨在量化不同序列化策略对 LLM 性能的影响。

数据集：
- 使用开源模拟器 Synthea 生成 200 名合成患者 的数据。
- 患者年龄 40-75 岁，拥有至少 10 年的用药历史，且至少有一种当前活跃药物。
- 真值（Ground Truth）：定义为 FHIR 包中所有状态为 active 的 MedicationRequest 资源中的药物名称集合。
- 数据规模：200 名患者 × 4 种策略 × 5 种模型 = 4,000 次推理运行。
序列化策略 (4 种)：
1. A - 原始 JSON (Raw JSON)：缩进的嵌套 JSON，保留临床字段。针对小模型上下文限制，对非活跃药物进行了截断（保留所有活跃药物 + 最近的历史记录）。
2. B - Markdown 表格：将资源展平为六列表格（药物、RxNorm 代码、状态、日期、剂量、频率），按时间排序。
3. C - 临床叙述 (Clinical Narrative)：将每种药物转化为自然语言句子。明确分为“当前活跃药物”和“历史药物”两个部分，显式标记任务相关的分区。
4. D - 时间轴 (Chronological Timeline)：按处方日期严格排序（无论状态），每行用管道符分隔显示日期、状态、药物名和剂量。不区分活跃/历史，需模型自行推理。
评估模型 (5 种 Open-Weight 模型)：
- Phi-3.5-mini (3.8B)
- Mistral-7B (7B)
- BioMistral-7B (7B，仅领域预训练，无指令微调)
- Llama-3.1-8B (8B)
- Llama-3.3-70B (70B)
- 环境：本地运行于 AWS g6e.xlarge (NVIDIA L40S, 48GB VRAM)，使用 Ollama 和 4-bit 量化。
评估指标：
- 精确率 (Precision)、召回率 (Recall) 和 F1 分数。
- 严格匹配：仅当预测的药物名称与真值完全一致（包括大小写、单位等）时才计为正确。
- 统计检验：使用 Wilcoxon 符号秩检验评估策略间的显著性差异。

3. 主要贡献 (Key Contributions)

首个系统性基准：提供了 4,000 次推理的受控基准，量化了序列化策略对用药提取任务的影响。
发现模型大小与格式的交互效应：证明了序列化策略对 8B 以下参数量的模型有显著影响，且最优策略随模型规模变化而反转。
揭示主导错误模式：发现**遗漏（Omission）**是主要的失败模式，而非幻觉（Hallucination）。在所有组合中，平均精确率均高于平均召回率。
揭示小模型的容量上限：小模型在处理多药（Polypharmacy）患者时存在硬性性能瓶颈。
指令微调的必要性：证明了仅有领域预训练（Domain Pretraining）而无指令微调（Instruction Tuning）不足以完成结构化提取任务。
可复现的开源管道：提供了基于 Synthea、Ollama 和 AWS 实例的完整可复现流程。

4. 关键结果 (Key Results)

4.1 序列化策略对性能的影响

小模型 (≤8B)：临床叙述 (Strategy C) 表现最佳。
- 例如，Mistral-7B 在策略 C 下的 F1 为 0.9149，而在原始 JSON (策略 A) 下仅为 0.7247（提升约 19 个百分点，统计显著 $p < 10^{-10}$ ）。
- Llama-3.1-8B 同样在策略 C 下表现最好 (F1=0.9471)。
大模型 (70B)：原始 JSON (Strategy A) 表现最佳。
- Llama-3.3-70B 在策略 A 下达到 0.9956 的 F1，略高于策略 C (0.9850)。
- 有趣的是，70B 模型在时间轴 (策略 D) 上表现较差 (F1=0.8742)，表明即使大模型也难以处理复杂的时间推理，尽管它们能原生理解 JSON 结构。

4.2 错误模式：遗漏主导

在所有 20 种模型与策略的组合中，平均精确率 > 平均召回率。
模型更倾向于遗漏活跃药物，而不是编造不存在的药物。
临床意义：这意味着模型输出是一个“高置信度的部分列表”。临床审核的重点应从“检查是否有假阳性”转向“检查是否有遗漏”。

4.3 多药患者的容量瓶颈

小模型：当活跃药物数量超过 7-10 种 时，召回率急剧下降。
- Mistral-7B 在 11 种活跃药物时，召回率跌至 0.24。
- 这恰恰是风险最高的多药患者群体，表明小模型无法有效服务于最需要用药核对的患者。
大模型：Llama-3.3-70B 在 16 种活跃药物下仍保持接近完美的召回率，无明显性能下降。
历史长度无关：性能下降仅与当前活跃药物数量有关，与总用药历史长度（10-25 年）无关。瓶颈在于输出生成能力，而非输入处理。

4.4 BioMistral 的彻底失败

BioMistral-7B（仅领域预训练，无指令微调）在所有 4000 次运行中 F1 = 0。
它无法遵循指令，输出乱码或重复系统提示，无法生成可解析的 JSON。
结论：领域知识不能替代指令微调能力。对于结构化提取任务，指令微调是前提条件。

5. 意义与临床部署建议 (Significance & Recommendations)

部署决策依据：
- 对于 7B-8B 模型：默认使用 临床叙述 (Clinical Narrative) 格式。无需重新训练或微调，仅通过预处理即可显著提升性能（F1 提升可达 19%）。
- 对于 70B+ 模型：可以使用 原始 JSON，格式更简单且性能略优。
安全审计策略转变：
- 由于遗漏是主要风险，临床工作流应设计为：模型输出作为“确认的活跃药物子集”，人工审核的重点是补全（Completeness Check），即“模型漏掉了什么？”，而不是“模型说的对吗？”。
多药患者风险：
- 小模型无法处理复杂的多药患者（>10 种药物）。在临床部署中，对于此类高风险患者，必须使用更大规模的模型（如 70B+），否则存在系统性服务不足的风险。
模型选择：
- 不要仅依赖领域预训练模型（如 BioMistral），必须选择经过指令微调 (Instruction Tuned) 的模型，否则在结构化任务上完全不可用。

6. 局限性

合成数据：使用 Synthea 生成数据，缺乏真实 EHR 中的转录错误、格式不一致和数据质量问题（因此报告的 F1 可能是真实场景的上限）。
严格匹配：评估采用严格字符串匹配，未使用模糊匹配或 RxNorm 归一化，导致 F1 分数保守偏低。
单一语言：仅支持英语。
提示词固定：未对提示词工程进行消融实验，策略效果可能与提示词存在交互。

总结

该论文证明了在医疗 LLM 应用中，数据序列化格式是一个关键的性能变量，而非次要的格式选择。对于中小规模模型，将 FHIR 数据转化为人类可读的“临床叙述”能显著提升用药核对的准确性；而对于超大模型，原始 JSON 表现更佳。同时，研究强调了遗漏是主要风险，且小模型在处理多药患者时存在不可逾越的瓶颈，这对临床 AI 系统的选型和部署策略具有直接的指导意义。