MedUPS: Towards Diagnostic Assistance in Uncommon Medical Cases with Large Language Models

技术摘要：MedUPS —— 基于大语言模型的罕见病例诊断辅助

问题陈述
目前的临床大语言模型（CLLM）和医学基准测试主要根据基于完整且明确的病例描述所推导出的最终诊断来评估性能。这种“考试式”的评估未能反映临床实践的真实情况，尤其是在处理罕见和非指南规范的病例时。在这些场景中，医生必须在面对不断积累的、不完整的证据时，通过一系列中间管理决策（例如：订购特定检查、请专家会诊或进行鉴别诊断）来应对诊断中的不确定性。现有的基准测试很少能捕捉到这种纵向的决策过程，且由于罕见病的数据稀缺、自由文本表述的多样性，以及即使在已发表记录中也存在的固有不确定性，最终诊断往往是一个不可靠的训练目标。因此，目前缺乏能够模拟临床医生如何从部分信息向前推理出下一个适当行动的监督信号。

方法论
作者引入了 MedUPS（一种对齐框架）和 MedUPSQA（一个数据集），旨在对模型在中间临床决策点而非终端诊断上的表现进行监督。

1. 数据集构建 (MedUPSQA)：

   • 来源： 该数据集源自《BMC 医学病例报告》（BMC Journal of Medical Case Reports）中发表的 5,535 篇真实世界病例报告（由 CUPCase 语料库扩展而来）。
   • 分段： 使用 GPT-4o 进行少样本提示（few-shot prompting），将自由文本形式的病例呈现自动分割为按时间顺序排列且具有临床连贯性的“块”（$c_1, \dots, c_T$）。每个“块”捕获一个单一的主导临床概念（例如：症状演变或实验室结果）。
   • 任务公式化： 对于轨迹的每个前缀 $\{c_1, \dots, c_i\}$，模型的目标是预测在后续“块”（$c_{i+1}$）中发生的下一个具有临床相关性的步骤（$a_i$）。
   • 生成与验证： 利用外部 LLM（DeepSeek-R1）基于上下文生成问题（$q_i$）、思维链推理（$r_i$）和答案（$a_i$）。随后使用另一个 LLM 作为评判者（DeepSeek-Chat）对这些实例进行验证，确保生成的答案基于四项准则（正确性、特异性、溯源性及完整性）与 $c_{i+1}$ 中的参考内容在临床上等效。
   • 规模： 最终数据集包含 21,874 个经过验证的下一步决策点。

2. 对齐框架 (MedUPS)：

   • 目标： 该框架使用**群体相对策略优化（GRPO）**来优化模型预测下一步的能力。这是一种无需单独训练价值网络的无评论家（critic-free）策略梯度方法，通过针对群体均值进行奖励归一化来实现。
   • 奖励信号： 奖励由外部 LLM 评判者根据准则对模型输出进行评分提供，该评分是四项指标加权总和的归一化值，范围在 $[0, 1]$ 之间。
   • 优化： 模型使用低秩适配器（LoRA）进行微调，并配合冻结的参考模型进行 KL 正则化。该过程涉及采样一组完成结果、对其评分，并更新策略以偏好超过群体平均水平的完成结果。
   • 基准测试： 作者将 GRPO 与在完全相同的中间步骤对上进行的监督微调（SFT）进行对比，以分离出优化器本身对目标的贡献。他们还评估了未对齐的开源模型以及前沿闭源模型（如 GPT-5.6 变体）作为基准。

核心贡献

1. 中间阶段对齐目标： 本文将沿患者时间轴的下一步预测形式化为一个强化学习目标。研究表明，在罕见病例的临床推理方面，针对这一单一目标进行 GRPO 优化，可以提升三种不同架构（Qwen3.6-27B, Qwen3.5-9B, HuatuoGPT-3-8B）的模型性能，且无需最终诊断标签。
2. MedUPSQA 数据集： 一个包含 21,874 个经过验证的、带有推理轨迹的下一步决策点开源数据集。该数据集通过对真实世界病例报告进行分段处理而成。同时提供了对齐后的模型检查点和代码。
3. 对齐优于规模： 研究证明，对于罕见病例推理，针对性的中间监督比模型规模更为有效。经过中间阶段对齐的小型开源模型在下一步预测任务上，能够达到甚至超过规模显著更大的开源模型和前沿模型。

结果

• 性能提升： 中间阶段对齐显著提高了所有测试架构的下一步预测准确率：
  • Qwen3.6-27B： 从 55.2% 提升至 66.7%。
  • Qwen3.5-9B： 从 47.2% 提升至 57.8%。
  • HuatuoGPT-3-8B： 从 37.8% 提升至 44.4%。
  • 所有改进均具有统计学显著性（95% 置信区间）。
• 与 SFT 的比较： 虽然在相同数据上进行 SFT 也能提升所有架构的表现，但 GRPO 在最大的架构（Qwen3.6-27B）上优于 SFT，这表明当基础策略足够强大到能生成具有信息量的变体时，群体相对强化学习（RL）更为有效。
• 规模 vs. 对齐： 对齐后的 27B 开源模型（66.7%）超越了未对齐的前沿模型（GPT-5.6 变体，约 60%）以及未对齐的更大规模开源模型（Qwen3.5-397B-A17B，约 53%）。对齐后的 9B 模型也超越了未对齐的 27B 基础模型。
• 评判者鲁棒性： 作者承认评估依赖于 LLM 评判者。使用不同评判者（GPT-5.6, Opus 5）进行重新评分显示出中度的符合度（Cohen's $\kappa \approx 0.56-0.65$），且绝对准确率有所下降（使用 GPT-5.6 时从 67.2% 降至 58.0%），这表明虽然对齐模型与基础模型的相对排序关系保持不变，但绝对得分以及相对于前沿模型的领先幅度取决于评判者的选择。
• 错误分析： 错误分析显示，许多“错误”预测并非临床错误，而是关于可辩护步骤的具体顺序或参考报告粒度的分歧。真正的临床推理错误（类别 E）仅占决策总数的约 2.0%。

意义与主张
本文声称，对于罕见医疗病例，训练目标（中间阶段对齐）比模型规模更重要。通过将关注点从最终诊断转向“下一步适当行动”，该框架更好地契合了在不确定性下进行推理的临床现实。作者认为，这种方法为在本地部署具有临床实用性的系统提供了一条可行路径，即利用开源的小型模型，从而解决与闭源前沿 API 相关的隐私和成本约束。

作者对自己的主张保持谦逊，明确指出：

• 评估依赖于 LLM 评判者而非临床医生裁定，因此结果反映的是模型与评判者标准的对齐程度，而非绝对的临床真理。
• 对齐后的开源模型优于前沿模型的结论是特定于所使用的评判者，需要通过独立的评判者家族进行进一步验证。
• 数据集构建过程是全自动化的，没有经过临床医生对分段或问题生成的验证，这被视为一个主要的局限性。
• 本研究旨在作为临床决策支持工具，在临床医生的监督下使用，而非取代人类判断。