技术摘要：PACT —— 通过特权合成与分支共识学习多样化诊断策略

1. 问题陈述

临床诊断本质上是一个多轮、具有不确定性的对话过程，要求医生在信息不完全的情况下，能够灵活运用多种推理范式（例如：逐步假设检验、并行鉴别诊断、基于紧迫性的优先级排序或基于证据的修正）。虽然大语言模型（LLMs）展现了强大的医学知识，但现有的医疗智能体在同时学习这些多样化的推理范式时，往往难以避免相互干扰。

两个主要挑战阻碍了鲁棒诊断智能体的发展：

1. 数据合成： 生成高质量、受控的诊断对话非常困难，因为医生与患者之间存在“信息不对称”。合成系统需要完整的电子病历（EMR）来进行质量控制，但模拟的医生智能体绝不能看到隐藏的临床答案（如最终诊断、实验室结果），以避免信息泄露或提出引导性问题。现有的数据集往往缺乏受控的轨迹，或者在不受约束的角色扮演中会出现幻觉问题。
2. 模型训练： 将多种推理范式集成到单个可部署的模型中并非易事。仅仅将不同范式的对话混合进行监督微调（SFT）会模糊特定范式的学习特征。相反，为每种范式训练独立的模型（或适配器）会导致“梯度冲突”，即独立训练的分支会向不兼容的方向更新，导致难以在不降低性能的情况下将其合并为单个模型。

2. 方法论

作者提出了 PACT（周期性锚点共识训练），这是一个将新型数据合成模块与基于共识的训练策略相结合的框架。

A. DPS：医生-患者-监督者数据合成

为了解决数据合成的挑战，作者引入了 DPS，这是一种受“利用特权信息学习”（LUPI）启发而设计的蒸馏模块。

• 状态分离： 每份电子病历（EMR）被划分为患者可见信息（$s_{vis}$：主诉、症状）和特权临床信息（$s_{priv}$：隐藏的检查结果、目标诊断）。
• 角色分离生成： 医生智能体仅根据累积的对话轨迹和 $s_{vis}$ 生成问题，绝不会看到 $s_{priv}$。患者智能体则基于 $s_{vis}$ 进行回答。
• 监督者验证： 两个监督者（医生监督者和患者监督者）利用完整的 EMR（$s$）来验证对话。他们执行“通过或重写”（PASS-or-REWRITE）检查，以纠正诸如信息泄露、节奏控制或缺失高价值问题等问题，而无需重写整个回复。
• 范式调节： 该过程生成了在四种不同临床推理范式下的经过验证的对话：
  1. 串行（Serial）： 逐步进行假设检验。
  2. 树状（Tree）： 维持竞争性的诊断以进行鉴别询问。
  3. 堆叠（Heap）： 按紧迫性和预期信息价值对问题进行优先级排序。
  4. 反馈（Feedback）： 在响应前进行自我批判。

B. PACT：周期性锚点共识训练

为了解决训练挑战，PACT 通过周期性聚合来训练单个可部署模型，而不是混合数据或进行事后合并。

• 分支训练： 模型为每种推理范式训练一个 LoRA 分支（适配器）。
• 锚点正则化： 维护一个共享的锚点（$\Delta_{anc}$）作为可部署的共识。在局部训练期间，每个分支通过最小化包含任务损失和L1 正则化项（$\lambda \|\Delta^{(k)} - \Delta_{anc}\|_1$）的损失函数来保持与锚点的接近程度。
• 周期性聚合： 每隔 $T^*$ 个 epoch，通过**符号共识（sign-consensus）**合并过程更新锚点：
  1. 修剪（Trim）： 去除低幅度的更新（噪声）。
  2. 选举（Elect）： 通过多数投票决定各分支在每个参数维度上的符号。
  3. 合并-投影（Merge-Project）： 仅对符号一致的值进行平均，并将结果通过截断奇异值分解（truncated SVD）投影回 LoRA 秩，以保持低秩结构。
• 部署： 训练完成后，所有分支适配器均被丢弃。最终模型即为基础模型加上最终的锚点（$M + \Delta_{anc}$），在推理阶段无需额外的架构更改或路由机制。

3. 核心贡献

1. DPS 模块： 一种数据构建方法，能够在严格保持医生-患者信息不对称（防止标签泄露）的同时，合成经过验证的多范式对话。
2. PACT 框架： 一种基于共识的训练方法，通过学习特定范式的 LoRA 分支并将其定期聚合为单个可部署模型，从而避免了混合 SFT 的干扰以及独立训练带来的不兼容性。
3. 动态基准测试： 引入了一个动态的多轮中文医学诊断基准，旨在评估智能体在交互式问诊能力（证据收集、诊断和检查建议）方面的表现，而非静态的单轮问答。

4. 实验结果

作者使用由 GPT-4o 驱动的患者模拟器在动态多轮基准测试上对 PACT 进行了评估。

• 性能： 在 Qwen3-8B 上训练的 PACT 实现了 55.31% 的严格诊断准确率（Strict DA） 和 76.16 的软得分（Soft Score），显著优于最强的零样本商业基线（GPT-4.1）和医学专业化 LLM（如 Doctor-R1, HuatoGPT-o1）。
  • 与 GPT-4.1 相比，PACT 在严格诊断准确率（Strict DA）上提升了 +18.61 点，在检查 F1 值（Exam F1）上提升了 +44.06 点。
  • 与 Qwen3-8B 基座模型相比，PACT 在严格诊断准确率上提升了 +22.78 点。
• 消融实验：
  • 数据： 从训练数据中移除任何一种推理范式都会导致检查 F1 值下降 5–6 点，这表明各范式提供了互补的监督信息。
  • 训练： PACT 的表现优于混合 SFT（Mixed-SFT）、顺序课程学习（Sequential Curriculum）以及各种事后合并技术（TIES, DARE-TIES）。值得注意的是，标准的后验合并技术（TIES）导致性能大幅下降（40.41% 的严格诊断准确率），这验证了在训练期间进行周期性聚合的必要性。
• 泛化性： 该方法在 Llama3.1-8B 和 Ministral-3-8B 上展示了跨架构的泛化能力，并在翻译为英文的环境下表现出迁移性。

5. 重要性与主张

本文声称 PACT 成功解决了医疗 AI 中的数据不对称和范式干扰双重挑战。

• 高效性： 与需要复杂路由或多个模型的方案不同，PACT 生成的是标准的单 LoRA 模型，无需额外的推理开销。
• 有效性： 通过显式建模多样化的临床推理策略并在训练期间强制执行共识，PACT 在交互式诊断场景中实现了最先进的性能，超越了通用型和专业化医学 LLM。
• 可扩展性： 该框架证明了在单个模型内学习多样化诊断策略是可行的，且不会出现医学领域常见的“灾难性遗忘”或“梯度冲突”。

作者强调，虽然症状采集非常重要（在此方面 GPT-4.1 表现略好），但通过多范式共识训练获得的结构化诊断推理，是驱动卓越诊断准确率和检查建议质量的关键因素。