技术摘要：ResidencyRL

问题陈述

尽管大型语言模型（LLMs）在静态医学基准测试（如 MedQA-USMLE）和单轮诊断任务中已达到专家级水平，但在处理临床推理的动态、序列化特性方面仍表现挣扎。现实世界的临床实践要求医生能够应对不确定性，通过多轮对话引导病史采集，不断完善诊断假设，并进行长期的患者管理。目前的 AI 系统往往存在“过早闭合”（premature closure）的问题——即过早锚定在初始假设上并过早终止信息收集，且缺乏对抗患者行为（如隐瞒信息、淡化症状）的鲁棒性。现有的临床对话强化学习（RL）方法局限于短时程（≤12 轮）、受限的动作空间（仅限对话或孤立的工具调用）或单轮优化，未能捕捉到临床诊疗的全过程，而真实的临床问诊平均约为 21 轮，需要复杂的决策能力。

方法论

作者引入了 ResidencyRL，这是一个在线多轮强化学习框架，旨在通过高保真模拟患者遭遇来训练临床 AI 智能体。该系统由四个核心组件构建：

1. 场景生成流水线

为了确保临床严谨性和多样性，作者开发了一个动态的多阶段生成流水线：

• 人口统计学与行为采样： 从美国人口分布（年龄、族裔、地理位置）和行为特征（大五人格模型）中进行采样，这些特征决定了患者的沟通风格（如健康素养、症状放大倾向）。
• 针对特定病症的生成： 使用 LLM（Gemini 3.1 Pro）基于 DDXPlus 证据库生成临床场景，以确保符合经过验证的病理生理关联。场景范围涵盖了从简单的教科书案例到复杂的、涉及多种药物联用的病例。
• 质量验证与去重： 通过独立的 LLM 评判器验证临床连贯性，并使用 TF-IDF 向量化技术确保场景的多样性。
• 专门的扩展包：
  • 针对性病史采集： 在这些场景中，关键信息（如物质使用、特定药物名称）只有在智能体提出针对性问题时才会披露。
  • 对抗性安全性： 设计用于测试针对淡化红旗征象（red flags）、非典型表现及患者操纵行为的鲁棒性的场景。

2. 模拟环境

智能体与基于生成的场景进行交互的患者模拟器（基于 Gemini 3.5 Flash）进行交互。该模拟器模仿了现实世界的患者动态，包括：

• 信息不对称： 患者仅在被直接询问时才会披露背景细节。
• 行为适应： 词汇量和信息披露程度会根据患者的健康素养和性格进行调整。
• 对抗性特化： 在安全性场景中，患者会主动淡化症状或抵制治疗建议。

智能体利用 文档 API 执行结构化动作，除了对话之外，还包括提交鉴别诊断、管理计划、紧急程度分类和 SOAP 记录。每个回合上限为 60 轮对话和 8 次工具调用。

3. 结构化奖励与自动评分

在回合结束时，LLM 评判器（Gemini 3.1 Pro）使用层级化的评分细则对诊疗过程进行评估。总奖励 $R$ 公式化为：
$$R = R_{primary} - R_{penalty}$$

• 主要奖励 ($R_{primary}$)： 对六个临床维度（诊断、管理、接诊、沟通、文档、风格）进行求和，这些维度基于 Likert 量表并归一化至 [0, 3]。
• 惩罚项 ($R_{penalty}$)： 累积针对关键安全标志（如幻觉、禁忌行为、遗漏红旗征象）和系统错误（如过度轮次）的惩罚。

4. 强化学习算法

策略使用**群体相对策略优化（GRPO）**进行优化。智能体从 Gemini 3.5 Flash 开始初始化，并在包含约 57,000 个场景（83% 为常规远程医疗，15% 为病史采集，2% 为对抗性场景）的混合数据集中进行训练。该算法通过并行轨迹组估计优势函数，无需专门的价值函数，从而使智能体能够通过探索学习序列决策策略。

核心贡献

1. 面向临床推理的长时程多轮 RL： ResidencyRL 证明，通过模拟的多轮遭遇（最多 68 个动作）训练临床 AI 智能体，可以显著提高其序列推理、管理质量和安全性，优于基础模型。
2. 跨专业与跨环境的泛化能力： 在模拟中习得的程序性能力（如彻底的病史采集、安全性遵循）可以泛化到未见的领域，包括未见的专科（肿瘤学）、纵向多访视护理（AMIE Mx）以及外部基准测试（AgentClinic、CRAFT-MD）。
3. 缓解过早闭合与安全风险： 该训练范式积极减少了危险的诊断陷阱，特别是在对抗条件下降低了遗漏关键问题和遗漏红旗征象的比例。

结果

ResidencyRL 训练的智能体在多个基准测试中与基础 Gemini 3.5 Flash 模型进行了对比评估：

• 域内评估：
  • 诊断准确率： 在对抗条件下，从 81.0% 提升至 88.0%（+7.0 个百分点）。
  • 管理质量： 从 3.98 增加到 4.52（基于 1–5 分的 Likert 量表）。
  • 安全性： 在对抗场景下，遗漏红旗征象的比例从 45.5% 下降至 31.5%（下降了 31%）。
• 域外基准测试：
  • AMIE Mx（多访视）： 在所有六个临床维度上均优于基础模型，在管理推理（+8.34%）和患者沟通（+8.50%）方面有显著增益。
  • 专科肿瘤学： 在 300 个由专家策划的肿瘤学案例中，训练后的智能体在完整性、临床准确性和可操作性方面较基础模型表现出显著提升。
  • AgentClinic 与 CRAFT-MD： 在诊断准确性和信息采集方面表现出持续的正向改进，尤其是在需要主动推理的自由回答格式中。
• 人类专家评估：
  • 在 97 名获得执业资格的临床医生进行的盲法对照实验中，ResidencyRL 训练的智能体在整体临床印象方面在 87.6% 的案例中更受青睐。
  • 在信息采集完整性方面，智能体在 90.7% 的案例中更受青睐；在管理方案合理性方面，在 75.3% 的案例中更受青睐。
  • 临床医生注意到，训练后的模型能够在不产生缺失数据幻觉的情况下，坚持探究隐藏信息（如未披露的物质使用）。

重要性与声明

论文声称，AI 的临床精通度，如同医生一样，是通过实践培养出来的。 ResidencyRL 验证了通过模拟环境中的多轮 RL，可以有效地学习序列化的临床决策过程，从而产生鲁棒且具有泛化能力的性能。

作者强调，这些改进是程序性的（即如何收集信息、何时进行探究、如何应对不确定性），而非仅仅是领域特定的知识，这使得它们能够迁移到未见的专科和复杂的临床工作流中。然而，论文对临床实用性保持了审慎的态度：

• 模拟与现实的差距： 作者承认模拟患者与真实患者之间存在保真度差异。虽然临床医生认为模拟过程具有现实感，但训练仅限于基于文本的远程医疗，缺乏多模态输入（如体格检查、影像学资料）以及现实世界的结局反馈。
• 需要前瞻性验证： 论文明确指出，需要通过真实的工作流和真实的患者进行前瞻性验证，以确认这些通过模拟训练获得的胜任力能否转化为患者层面的有效性和安全性。
• 安全性： 出于安全考虑，该系统并未开源，作者强调了进行负责任创新以及与监管机构和医疗提供者进行进一步验证的必要性。

总之，ResidencyRL 代表了弥合静态医学知识与动态临床实践之间鸿沟的重要一步，证明了在模拟环境中通过强化学习可以产生更安全、更彻底且更符合专家临床推理逻辑的 AI 智能体。