🤖 AI

PSEBench: A Controllable and Verifiable Benchmark for Evaluating LLMs in Patient Safety Event Triage

本文介绍了 PSEBench，这是一个通过使用“条款卡”的基于策略的方法构建的可扩展且可验证的基准测试，用于评估大语言模型在患者安全事件分诊方面的表现，揭示了一致的能力趋势，并识别了在处理基于证据的推理、信息寻求以及原则性弃权方面的关键差距。

原作者： Keqi Han, Ryan Young, Annabel Strauss, Lindsey Hughes, Katharine M. Nesbitt, Nicole Schueler, Che Ngufor, Carl Yang, Yuan Xue, Zhijun Yin

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Keqi Han, Ryan Young, Annabel Strauss, Lindsey Hughes, Katharine M. Nesbitt, Nicole Schueler, Che Ngufor, Carl Yang, Yuan Xue, Zhijun Yin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 PSEBench 论文的通俗易懂解释，通过使用类比来使概念清晰明了。

大局观： “安全检查员”问题

想象一下，医院就像一个巨大且繁忙的机场。每天都有成百上千的事情出错或完全出错（比如病人拿错了药、机器故障、发生跌倒等）。这些被称为患者安全事件（Patient Safety Events）。

根据法律，这个“机场”（医院）必须向“联邦航空管理局”（政府卫生部门）报告特定类型的严重事故。然而，关于“什么情况必须报告”的规则极其复杂，是用晦涩的法律语言编写的，并且取决于极其微小的细节。

目前，一名人类安全专家必须阅读每一份报告，并做出决定：“我们是否必须向政府报告这件事？还是这只是一个微小的内部问题？” 这是一份高风险的工作。如果他们漏掉了一份报告，医院会面临麻烦；如果他们报告了太多微不足道的小事，政府就会被淹没。

研究人员想看看**人工智能（大语言模型）**能否为我们胜任这份工作。但为了测试 AI，他们需要一个公平、完美的测试。这就是 PSEBench 的作用。

现有测试的问题

想象一下，你试图通过给一个学生出一些临时编造问题的试卷来教他开车。

问题在于： 如果你只是要求 AI “读一个故事并告诉我它是否属于应报告的情况”，AI 可能会因为错误的原因猜对答案，或者它可能会编造文中并不存在的事实。
差距在于： 真正的安全专家不会靠瞎猜。他们会寻找缺失的事实（“病人真的去世了吗？”），他们知道何时该说“我不知道”（如果规则不明确），并且他们会引用所依据的准确法律条文。之前的测试并没有检查这些技能。

解决方案：PSEBench（“完美的测试”）

作者构建了一个名为 PSEBench 的新基准测试。你可以把它想象成一个视频游戏关卡设计师，能够为 AI 创建成千上万个独特的、完美的测试场景。

1. “条款卡”（配方）

研究人员并没有仅仅写一个故事，而是首先为每一条规则创建了一张**“配方卡”**。

想象一下做蛋糕的配方。卡片上列出了制作蛋糕所需的精确原料（事实）、蛋糕必须呈现的样子（结论）以及你正在遵循哪本规则书的哪一页（法律）。
人类审计员检查了这些卡片，以确保逻辑完美无缺。这就是“地面真值（Ground Truth）”。

2. “锚点”（现实世界的风味）

为了让故事听起来真实，他们采用了来自日本的真实、匿名的事故报告（类似于真实的报纸剪辑）作为“锚点”。

他们不仅仅是要求 AI 从头开始写一个故事。他们会说：“这是一个关于折断的 IV 架的真实故事。现在，请根据这个特定的‘配方卡’写一个关于用药错误的报告。”
这确保了故事听起来像是真实的医院报告，而不是机器人的胡言乱语。

3. “闭环”（双重检查）

这是最重要的一部分。系统有一个验证器（Verifier）（就像一个严格的编辑）。

第一步： AI 根据“配方卡”编写一个故事。
第二步： 验证器阅读故事并询问：“这个故事真的包含了‘配方卡’中的事实吗？它是否不小心遗漏了某个关键细节？它是否在文中不小心泄露了答案？”
第三步： 如果故事未通过，AI 必须重写。它会不断重写，直到验证器给出“通过”为止。
结果： PSEBench 中的每一个测试用例都保证在逻辑上是完美的。我们完全知道正确答案应该是怎样的，因为我们就是这样构建它的。

4. 三种类型的测试

该基准测试通过三种不同的方式测试 AI，就像真实的专家面临的情况一样：

完整案例： 报告包含所有事实。AI 能否做出正确的判断？
信息缺失案例： 报告很模糊（例如，“病人出现了反应”，但没说反应有多严重）。AI 能否意识到信息缺失，并提出问题来获取答案？（大多数 AI 只是靠猜；这个测试检查它们是否会提问）。
不确定案例： 事实很清楚，但法律规定模糊或存在矛盾。AI 能否说“我不知道，需要人类来决定这个”，而不是强行给出一个答案？

他们的发现（结果）

他们测试了 15 种不同的 AI 模型（包括来自 OpenAI、Google 和 Anthropic 等大科技公司的模型，以及医疗专用模型）在这一基准测试上的表现。

好消息：

最聪明、最昂贵的 AI 模型（如 GPT-5.5 和 Gemini 3.1 Pro）在处理明确案例时，得出最终“是/否”答案的正确率达到了 90-95%。

坏消息（“陷阱”）：

“瞎猜”问题： 当规则不明确时（不确定案例），许多 AI 都会强行给出一个“是，报告它”的答案。它们表现得过于自信。
- 类比： 这就像一个学生不知道数学题的答案，但为了不留白，硬是在上面写了个“42”。这在医院里是危险的，因为它会制造大量的虚假警报。
“沉默”问题： 当信息缺失时，许多 AI（尤其是较小的或医疗专用的模型）从未寻求帮助。它们只是编造了一个答案。
- 类比： 就像一个侦探看到了缺失的线索，但他没有去联系实验室获取结果，而是直接发明了一个嫌疑人。
医疗模型失败了： 出人意料的是，专门针对医学教科书训练的 AI 模型在处理这类复杂法律报告任务时，表现反而不如通用的聪明模型。它们擅长回答医学问题，但在遵循复杂的法律报告规则方面表现糟糕。

结论

PSEBench 证明了虽然 AI 越来越擅长阅读故事，但它尚未准备好独立担任“安全检查员”。

它可以告诉你一个故事看起来是否像是一个可报告的事件。
但它在何时停止并询问更多信息，以及何时承认自己不知道这两点上仍然面临困难。

研究结论指出，在我们能够信任 AI 处理患者安全之前，我们需要构建更加“谦逊”（知道何时克制）且更加“好奇”（知道何时提问）的 AI。

总结类比

把 PSEBench 想象成一次 AI 的驾驶考试。

之前的测试只是要求 AI “在直路上行驶”。
PSEBench 把 AI 放进了一个驾驶模拟器中，其中包含：
1. 路况清晰（完整案例）。
2. 大雾弥漫，看不清停车标志，所以你必须询问乘客方向（信息缺失）。
3. 路标相互矛盾，所以你必须靠边停车并打电话给主管，而不是盲目驾驶（不确定案例）。

结果显示，虽然 AI 在直路上是个好司机，但当路况变得复杂时，它仍然会惊慌失措或开始瞎猜。

技术摘要：PSEBench

问题陈述
患者安全事件（Patient Safety Event, PSE）分诊涉及确定一项临床事件是否根据特定管辖政策（例如，明尼苏达州的 29 项可报告不良健康事件，MN29）属于可报告事件。这是一项高风险任务，要求专家将决策建立在法律政策之上，识别缺失的关键事实，并在政策存在歧义时放弃做出二元决策。虽然大语言模型（LLMs）提供了自动化的潜力，但现有的基准测试无法对其进行充分评估。以往的工作侧重于孤立的描述性分类（例如，事件类型、严重程度），而非分诊所需的复杂的、基于政策的推理。此外，由于需要严格的政策忠实度、多轮信息寻求的需求，以及处理不可还原的歧义情况的必要性，为该领域生成可靠的基准测试具有挑战性，且难以避免昂贵的后期人工标注。

方法论
作者提出了 PSEBench，这是一个通过以“条款卡”（clause cards）为核心的、基于政策驱动的方法构建的可控且可验证的基准测试。

条款卡构建：
- 其核心创新是“条款卡”，这是一种结构化的决策规范，将监管文本分解为可审计的变量：事件类型 ( $s$ )、边界条件 ( $B$ )、事件要素 ( $E$ )、从条件到要素的映射 $\rho$ 、预期的判定结果 ( $y$ )、法律依据 ( $G$ ) 以及实例化约束 ( $\Phi$ )。
- 这些卡片通过一种 LLM 辅助、人工在环（human-in-the-loop）的协议创建。LLM 执行政策文本的“忠实提取”和候选卡片的“结构化起草”，随后由人类专家进行严格审计，以确保边界条件对于判定结果而言是必要且充分的。
可控且可验证的生成流水线：
- 锚点驱动的实例化： 真实的去隐私化事件报告（来自日本医疗质量保证机构）作为“锚点材料”，用以注入临床真实感和多样性。
- 第一阶段（事实实例化）： 一个 LLM 将锚点材料中的事件要素 ( $E$ ) 实例化为结构化的事实记录。一个自动化验证器会检查这些事实是否满足条款卡的边界条件 ( $B$ ) 和约束 ( $\Phi$ )。
- 第二阶段（叙述文本化）： 第二个 LLM 将验证后的事实转换为自由文本形式的临床叙述。
- 闭环验证： 一个提取器解析生成的叙述以恢复底层的逻辑事实，并由一个叙述验证器将其与原始结构化记录进行交叉检查。这确保了叙述能够忠实地编码预期的事实，而不会出现“无声标签漂移”（即改变判定结果的幻觉）。
基准测试变体：
- 完整案例： 所有决策关键事实均已具备。
- 信息缺失案例： 部分决策关键事实 ( $E'$ ) 从叙述中被隐去，要求智能体主动询问这些事实。基准测试通过构造过程明确追踪哪些字段缺失。
- 不确定（灰色地带）案例： 所有事实已知，但政策内容沉默或存在矛盾，要求智能体进行上报而非强行做出二元判定。
智能体评估环境：
- 评估模拟了被评估 LLM ( $A_{eval}$ ) 与自动化信息提供者 ( $A_{info}$ ) 之间的多轮交互。
- $A_{info}$ 作为一个持有规范事实的无状态先知（oracle），仅回答与已知事实一致的查询，否则声明“未知”。
- $A_{eval}$ 必须决定何时提问（ASK）以及何时提交判定结果（ANSWER）。

核心贡献

PSEBench 数据集： 一个包含 5,074 个案例（3,455 个完整案例、1,362 个信息缺失案例、257 个不确定案例）的数据集，其基础为 MN29 政策。每个案例都包含通过构造过程获得的维度丰富的地面真值（包括判定结果、条款、法律依据、边界条件和扣留字段），从而消除了对手动标注的需求。
方法论框架： 一个使用条款卡和闭环验证的可扩展、基于政策的构建流水线，用于生成高保真、可审计的监管分诊基准。
智能体评估： 一个专门设计用于评估主动信息寻求能力和在不确定性下进行原则性弃权能力的双角色环境，超越了静态分类指标。

结果
作者评估了 15 个具有代表性的 LLM（包括闭源前沿模型、开源前沿模型、小型模型以及医学专业模型）。

判定准确率 vs. 智能体就绪度： 虽然顶尖的闭源模型（如 GPT-5.5, Gemini 3.1 Pro）在完整案例上实现了极高的判定准确率（>90%），但在交互行为方面出现了显著差距。
信息寻求： 模型表现出差异化的行为。一些模型（如 GPT-5.5）能主动识别缺失的事实并提出针对性问题；另一些模型（如 Llama-3.1-8B）则进行无差别提问；而医学专业模型（如 HuatuoGPT-o1）几乎从不提问，默认执行“不问而定”。
不确定性处理： 正确处理歧义案例的能力是最两极分化的能力。只有最强的模型（GPT-5.5, Gemini 3.1 Pro）展示了有意义的不确定性感知能力。大多数模型，包括医学专业模型，都表现出“过度报告”偏见，即在面对不确定案例时强行给出“可报告”的判定（例如，MedGemma 将 98.4% 的不确定案例归类为可报告）。
证据溯源： 高判定准确率往往掩盖了证据溯源的失败；模型经常因错误或幻觉的原因猜中正确的判定，这从较低的证据引用得分和边界条件命中率中可见一斑。

意义与主张
本文声称 PSEBench 是第一个综合评估判定、法律证据溯源、针对性信息寻求和不确定性识别的基于政策的分诊基准。研究结果表明，目前的 LLM 即使是前沿模型，也尚未准备好在现实世界的患者安全分诊中进行自主部署。在静态分类性能与交互式、符合政策的推理（特别是处理缺失信息和政策歧义）的严苛需求之间，仍存在巨大的鸿沟。作者将 PSEBench 定位为一个可扩展、可验证的测试平台，旨在指导开发更安全、更符合政策的临床安全工作流中的 LLM 应用。

局限性说明
作者指出，尽管锚点材料提高了真实感，但叙述文本是合成生成的，可能无法完全捕捉原始电子健康档案（EHR）记录中的结构性混乱。此外，评估将信息寻求抽象为对话协议，并未测试智能体在实时、非结构化 EHR 系统中导航的能力。最后，该基准目前基于 MN29 政策，尽管其构建方法论被声称可以推广至其他监管框架。