Deployment protocol and base model jointly determine residual risk in rule-based clinical LLM supervision

想象一下，你刚刚制造出了一个超级聪明的机器人助手，它能够阅读医疗图表并建议治疗方案。你感到非常兴奋，但你也知道，即使是最聪明的机器人有时也会编造事实、给出危险的建议，或者在面对棘手问题时感到困惑。这就是**临床大语言模型（Clinical LLMs）**的世界：它们是旨在帮助医生但同时也带有造成伤害风险的强大 AI 工具。为了确保安全，科学家们一直在构建“护栏”——即在任何人看到机器人的回答之前对其进行检查的数字安全网。但这里有一个大问题：安全网对每个机器人起到的作用都一样吗？如果你撤走了人类备份计划，又会发生什么？这篇论文深入探讨了这一点，测试了一套特定的基于规则的安全检查是否能让不同的 AI 模型保持安全，以及如果我们尝试让它们完全自主运行时，仍然存在多少风险。

研究人员设置了一个数字“哨兵”——一个由五个不同关卡组成的严格、遵循规则的裁判——来监督五个不同的 AI 模型（范围从较小的开源模型到庞大的顶级商业模型）。他们在两种类型的医疗场景中测试了这些模型：一种是旨在欺骗 AI 的虚构案例，另一种是取自医院记录的真实案例。他们以两种截然不同的模式运行了测试。第一种模式是**“交接开启”（Handoff-On），就像有一位人类监督员站在机器人旁边。如果哨兵抓到了一个错误的答案，它会拦截该答案并将其发送给人类医生进行修正或审查。第二种模式是“交接关闭”（Handoff-Off）**，这是“自主”模式：机器人必须完全独立完成工作。如果哨兵在这里抓到了一个错误的答案，由于没有人类来救场，原始的、可能具有危险性的答案仍可能通过，或者系统只能处理由此产生的混乱。

结果既有“好消息”，也有“谨慎，请小心”的警示。当人类监督员在场时（交接开启），安全网对所有模型都起到了极好的作用。无论他们测试哪种 AI，到达用户的危险答案率实际上都保持在 6% 以下。这就像是在夜总会门口有一个保镖，几乎抓住了所有的捣乱者。然而，这种成本因模型而异。较弱的模型（如 Qwen 7B 和 Llama 8B）需要被拦截并送去寻求人类帮助的情况接近一半。而更强的模型（如 Sonnet 4.5 和 Gemma 4）几乎不需要任何帮助，让超过 99% 的答案直接通过。

但是，当他们关闭人类监督员时（交接关闭），情况发生了彻底的变化。系统的安全性突然完全取决于你使用的是哪种机器人。最强的模型保持了安全，危险答案保持在极低水平（约 0% 到 2%）。但那些较弱的模型呢？它们的安全性崩溃了。在没有人类接应的情况下，危险答案的比例跳升到了 13% 到近 50% 之间。论文发现，这种差异的关键在于 AI 的“自我纠错”能力。当哨兵告诉一个强模型：“嘿，你犯了个错误，再试一次”时，强模型通常能修复它。然而，较弱的模型往往无法修复自己的错误，尤其是如果它们在回答的基本格式上出错的话。

研究人员还测试了尝试通过“微调”（重新训练）模型来使其更好地胜任特定任务会发生什么。令人惊讶的是，这有时反而会让模型在遵循安全规则方面表现得更差，导致它破坏了自己的格式规则。然而，即便在这种情况下，基于规则的哨兵也足够强大，能够捕捉到错误并确保最终输出的安全。他们甚至在一个拥有近 3,000 个来自三家不同医院的真实场景的 700 亿参数大型模型上进行了测试，这证实了这一趋势：有了人类备份，它是完全安全的；没有人类备份，它虽然仍然很安全，但并不像顶尖商业模型那样完美。

一项最后的、至关重要的实验涉及一名人类医生审查 AI 的最终答案。医生发现，虽然安全规则捕捉到了明显的错误，但却漏掉了一些细微但危险的推理错误。例如，AI 可能完美地遵循了所有安全规则，但由于误解了实验室结果，仍然建议了错误的药物剂量。这证明了虽然基于规则的哨兵是捕捉结构性错误的绝佳安全网，但它不能替代医生的头脑。论文得出结论，如果我们想在医院使用这些 AI 工具，我们需要选择适合该任务的模型，并诚实地说明我们是否准备好了人类介入。你不能假设安全网对每个机器人都同样有效，你绝对不能让最弱的机器人独自掌控全局。