High-Stakes Decisions with Language Models: Insights from Emergency Triage

想象一下，你是一位正在雾气弥漫的小行星带中航行的飞船船长。你的飞船计算机异常聪明；它能看着一个模糊的点并告诉你：“这个点有90%的可能性是一个危险的小行星。”但计算机并不知道该如何处理这个数字。如果撞上了，飞船就会爆炸（错失了紧急情况）。如果你向一团无害的云团发射警告射击，则会浪费燃料并惹恼船员（不必要的误报）。计算机需要一条规则：“如果危险程度高于10%，就开火！”或者“只有在高于90%时才开火！”这条规则被称为效用函数。在现实世界中，医生每天都会面临这种雾蒙蒙的局面。他们使用分诊来决定谁需要立即救助，谁可以等待。长期以来，科学家们一直知道，做出这些高风险的决策不仅仅是关于正确猜测概率；而是关于你知道自己有多讨厌犯错。如果你太害怕错过危机，你就会把所有人送到医院。如果你太担心浪费时间，你可能会错过生死攸关的情况。大问题在于：当我们要求超级聪明的计算机大脑（称为语言模型）担任船长时，它们是知道如何设定自己的规则，还是仅仅在进行猜测？

这篇论文通过将紧急医疗分诊视为一个决策谜题，而非简单的猜测游戏，深入探讨了这个问题。研究人员选取了一组医学案例（小插曲），在这些案例中，医生已经决定了谁需要急诊，谁不需要。他们要求几种不同的AI模型阅读这些故事，首先，猜测患者需要紧急护理的概率；其次，决定是否将他们送往急诊室。团队发现了一些令人惊讶的现象：AI模型实际上非常擅长猜测概率。它们能够高精度地分辨出病人是病患者还是健康人。然而，当涉及到做出最终决定时，这些模型表现得好像它们拥有一条秘密且未言明的规则，即对于将人送往医院这件事过于谨慎了。

作者发现，在一种流行的消费级健康工具中观察到的“糟糕”行为（该工具被发现漏掉了超过一半的真实紧急情况），并不是因为AI愚蠢或不懂医学。相反，是因为AI正在使用一个隐藏的、默认的规则，该规则看重节省资源而非拯救生命。这就像一位船长，除非确定小行星有99%的把握，否则拒绝发射警告射击，即便错过一个会导致灾难性的后果。论文显示，当研究人员明确告诉AI，“嘿，错过一次紧急情况比发生一次误报严重5倍”时，AI立刻改变了主意。它开始向更多患者发送急诊建议，在没有导致不必要就诊量大幅激增的情况下，多捕捉到了约50%的真实紧急情况。

这项研究表明，问题不在于AI预测未来的能力，而在于它遵循船长关于“什么最重要”之指令的能力。研究人员发现，通过简单地改变提示词中的措辞，以明确不同错误的“代价”，我们就可以引导AI表现得像一名注重安全的医生，或者一名注重节省资源的医生，取决于实际需求。他们还指出，如果没有这些明确的指令，每个AI模型似乎都有自己奇怪且隐形的偏好，而这种偏好是无人能见或控制的。论文总结道，为了让这些工具在真实的医院中安全且有用，我们不能仅仅要求它们“变得聪明”。我们必须明确地告诉它们如何权衡风险，就像船长在进入迷雾前必须给其导航计算机下达清晰的指令一样。