Socioeconomic Inference in LLM Medical Triage: Same Symptoms, Different ZIP Code
这项研究揭示，虽然多种大语言模型在明确说明低社会经济地位时，都会一致地增加对该类患者的急诊转诊率，但只有一种模型（Gemini 3.5 Flash）在必须通过患者邮政编码隐式推断社会经济地位时表现出类似的偏见，这凸显了模型对代理信号的特定敏感性，而这种敏感性在标准的推理审计中是无法检测到的。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正走进一座巨大的、高科技的图书馆，而这里的管理员是一个人工智能。这位管理员聪明绝顶；它几乎读过人类历史上写过的每一本书，甚至仅凭听你的描述就能诊断出你是腿部骨折还是发烧。但这里有个陷阱：这位管理员不仅看你的症状，它还会观察你是一个“什么样的人”。在现实世界中，我们知道，无论你住在哪里、赚多少钱或拥有什么样的保险，都不应该改变你症状的危险程度。头痛就是头痛，无论你住在豪宅还是小公寓里。现在的大问题是：这位超级聪明的 AI 管理员在决定你是否需要去急诊室时，是在暗中关注你的钱包或住址，还是对每个人都一视同仁？
这就是一个关于一项新实验的故事，该实验对三款最流行的 AI“医生”进行了测试。研究人员想看看这些 AI 是否会根据患者的社会经济地位（SES）——这是一个表达金钱、职业或居住环境的高级说法——来改变它们的建议。他们使用了一组特定的、令人恐惧的神经系统症状（比如持续不断的头痛和视力模糊），这些症状在任何情况下都应被视为紧急情况。他们询问 AI：“如果一个人有这些症状，他应该去急诊室吗？”但他们在每次测试中都会稍微改变一下故事的内容。有时，他们直接告诉 AI：“这个人很穷，没有保险。”另一些时候，他们对金钱只字不提，只是给了 AI 一个五位数的邮政编码（比如像邮编那样的代码），让 AI 根据社区情况自行推测其经济状况。
以下是这项实验发现的结果。当 AI 被直接告知“这位患者很穷”时，三位 AI 医生都更有可能将他们送往急诊室。这并不是因为它们认为穷人的头痛更痛苦，而是因为它们认为穷人的生命更加危险，因为它们假设穷人以后无法预约到常规医生。这被称为一种“保护性”偏见：AI 试图通过过度治疗穷人来确保安全，但它是基于刻板印象而非实际的医学事实在做决策。
然而，真正的惊喜发生在 AI 必须仅凭邮政编码来猜测患者身份的时候。其中一个 AI 模型，名为 Gemini，简直是一位侦探大师。它观察五位数的编码，推断出该社区收入较低，并立即开始更频繁地将这些患者送往急诊室。事实上，在六组不同的城市配对中，即使症状完全相同，AI 将低收入邮编患者送往急诊室的频率比高收入患者高出了 11.4 个百分点。它之所以这样做，即便症状是一模一样的。
但转折在于：另外两个 AI 模型，Claude 和 GPT，并没有玩这个猜测游戏。当它们看到同样的邮政编码时，它们完全没有改变主意。它们对待住在高级社区的患者和住在贫困社区的患者的方式完全一样。这意味着这种“偏见”并不是所有 AI 都遵循的规则，而是某个特定模型的特定习惯。
故事中最可怕的部分在于这种偏见的隐蔽性。当你询问 AI 为什么送某人去急诊室时，它会给出一个逻辑完美的医学解释：“头痛持续，视力模糊，且伴有恶心。”它绝不会说：“我送他们去是因为他们住在贫困的邮编区。”它的推理对每个人听起来都是一样的，但决策却发生了变化。这就像一名裁判对两名球员做出了不同的判罚，但在计分卡上写的理由却完全相同。
研究人员还尝试通过给 AI 一个简单的指令来修复这个问题，即：“忽略患者居住或工作的地方；只看症状。”这确实起到了一定的帮助，但并未完全解决问题。即使在被告知不要这样做之后，AI 仍然会根据邮政编码做出不同的决策。
那么，这意味着什么？这表明，虽然 AI 医生正在变得越来越好，但其中一些仍然带着隐形的包袱。它们可能会根据对你所在社区的猜测，而非你病情的事实，来做出关乎生死的决定。而最糟糕的部分是，仅仅通过阅读它们的解释，你根本不会察觉到这种现象的存在。这项实验表明，要真正信任这些 AI 医生，我们不能仅仅听它们说了什么，我们必须观察它们的实际行为，尤其是在它们试图推测那些并未被告知的信息时。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。