Evaluating the Presence of Sex Bias in Clinical Reasoning by Large Language Models
这项研究表明，当代大语言模型在处理非信息性患者病例时，在临床推理方面表现出显著的模型特定性别偏见，这强调了为确保安全整合进医疗保健领域而进行保守配置、数据审计和人工监督的紧迫需求。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有四位不同的“数字医生”（AI聊天机器人），它们在阅读医学教科书和撰写报告方面极其聪明。你想看看它们在诊断患者时是否公平。为了测试这一点，研究人员创建了50个虚构的患者故事。这些故事经过精心编写，确保患者的性别（男或女）对于判断病情并无实际影响。这就像一个谜题，无论拼图块是红色的还是蓝色的，解法都是一样的。
以下是当研究人员要求这些AI医生解决这些谜题时发生的情况：
1. “猜谜游戏”偏见
当研究人员询问AI：“患者的性别是什么？”而没有给出任何线索时，AI并没有说“我不知道”。相反，它们开始基于刻板印象进行猜测，就像一个人根据名字来猜测某人的职业一样。
- “女性”猜测者： 三个AI（ChatGPT、Claude和DeepSeek）都有一个强烈的习惯，即倾向于猜测患者为女性。例如，如果故事是关于心脏问题或泌尿系统问题，它们仍然经常猜测为“女性”。
- “男性”猜测者： 一个AI（Gemarini）则恰恰相反，大多数时候都会猜测为男性。
- 专科刻板印象： 这种偏见根据医学领域的不同变得更加奇怪。
- 如果故事涉及精神病学、风湿病学或血液疾病，所有 AI都会100%地猜测为“女性”。
- 如果故事涉及心脏或泌尿系统问题，所有 AI都会100%地猜测为“男性”。
- 这就像AI脑子里有一张地图：即便故事里什么都没提，它们也认为“悲伤”总是属于女性，而“心脏病”总是属于男性。
2. “温度”旋钮
研究人员尝试调节AI上的“温度”旋钮。你可以把这想象成一个“辣度”旋钮：
- 低温度 (0.2)： AI非常严谨、逻辑性强且重复。
- 高温度 (1.0)： AI更具创造力、随机且狂野。
他们曾希望通过让AI变得更“有创意”（调高热度）来打破这些刻板印象。但事实并非如此。 虽然高温度下的AI给出的猜测列表略有不同，但底层的偏见（根据专科进行性别猜测）完全没有改变。这种“调味”并没有修复配方，只是让原本带有偏见的菜肴味道变得稍微有些不同而已。
3. “我不知道”选项
在第二次测试中，研究人员给了AI第三个选项：“弃权”（或“我不知道”）。
- ChatGPT 立即选择了最稳妥的路线，每次都回答“我不知道”。
- 其他AI 大多数时候会说“我不知道”，但并非总是如此。
陷阱在于： 即使AI停止了说出患者的性别，它们在后台仍然在进行性别思考。当被要求列出针对“男性版本”故事与“女性版本”故事的可能疾病时，所列出的疾病清单发生了变化。即使AI没有明确标注，它们在幕后仍然在以不同的方式对待这两类患者。
4. 最终结论
论文得出结论，这些AI模型就像是背诵了过时且带有偏见的教科书的学生。它们并没有学会中立思考，而是在重复它们在训练数据中看到的模式。
- 偏见是内置的： 这种偏见不是一个故障，而是模型构建方式的一部分。
- 设置无法修复问题： 你不能仅仅通过调整一个设置（如温度）来让它们变得公平。
- 危险性： 由于这些模型会根据它们认为患者是男性还是女性来改变医疗建议（即便症状完全相同），作者表示，目前不应将这些通用AI工具用于做出真实的医疗决策。
总结： 如果你向这些数字医生寻求帮助，它们可能很聪明，但也带着沉重的旧式刻板印象包袱。在它们学会忽略这些刻板印象之前，人类需要密切监督它们的工作。
核心启示： 如果你向这些数字医生求助，它们虽然聪明，但也背负着陈旧观念的重担。在它们学会忽视这些刻板印象之前，人类需要对它们的工作保持高度警惕。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。