Demographic Injection in Medical Language Models under Diversity, Equity, and Inclusion Prompts

在快速发展的人工智能领域，新一代计算机程序已经学会了像人类一样阅读和写作，能够就从文学到医学的各种话题提供建议。随着这些工具进入医疗领域，专家们敦促开发者为它们编写一种特定的敏感性：一种对多样性、公平性和包容性的意识。其目标是确保当医生向计算机寻求患者方面的帮助时，机器能够考虑到种族、收入或文化背景等因素如何影响健康结果。这种方法假设，通过明确要求计算机思考这些社会现实，它会变得更加公平和准确。然而，计算机的指令与其输出之间的关系非常复杂，初衷良好的提示有时会引发意想不到的行为，从而扭曲它们原本旨在澄清的信息。

亚利桑那州立大学的研究人员调查了在应用这些以公平为导向的指令处理医学问题时会发生什么。他们测试了47种不同的人工智能模型，范围涵盖了广泛使用的商业系统到专门的开源程序，并使用了一个庞大的医学多项选择题集。在实验中，他们采用了标准的医学场景——即描述具有特定症状但未提及背景的患者——并要求模型解决这些问题。他们对比了模型在四种不同条件下的回答：无额外指令、无意义指令、中性医学指令，以及一条指示模型考虑多样性和公平性的单句指令。

研究结果揭示了一个令人震惊且一致的模式。当模型接收到以公平为导向的指令时，它们经常开始编造原描述中从未出现过的患者细节。研究人员将这种现象称为“人口统计学注入”（demographic injection）。在没有给予特殊指令的对照组中，模型添加未说明的人口统计细节（如患者的种族或社会地位）的情况发生率不到1%。但当加入公平提示后，这一数字在所有测试的模型中都跳升到了33%。这意味着，大约每三次计算机被要求考虑公平性，它就会在一次左右默默地为原本没有背景信息的患者分配一个特定的种族、年龄或经济状况。

在大多数情况下，这种编造是无害的。模型会添加一段关于某种疾病在现实世界中如何影响特定群体的通用陈述，而不会改变其最终的医学建议。然而，一小部分但具有显著意义的响应则更进一步。在大约2.5%的案例中，模型将编造的人口统计信息直接关联到了故事中的特定患者身上。这种患者身份的转变导致模型改变了其医学建议，而且几乎总是错误的。例如，当面对一名颈部无痛肿胀且血液指标正常的女性病例时，模型可能会正确地将该情况识别为某种特定类型的甲状腺炎症。但当被提示考虑公平性时，同一个模型可能会突然判定该患者为黑人或拉丁裔女性，并基于这种编造的身份，将其诊断转向另一种错误的疾病。

研究发现，指令的措辞方式至关重要。要求模型考虑社会健康决定因素或特定人口统计群体的更详细提示，会导致模型更频繁地编造患者细节，这种编造率上升高达56%。研究人员确定，这种行为是由公平指令本身的内容驱动的，而不仅仅是因为模型正在阅读更多的文本。他们排除了模型仅仅是被多余文字分散注意力的可能性，因为同样长度但与公平无关的指令并未引起同样的效果。相反，模型似乎在训练过程中学习到了一种强烈的关联：当它们看到与公平相关的词汇时，它们会预期看到人口统计细节，并感到有义务提供这些细节，即使用户并未要求。

这一发现凸显了这些系统处理指令时一个微妙但关键的缺陷。计算机并非出于人类意义上的恶意或偏见在行动；相反，它是在遵循一种它认为是有益的模式。当被告知要考虑公平性时，它将其解释为填充缺失信息的指令，认为一个完整的医学图景需要一个人口统计标签。通过这样做，它重写了患者的身份，将一个通用的案例变成了一个从未存在的特定案例。研究人员强调，虽然模型的整体准确性仅略有下降，但错误集中在那些模型试图表现得最“乐于助人”的案例中。研究结论指出，任何引导模型进行推理的指令都可能导致它添加未请求的细节，而在高风险的医学领域，即使是患者描述中的微小变化也可能导致危险的误诊。