Gender bias in AI-based model according to the sex composition of the training sets: the case of a model triaging patients requiring referral to hospital emergencies among those seeking emergency or unscheduled care by phone
这项研究表明，通过性别平衡训练数据不足以确保基于人工智能的急诊分诊模型的公平性，因为仅基于女性数据的模型在两性中均具有良好的泛化能力，而仅基于男性的模型在女性群体中的表现却很差，这凸显了在设计阶段解决结构性偏差的需求，而非仅仅依赖于数据构成。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
当一个人拨打紧急求助电话时，第一个决定往往是由电话另一端的语音做出的。调度员必须迅速判断呼叫者是需要救护车、医生上门服务，还是仅仅建议等待。近年来，医院和急救服务部门开始使用人工智能来协助完成这项艰巨的任务。这些计算机程序通过倾听对话、阅读所说的词汇，并计算情况的紧急程度。人们希望机器能够比人类处理信息更快、更一致，尤其是在呼叫者处于痛苦或困境之中时。然而，医学领域存在一个持久的问题，即女性获得的护理往往与男性不同，有时甚至对她们不利。她们在获得止痛药物方面可能等待更久，或者在描述症状时被认为不够严肃。对于新时代的医疗技术而言，一个关键的问题是：这些计算机程序是会简单地重复那些旧的人为错误，还是可以被构建成公平对待每个人？
法国的一个研究小组致力于在紧急医疗调度这一背景下，调查正是这样一个问题。他们与一个名为 SOS Médecins Grand Paris 的大型机构合作，该机构每天处理数千起需要当天医疗帮助的求助电话。研究人员专注于一种特定类型的电话：即医生最终前往患者家中进行随访的电话。在每次随访结束时，医生都会记录患者是被送往医院急诊科还是被送回家中。这一记录作为研究的“地面真值”（ground truth），使研究人员能够观察哪些电话实际上需要紧急住院治疗。他们收集了 2018 年至 2023 年间发出的近两百万个电话的数据，将初始通话的音频录音与患者最终的医疗记录进行匹配。在清洗并匹配数据后，他们拥有了一个包含超过一百万个配对通话及结果的海量集合。
随后，研究人员构建了三个不同的计算机模型，以观察训练数据中男女比例的混合如何影响结果。他们不仅仅是建立了一个模型并进行测试；他们创建了三个不同的版本，以分离性别平衡的影响。第一个模型仅使用来自男性的数据进行训练。第二个模型仅使用来自女性的数据进行训练。第三个模型使用了男女比例完美的混合数据，但其样本总数只有前两个模型的一半。然后，他们用新的、未见过的通话对每个模型进行测试，以观察其预测谁需要住院的能力。其目标是观察一个由平衡群体训练出的模型是否能对男女双方都表现出同样良好的性能，或者训练数据的构成是否会改变机器“看待”男性和女性的方式。
结果揭示了这些机器如何学习的一个令人惊讶且复杂的图景。仅针对男性训练的模型在处理男性时表现良好，但在应用于女性时却遇到了显著困难。它未能识别出许多实际上需要紧急护理的女性，显示出明显的性能差距。相比之下，仅针对女性训练的模型在处理女性时表现良好，并且或许更令人惊讶的是，它在处理男性时也表现得同样出色。它在应用于男性群体时似乎并未损失准确性。第三个模型（由男女混合训练而成）的表现则介于两者之间。它对男性的表现优于女性，但差距比仅针对男性的模型要小。至关重要的是，研究人员发现，仅仅在训练数据中平衡男女数量并不能保证公平。即使是平衡后的模型也显示出对男性的轻微偏好，这表明问题不仅仅在于拥有相等数量的样本，而在于性别之间症状与结果的关系有着更深层的东西。
为了理解为什么会发生这种情况，研究人员仔细观察了模型在做出决策时认为最重要的词汇。他们发现，描述紧急情况所使用的语言在不同模型中的权重不同。例如，与跌倒或呼吸短促相关的词汇对两组人群都很重要，但诸如“疼痛”和“腹部”之类的术语对女性模型具有高度影响力，而“出血”和“头晕”则驱动了男性模型的决策。这表明，患者所说的话与他们是否需要住院之间的关系，在男性和女性之间并不完全相同。计算机模型不仅仅是未能看到足够的女性案例，它们还学到了紧急情况的征兆因性别而异。一个试图同时从两组人群中学习的单一模型，最终会做出一种向多数群体（在此案例中倾向于男性）倾斜的折中方案。
研究结论指出，解决人工智能中的性别偏见并不简单，仅仅确保训练数据中有相等数量的男性和女性是不够的。虽然平衡数据有所帮助，但它并不能自动解决问题。研究人员认为，男性和女性在经历和描述疾病方面的差异是结构性和根本性的。正因如此，一个专门为女性构建的模型似乎足以应对男性，但一个为男性构建的模型却无法很好地转化到女性身上。这一发现挑战了普遍假设，即一个单一的、平衡的算法可以平等地对待每个人。相反，它表明医疗人工智能的公平性可能需要从设计的最初阶段就开始承认这些深层的差异，而不是在后期试图通过简单的调整数据来纠正。这项工作强调，要使这些工具真正安全有效，必须在构建时理解，人类对疾病的体验在不同性别之间并非统一的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。