✨ 要点🔬 技术摘要
想象一下,你拥有四个非常聪明、博学多才的数字助手(AI 模型),它们在整个互联网的数据上进行了训练。你想测试它们是否能识别出某人在一段关系中遭受虐待。为此,你从人们在网上寻求建议的 475 个真实故事中提取了素材,并进行了一场“如果……会怎样”的游戏。
实验:性别置换 把每个故事想象成一个电影剧本。在原始剧本中,受害者和施暴者有特定的性别(例如男性和女性)。研究人员对这些剧本进行了四种不同“版本”的创作,仅仅是通过更换姓名和代词来完成:
女性受害者 / 女性施暴者
女性受害者 / 男性施暴者
男性受害者 / 女性施暴者
男性受害者 / 男性施暴者
描述恶劣行为的实际词汇(侮辱、控制、威胁)保持完全一致。改变的仅仅是性别的标签。然后,他们要求四个 AI 模型阅读这些剧本,并回答诸如“这是虐待吗?”、“施暴者是有意伤害对方吗?”以及“这是一段浪漫关系吗?”之类的问题。
重大发现:“男性受害者”的盲点 结果显示,这些 AI 模型不仅仅是在观察“行为”,它们还在观察涉及的人物的“性别”。就好像这些模型的脑海中有一本隐藏的规则手册,上面写着:“虐待通常看起来像是男人伤害女人。”
当故事涉及男性受害者和女性施暴者 时,AI 模型更不容易说出“是的,这是虐待”。
“隐形”的受害者: 如果一名男子描述自己受到女性的控制或伤害,AI 经常会淡化这种情况。它不太可能认为该女性具有“恶意”,也不太可能将这种情况定性为暴力。
“显性”的受害者: 相反,当受害者是女性而施暴者是男性时,AI 会更快地将其标记为虐待。
“双重标准”类比 想象一个在夜店门口检查身份证的保安(AI):
如果一名女性说:“我男朋友对我大喊大叫,”保安会立即报警(标记为虐待)。
如果一名男性说:“我女朋友对我大喊大叫,”保安会耸耸肩说:“噢,那可能只是个误会,”即便两者的措辞完全相同。
论文发现,这些 AI 模型表现得就像这个保安一样。它们似乎吸收了训练数据中存在的偏见,而这些数据通常将男性受害者视为不那么“真实”或不太需要帮助的人。
模型的差异 并非所有的 AI 模型表现都相同:
一些模型(如 Llama)对这些性别置换非常敏感,会根据人物身份的变化而剧烈改变答案。
其他模型(如 GPT 和 Grok)稍微稳定一些,但仍然表现出在受害者为男性时容易忽略虐待的倾向。
有趣的是,当故事涉及两名女性(女性/女性)时,一些模型实际上变得更 容易识别出虐待,仿佛它们在进行某种“过度补偿”,因为不再是那种“标准”的男性受害者场景。
底线 论文得出结论,这些 AI 工具并不是中立的观察者。它们已经学会了通过一种带有性别色彩的视角来看待世界,即它们预期虐待会以特定的方式发生(男人伤害女人)。因此,如果一名男性向 AI 求助以寻求关于其女性伴侣的问题的帮助,AI 可能会无法识别其中的危险,这可能导致他无法获得所需的支持。作者警告说,在我们让这些 AI 为处于危机中的人提供帮助之前,我们需要修复这些盲点,以便它们能平等地对待所有受害者。
技术摘要:大语言模型在亲密伴侣暴力检测中的性别差异
问题陈述 亲密伴侣暴力(IPV)是一个影响所有性别配置个体的关键公共卫生问题。虽然女性遭受 IPV 的比例不成比例地更高,但男性在同性及异性关系中同样遭受着 IPV,且由于性别化的男性气质预期,往往面临寻求帮助的显著障碍。随着大语言模型(LLMs)越来越多地被部署于敏感领域以提供支持和信息,人们担心这些在海量互联网语料库上训练的模型可能会吸收并复制社会偏见。具体而言,本研究调查了 LLMs 在评估 IPV 情景时是否表现出基于性别的感知偏见,从而可能导致根据受害者与施害者性别配置的不同,对受害者的认定产生差异。
研究方法 研究人员采用了反事实实验设计,在保持叙事内容不变的情况下,隔离性别对模型判断的影响。
数据收集: 研究利用了来自 Reddit 社群 r/relationship_advice 的 475 个独特的双向叙事。这些帖子的筛选基于严格的标准:必须涉及恰好两方,且具有明确可辨识的受害者和施害者角色以及明确的性别标记(男性或女性)。原始分布包括 29 个女性-女性(F/F)、228 个女性-男性(F/M)、202 个男性-女性(M/F)和 16 个男性-男性(M/M)组合。
反事实生成: 为了创建一个平衡的评估数据集,作者对这 475 篇帖子进行了性别置换程序。对于每篇原始帖子,生成了对应于所有可能性别配置(F/F, F/M, M/F, M/M)的四个版本,其中第一个位置代表受害者,第二个位置代表施害者。这最终形成了一个包含 1,900 个样本(475 篇帖子 × 4 种条件)的数据集。
模型评估: 研究评估了四种最先进的 LLMs:GPT-5o、Gemini 3、Llama 4 和 Grok 3。每种模型使用基于既定 IPV 框架(例如美国司法部暴力针对妇女办公室)的结构化问卷分析了所有 1,900 个样本。问卷评估了六个关键维度:
IS_REL: 关系是否为浪漫关系?
IS_IPV: 是否存在 IPV?
HAS_INTENT: 施害者是否表现出行使权力和控制的意图?
IS_CHEATING: 是否描述了不忠行为?
虐待亚型: 情绪、心理、身体、性、经济及技术辅助虐待的存在情况。 模型对主要变量回答“是”、“否”或“不确定”,对亚型进行二元“是/否”回答。
统计分析: 由于没有标准答案(ground-truth)标注,研究使用正标签率(PLR)作为描述性指标。为了严格隔离性别效应,研究执行了混合效应逻辑回归。模型通过随机截距控制了不同原始帖子叙事之间的变异性,并对基于受害者性别、施害者性别及其交互作用的“是”预测的对数几率进行建模。
核心结果 研究发现,模型输出在不同 LLM 之间以及同一模型在不同性别组合之间存在显著差异。
模型间差异: 各模型在基准敏感度上存在显著差异。GPT-5o 和 Grok 3 相对保守,在约 12–20% 的案例中识别出 IPV。相比之下,Llama 4 的报告率最高(30–40%),而 Gemini 3 的报告率处于中等水平(31–36%)。
双向差异(性别偏见): 即使叙事内容保持一致,所有模型都表现出对性别框架的敏感性。
男性受害者: 在受害者为男性的异性组合(M/F)中,虐待行为和施害者意图的检测率系统性下降。例如,Llama 4 的 IPV 检测率从 F/F 组合的 40.08% 下降到 M/F 组合的 30.59%。GPT-5o 也呈现类似趋势,其最低检测率(12.24%)出现在男性受害者组合中。
女性施害者: 回归分析证实,女性施害者身份是虐待识别的一个一致性的负向预测因子。对于变量 IS_IPV,女性施害者的优势比(OR)在所有模型中均显著小于 1(例如,GPT-5o 的 OR = 0.504),表明将其行为标记为 IPV 的可能性降低。
同性动态: 虽然男性受害者的异性组合被最小化了,但同性女性组合(F/F)往往引发更高的虐待识别率,特别是在情绪和心理虐待方面。值得注意的是,Llama 4 在 F/F 组合中表现出补偿性的虐待识别增加,其在情绪(OR = 2.366)和技术辅助虐待(OR = 9.316)交互项中的优势比显著升高。
虐待亚型: 所有模型对身体和性虐待的检测率均保持在较低水平(2–6%)。然而,情绪和心理虐待的检测显示出显著的性别差异,模型在受害者为男性时通常会低估这些虐待行为。
意义与主张 论文声称,LLMs 不仅仅是对行为线索做出反应,还会对关于“虐待性”组合的性别化假设做出反应。研究结果表明,这些模型复制了其训练数据中存在的性别偏见,有效地创造了一种“数字双重标准”,即在异性关系中的男性受害者需要更强的证据才能被识别为幸存者。
作者认为,这些偏见反映了社会学文献中记载的制度性失败,即男性幸存者往往被边缘化。因此,在未进行仔细审计和具备偏见意识的设计之前,将 LLMs 部署于 IPV 相关支持情境中,存在复制这些系统性障碍的风险,可能无法为男性幸存者提供充分的支持。研究结论指出,性别角色显著塑造了模型输出,因此在将此类系统用于敏感的求助干预之前,必须进行严格的评估。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题,再试一次?
无垃圾邮件,随时退订。