When Cars Have Stereotypes: Auditing Demographic Bias in Objects from Text-to-Image Models
本文介绍了 SODA，这是一个用于审计文本生成图像模型在物体生成中人口统计学偏差的新型框架，该框架揭示了中性提示词会隐式地偏向中年白人人口统计特征，且人口统计学线索会触发极端的刻板印象，并指出目前的去偏差技术往往仅仅是将一种刻板印象替换为另一种。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你拥有一台神奇的艺术机器，只要你描述，它就能画出任何东西。如果你说“画一辆车”，它就会画出一辆；如果你说“画一辆给女性的汽车”，它就会画出另一辆。
这篇题为**《当汽车带有刻板印象时》（"When Cars Have Stereotypes"）**的论文，研究了当我们要求这些 AI 艺术机器为特定群体（基于年龄、性别或种族）绘制日常物品（如汽车、笔记本电脑或泰迪熊）时会发生什么。研究人员发现，这些机器不仅仅是在画物体，它们还在暗中描绘深植于心的刻板印象。
以下是使用简单类比对研究结果进行的拆解：
1. 问题所在：“默认”设置存在偏见
研究人员发现，即使当你要求绘制一个“中性”物体（仅仅是“一辆车”）时，AI 也不会画出一辆通用的汽车。相反，它默认会画出一辆看起来属于中年白人男性的汽车。
- 类比： 想象一家餐厅声称供应“标准汤”。但如果你尝起来，它总是和你邻居最喜欢的食谱味道一模一样。AI 认为“标准”人类是中年且白人的，所以除非你另有说明，否则它会把一切都画成符合这个形象的样子。
2. 工具：SODA（“偏见检测器”）
为了衡量这一点，作者构建了一个名为 SODA（刻板印象对象诊断审计，Stereotyped Object Diagnostic Audit）的新工具。你可以把 SODA 看作是 AI 艺术的质量控制检查员。
SODA 不仅仅是观察图片，它还使用一个“智能相机”（视觉语言模型）来记录每一个细节：
- 汽车是什么颜色的？
- 笔记本电脑是玫瑰金还是炭灰色？
- 泰迪熊是否戴着领结？
然后，SODA 会运行三项特定的测试（指标）来查看 AI 是否公平：
- “漂移”测试 (BDS)： 当你添加人口统计学词汇（如“给女性的”）与中性词汇相比时，图片是否发生了变化？
- “差距”测试 (CDS)： A 组的图片与 B 组的图片有多大差异？（例如：男性得到的是黑色轿车，而女性得到的是粉色紧凑型轿车吗？）
- “重复”测试 (VAC)： AI 是否陷入了循环？（例如：如果你要求画 20 台给女性用的笔记本电脑，它是否 20 次都画了完全相同的玫瑰金笔记本电脑？）
3. 研究结果：AI 是一个“刻板印象机器”
当他们在 5 种顶级 AI 模型上运行 SODA 并生成 8,000 张图像时，结果令人震惊：
- “粉色汽车”效应： 当提示语为“给女性的汽车”时，AI 几乎总是画出粉色或紧凑型汽车。当提示语为“给男性的汽车”时，它会画出黑色轿车。这不仅仅是轻微的偏好，而是一种僵化的规则。
- “20 比 1”的循环： 在约 26.6% 的案例中，AI 的刻板印象如此严重，以至于如果你要求 20 张图像，它会画出完全相同的图像 20 次。
- 例子： 为女性画出的每一台笔记本电脑都是玫瑰金的。为黑人画出的每一个泰迪熊都是巧克力棕色的。
- “面部印记”故障： 一些模型变得异常字面化。
- 一个模型（Qwen）竟然直接把一个老年人的脸印在了一个杯子上。
- 另一个模型（GPT）会在杯子上写上“Black is Beautiful”（黑人很美）或在时钟上写上“Latinx Time”（拉丁裔时间）。
- 第三个模型（Imagen/Flux）产生了混淆，认为“给女性用的杯子”指的是月经杯而不是饮水杯。
4. 悖论：试图修复反而让情况变糟
研究人员尝试了一种常见的修复方法：他们告诉 AI，“请避免刻板印象，并画出多种多样的风格。”
- 好消息： AI 不再为不同群体绘制如此迥异的图片。男女之间的“差距”缩小了。
- 坏消息（同质化效应）： AI 并没有变得多样化，它只是变得平庸统一了。
- 类比： 想象一位 DJ，通常为男性播放重金属音乐，为女性播放乡村音乐。你告诉这位 DJ，“停止玩刻板印象梗。”这位 DJ 并没有为每个人播放爵士、摇滚和流行乐的混合组合，而是决定为所有人播放同一首安全、通俗的流行歌曲，连续播放 20 次。
- AI 减少了不同群体之间的差异，但它也扼杀了群体内部的多样性。它用一种新的“安全”刻板印象取代了原来的僵化刻板印象。
5. 结论
论文得出结论，目前的 AI 模型已经学会了以一种非常僵化的方式将物体与特定的人口统计特征联系起来。
- 中性提示词并不中性；它们倾向于中年白人男性。
- 特定提示词会触发极端的、重复性的刻板印象。
- 简单的文本修复（比如告诉 AI “要多样化”）通常只会让 AI 收敛到一个新的、同样乏味的默认值，而不是创造真正的多样性。
作者认为，我们需要像 SODA 这样的工具来衡量这些隐藏的偏见，这样我们才能构建出不仅仅是把一种刻板印象替换为另一种，而是真正能提供多样化选择的 AI。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。