💻 computer science

Bias at the End of the Score

该论文通过大规模审计发现，原本用于评估质量的奖励模型（RMs）内嵌了人口统计学偏见，导致在文本到图像生成过程中加剧了对女性形象的性化、强化性别与种族刻板印象并削弱多样性，从而揭示了当前奖励模型在鲁棒性和公平性方面的严重缺陷。

原作者： Salma Abdel Magid, Grace Guo, Esin Tureci, Amaya Dharmasiri, Vikram V. Ramaswamy, Hanspeter Pfister, Olga Russakovsky

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Salma Abdel Magid, Grace Guo, Esin Tureci, Amaya Dharmasiri, Vikram V. Ramaswamy, Hanspeter Pfister, Olga Russakovsky

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给 AI 绘画界的“评分老师”做了一次全面的体检，结果发现这些老师虽然号称是“公正的裁判”，但实际上脑子里装满了刻板印象和偏见。

为了让你更容易理解，我们可以把整个 AI 绘画过程想象成一家**“超级照相馆”**。

1. 背景：谁是“评分老师”？

在这个照相馆里，AI 模型（比如 Midjourney 或 Stable Diffusion）是**“画师”，它负责根据你说的话（提示词）画画。
但是，画师画得怎么样？谁说了算？
这就引出了奖励模型（Reward Models, RMs）。你可以把它们想象成照相馆里的“金牌评委”**。

它们的作用是给画打分：这张画美不美？像不像你描述的？
现在的照相馆非常依赖这些评委：用来筛选好图、用来训练画师（告诉画师怎么画分更高），甚至用来过滤掉“不安全”的图。

2. 核心发现：评委的“私心”

这篇论文的研究者发现，这些“金牌评委”并不像它们看起来那么中立。它们虽然被训练成“只关注画质”，但实际上，它们的打分规则里藏着深深的人口偏见（比如对性别、种族的刻板印象）。

这就好比，这些评委心里有个潜规则：“白人画得最好”、“女人应该穿得性感”、“医生应该是男的”。

3. 两大“翻车”现场

研究者通过两个实验，揭开了这些评委的“真面目”：

实验一：当评委亲自“指导”画师时（优化过程）

想象一下，你让画师画一张“医生”的图，但没指定性别和种族。

原本期望：画师随便画个医生，只要像医生就行。
实际情况：当你让“金牌评委”介入，告诉画师“往高分方向优化”时，奇怪的事情发生了：
1. 女性被过度“性化”：如果画的是女性，评委为了拿高分，会疯狂让画师给女性脱衣服、摆出性感姿势。研究发现，女性被“性化”的概率比男性高出了2.7 倍！就像评委觉得“女人不性感就不算好画”。
2. 种族被强行“同化”：如果画的是黑人、亚裔或拉丁裔，在评委的“指导”下，他们的皮肤颜色、五官特征会慢慢变成白人。就像评委觉得“只有白人长得才符合‘美’的标准”，于是把其他种族的人强行“漂白”了。

比喻：这就像你让一个有偏见的老师帮你修改作文，你只说“写个好人”，结果老师为了拿高分，把“好人”全改成了“穿西装的白人男性”，把“女性”全改成了“穿着暴露的模特”。

实验二：直接给评委“打分”（评估过程）

研究者直接拿着一堆长得几乎一样、只是种族和性别不同的图片（比如都是医生，一个是黑人女性，一个是白人男性），让评委打分。

结果：评委毫不掩饰地表现出偏好：
- 白人（尤其是白人男性）通常得分最高。
- 亚裔得分最低。
- 职业刻板印象：如果是“护士”，评委给女性打分高；如果是“工程师”，评委给男性打分高。这完全是在复现实世界中那些过时的职业偏见。
- 甚至当你用负面词汇（如“不诚实”）描述时，评委依然觉得白人的图比黑人的图“质量更好”。

比喻：这就像评委手里拿着一把**“有色眼镜尺子”**。不管画的是什么，只要画上的是白人，尺子量出来就是“优秀”；只要画上的是少数族裔，尺子量出来就是“不及格”。

4. 为什么这很危险？

这篇论文最可怕的结论是：这些偏见不是画师（生成模型）的错，而是“评委”（奖励模型）的错。

恶性循环：因为画师发现“画成白人、画成性感女性”能拿高分，所以它会越来越倾向于画这些内容。
多样性消失：久而久之，AI 生成的世界里，所有人都会长得像白人，女性都会变得很性感，职业分布也会完全符合刻板印象。真正的多样性会被“优化”掉。
信任危机：我们原本以为这些评分模型是客观的“质量标尺”，现在发现它们其实是偏见的放大器。如果我们继续用它们来筛选图片或训练 AI，只会让 AI 变得更不公正。

5. 总结与建议

这篇论文就像给 AI 行业敲了一记警钟：

现状：目前的“评分老师”（奖励模型）并不中立，它们把人类社会中的偏见（种族歧视、性别歧视）学进去了，并且正在通过“打分”把这些偏见强加给 AI 生成的世界。
后果：如果不加干预，AI 生成的图像会越来越单一、越来越刻板，甚至加剧现实世界的不平等。
出路：我们需要重新训练这些“评委”，收集更多样化的数据，制定更公平的评分标准，确保它们真正关注的是“画得好不好”，而不是“画得像不像某种刻板印象”。

一句话总结：
AI 绘画界的“裁判”们不仅没做到公正无私，反而成了偏见的扩音器，正在把 AI 生成的世界强行改造成一个充满刻板印象的“单一色”世界。我们需要赶紧给这些裁判“洗洗脑”，换一套公平的规则。

论文技术总结：《Bias at the End of the Score》（评分末尾的偏见）

1. 研究背景与问题定义

背景：
奖励模型（Reward Models, RMs）在文本到图像（T2I）生成系统中扮演着核心角色。它们被用于数据集过滤、作为评估指标、在参数优化过程中提供监督信号（如强化学习微调），以及生成后的安全与质量过滤。常见的 RM 包括 PickScore, ImageReward, HPS 等，它们旨在通过单一分数来量化图像的整体质量、美学、文本对齐度及人类偏好。

核心问题：
尽管 RMs 被设计为“质量度量”，但本文指出它们并非价值中立。现有的研究多关注 RMs 在集成过程中的具体缺陷（如奖励黑客攻击、模式崩溃），但对其作为评分函数时的鲁棒性和公平性（特别是针对人口统计学偏见）缺乏系统性评估。
本文旨在回答：当 RMs 被用于优化生成过程或评估生成图像时，它们是否编码了人口统计学偏见？这些偏见如何导致生成图像出现不成比例的性化（hypersexualization）、刻板印象强化以及人口多样性丧失？

2. 方法论 (Methodology)

作者通过两个主要部分（Part I & Part II）对五种广泛使用的奖励模型（PickScore, ImageReward, HPS, VQAScore, CLIP）进行了大规模审计。

Part I: 奖励引导优化的偏差效应 (Reward-Guided Optimization)

实验框架：使用 ReNO (Reward-based Noise Optimization) 框架。该框架通过梯度上升优化初始噪声向量 $\epsilon_0$ ，以最大化奖励模型 $R(G_\theta(\epsilon, p), p)$ 的得分，同时保持生成模型参数冻结。
实验设置：
1. 过度性化测试 (Hypersexualization)：构建包含不同人口属性（性别、种族）的提示词，观察优化后图像中 NSFW（不适宜工作场所）内容率和皮肤暴露率（Skin Exposure, SE）的变化。
2. 人口统计漂移测试 (Demographic Drift)：使用“反事实”方法。首先通过梯度搜索找到能生成特定人口属性（如“黑人女性医生”）的初始噪声 $\epsilon_0$ ，然后在未指定人口属性的通用提示（如“一位医生”）下对其进行奖励优化，观察优化后图像的人口属性是否发生系统性改变。
评估指标：
- NSFW 分类率变化 ( $\Delta_{nsfw}$ )。
- 皮肤暴露比例变化 ( $\Delta_{skin}$ )。
- 基于 Chicago Face Database (CFD) 锚点的感知种族和性别分类准确率。

Part II: 反事实图像的评分偏差 (Disparate Scoring)

实验框架：直接评估 RM 对反事实图像对的评分差异。
数据集：使用 CausalFace, SocialCounterfactuals, PAIRS 三个数据集，这些数据集包含仅在种族或性别上不同，而语义和上下文保持一致的图像对。
提示词：涵盖刻板印象内容模型 (SCM)、ABC 模型、DALL-Eval 描述符集及职业类别。
分析方法：
1. 线性回归：拟合 OLS 回归模型，分析种族 ( $\rho$ ) 和性别 ( $\gamma$ ) 对评分 $s$ 的系数影响，特别是职业提示词与真实世界劳动力统计数据的关联。
2. 基于排名的分析：计算不同人口群体在评分中的平均排名，以捕捉相对偏好顺序。

3. 关键发现 (Key Results)

3.1 奖励优化加剧过度性化 (Amplified Hypersexualization)

现象：使用 RM 优化噪声会导致图像中出现更多的 NSFW 内容和皮肤暴露。
性别差异：这种效应在女性主体上不成比例地放大。
- PickScore 导致女性主体的 NSFW 率平均增加 19%，而男性仅增加 7%（增幅是男性的 2.7 倍）。
- 皮肤暴露率（SE）的增加也是女性显著高于男性（2.3 倍）。
结论：优化过程不仅提升了“质量”，还系统性地引入了性化特征，且对女性影响最大。

3.2 奖励引导导致人口统计收敛 (Demographic Convergence)

现象：即使提示词未指定种族，优化过程也会将非白人主体的图像“漂移”为白人主体。
数据：
- 使用 ImageReward 和 HPS 优化后，初始为黑人主体的图像中，超过 80% 被重新分类为白人。
- 使用 ImageReward 和 CLIP 优化后，初始为女性主体的图像中，有 39% 和 26% 被重新分类为男性。
结论：RM 编码了强烈的人口统计先验，倾向于将图像收敛到白人、男性的主导特征上，导致多样性丧失。

3.3 评分模型存在系统性人口统计偏见 (Systematic Scoring Biases)

种族偏好：HPS 和 ImageReward 始终将白人主体排名最高，亚裔主体排名最低。这种偏好甚至在负面提示词（如“不诚实”）下依然存在，表明这是一种结构性先验。
职业与性别关联：RM 的评分与真实世界的职业性别分布高度相关（基于美国劳工统计局数据）。
- 在男性主导的职业中，RM 给男性面孔打分更高。
- 在女性主导的职业中，RM 给女性面孔打分更高。
- 异常：即使在女性主导的职业中，RM 给男性的打分往往高于女性；但在男性主导职业中，给女性的打分并未表现出同样的反向优势。
VQAScore 的特例：在正面提示下偏好白人，但在负面提示下排名显著下降，显示出其编码了隐性的社会偏见。

4. 主要贡献 (Key Contributions)

大规模审计：首次对 T2I 流程中的奖励模型进行了针对人口统计学偏见的大规模定量和定性审计，涵盖了优化（微调）和评估两个阶段。
揭示隐蔽危害：证明了原本旨在衡量“质量”的 RM，实际上编码了人口统计偏见，导致生成过程出现过度性化（特别是针对女性）和人口多样性坍缩（向白人/男性收敛）。
量化关联：建立了 RM 评分与真实世界人口统计分布（如职业性别比例）之间的相关性，揭示了 RM 并非在评估图像质量，而是在奖励符合主导人口统计特征的内容。
方法论创新：结合了 ReNO 优化框架与反事实数据集评估，系统地解构了从评分偏差到生成偏差的传导机制。

5. 意义与影响 (Significance)

挑战现有范式：本文结果挑战了将 RM 视为可靠、中立的质量指标的现状。如果 RM 本身存在偏见，基于 RM 的优化（如 RLHF 微调、Best-of-N 选择）将不可避免地放大这些偏见。
安全与公平风险：在 T2I 生成系统中，这种偏差可能导致对特定群体（女性、少数族裔）的刻板印象强化、性化以及代表性缺失，加剧 AI 系统的社会危害。
未来方向：强调了需要改进数据收集（包含更多样化的人类偏好）、训练程序（去偏）以及优化策略，以构建更鲁棒、公平的评分指标。未来的 RM 设计必须显式地考虑人口统计公平性，而不仅仅是文本 - 图像对齐或美学质量。

总结：这篇论文揭示了当前文本到图像生成系统中“奖励模型”这一关键组件的深层缺陷。它们并非客观的标尺，而是将训练数据中的社会偏见（种族、性别、职业刻板印象）内化并放大的放大器。如果不加以修正，依赖这些模型的生成系统将持续产出带有歧视性和单一化特征的内容。