🤖 AI

A Woman with a Knife or A Knife with a Woman? Measuring Directional Bias Amplification in Image Captions

本文提出了用于图像描述的方向性偏见放大（DBAC），这是一种新颖的语言感知指标，它通过准确测量和识别图像描述模型中偏见放大的来源（特别是性别和种族属性），克服了现有方法的局限性。

原作者： Rahul Nair, Bhanu Tokas, Hannah Kerner

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Rahul Nair, Bhanu Tokas, Hannah Kerner

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个机器人助手，它的工作是查看照片并描述正在发生的事情。你通过向它展示数百万张带有人类撰写描述的照片来训练这个机器人。问题在于，人类并不完美；有时我们的描述会包含隐藏的刻板印象（偏见）。例如，我们可能会经常将手持刀具的女性描述为“持刀女子”（暗示危险），而将手持刀具的男性描述为“正在做饭的男子”（暗示安全）。

当机器人从这些人类描述中学习时，它不仅仅是复制偏见；它往往会放大偏见。它可能会在看到女性时就预测“刀具”，即使她只是拿着一朵花，因为它在训练数据中学到了“女性”和“刀具”是一对危险的组合。

本文旨在构建一个更好的偏见检测器，以弄清楚机器人究竟是如何以及为何会得出这些刻板印象的错误结论。

旧检测器的问题

作者解释说，以往用于衡量偏见的工具就像糟糕的翻译或损坏的秤：

“盲目”的秤：一些旧工具仅统计词语共同出现的频率（例如“男人”+“球”）。它们不理解句子的含义。它们无法区分“他有一个球”和“他没有球”，尽管这两种情况下的偏见截然不同。
“单向”镜子：其他工具能告诉你存在偏见，但无法告诉你偏见的指向。
- 类比：想象一个房间里有人在喊叫。一面“单向”镜子会告诉你：“有很多喊叫声。”但它不会告诉你人们是对着门喊叫，还是从门里喊出来的。
- 用本文的术语来说：是机器人看到了刀具并决定“啊，这一定是个女人”？（任务 $\to$ 属性）还是它看到了女人并决定“啊，她一定拿着刀”？（属性 $\to$ 任务）。
- 如果不了解方向，你就无法解决问题。如果你试图纠正错误的方向，可能会让偏见变得更糟。

新解决方案：DBAC

作者介绍了一种名为DBAC（Captioning 中的方向性偏见放大）的新工具。将 DBAC 想象成一名超级聪明的侦探，它能够：

阅读故事：它理解句子的完整含义（语言感知）。
追踪箭头：它能精确定位偏见流动的确切方向（方向性）。
忽略噪音：无论它使用哪种“词典”（句子编码器）来阅读文本，它都能给出一致的答复。

DBAC 的工作原理（侦探的工具箱）

为了捕捉偏见，DBAC 使用了一种涉及掩码和替换的巧妙技巧：

掩码游戏：想象机器人写了一句描述：“一个女人正拿着一把刀。”
- DBAC 隐藏了“女人”这个词，并问道：“仅通过查看句子的其余部分，你还能猜出性别吗？”如果答案是“是的，这绝对是个女人”，那就意味着其他词语（如“刀”）承载着沉重的偏见。
- 它也会反过来做：隐藏“刀”，并问：“仅知道是个女人，你能猜出物体是什么吗？”
“上下文”替换：这是一个重大升级。
- 旧方法（常量替换）：如果机器人使用了一个生僻词，比如“马鞍”，而词典中没有这个词，旧工具就会简单地将其替换为“未知”。这会破坏含义。
- DBAC 方法（上下文替换）：DBAC 更聪明。如果它看到“马鞍”，它会在词典中寻找最接近的匹配项，比如“座位”或“马具”，并将其替换进去。这保持了故事的完整性，从而确保偏见测量的准确性。

他们的发现

作者使用名为 COCO 的大型照片数据集，在 13 种不同的图像描述机器人上测试了这位新侦探。以下是关键要点：

唯一可靠的侦探：DBAC 是唯一能够一致且准确地衡量偏见放大的工具。其他工具要么完全忽略了偏见，要么根据所使用的“词典”不同，给出令人困惑或不一致的结果。
方向很重要：他们发现，虽然许多机器人在知道性别后能更好地预测任务（例如，“如果是男人，他很可能在运动”），但当它们看到任务时，预测性别的表现却变差了（例如，“如果他拿着刀，他肯定是男人”）。
“修复”可能会破坏事物：他们发现，一种名为"Equalizer"的技术本意是修复偏见，但实际上在修复一种偏见的同时，却使另一种偏见变得更糟。这证明，在尝试修复机器人之前，你需要像 DBAC 这样的方向性工具来全面了解情况。

结论

如果你想构建一个能够公平描述图像的 AI，你就不能只是猜测偏见在哪里。你需要一个能够理解故事并能准确指出偏见来源的工具。DBAC就是那个工具。它不仅告诉你机器人存在偏见，还告诉你偏见是如何产生的，这样你就可以修复具体问题，而不会破坏系统的其余部分。

以下是论文《持刀的女人还是持女人的刀？衡量图像描述中的方向性偏见放大》的详细技术总结。

1. 问题陈述

图像描述中的偏见放大：
当图像描述模型在存在偏见的数据集（例如包含社会刻板印象的人类撰写描述）上进行训练时，它们往往会复现甚至放大这些偏见，从而生成带有偏见的输出。例如，当视觉证据模棱两可时，模型预测“一个拿着刀的女人”的频率可能高于“一个拿着刀的男人”，反之亦然。

现有指标的局限性：
当前衡量偏见放大的方法主要分为两类，但两者在图像描述任务中均存在失效：

基于分类的指标（如 BA→, DPA）： 这些指标衡量分类任务中的偏见，但忽略了自然语言句子的语义。如果关键词相同，它们无法区分“他有一个球”和“他没有一个球”。
语言感知指标（如 LIC, ImgCap2）：
- LIC（描述中的泄露）： 虽然它能理解语义，但它是非方向性的。它无法区分是哪个属性导致了偏见。它无法判断模型是在看到“刀”时放大了预测“女人”的偏见，还是在看到“女人”时放大了预测“刀”的偏见。
- ImgCap2： 混淆了图像中固有的偏见与描述中的偏见，因此不适合用于隔离描述模型的行为。
- 一致性问题： LIC 分数随句子编码器（超参数）的选择而有显著差异，导致结果不可靠。

研究空白： 目前尚不存在一种同时具备语言感知（理解语义）、方向性（识别偏见来源：属性 $\to$ 任务或任务 $\to$ 属性）以及在不同模型配置下一致的指标。

2. 方法论：描述中的方向性偏见放大 (DBAC)

作者提出了 DBAC，这是一种旨在衡量两个特定方向偏见放大的新指标：

$A \to T$ （属性到任务）： 属性的存在（例如性别）是否会放大对任务/物体（例如刀）的预测？
$T \to A$ （任务到属性）： 任务/物体的存在是否会放大对属性（例如性别）的预测？

核心机制

DBAC 结合了对抗攻击框架与词汇对齐：

掩码（Masking）：
- 为了衡量 $A \to T$ ：在描述中掩码性别词（例如，“一个拿着吉他的<性别>"）。
- 为了衡量 $T \to A$ ：掩码任务词（例如，“一个拿着<物体>的男人”）。
攻击者函数（ $f$ ）：
- 训练一个模型（句子编码器 + 分类头），仅利用剩余的上下文来预测被掩码的属性（例如性别）。
- 高预测准确率意味着剩余上下文（即任务）中包含关于该属性的强偏见信号。
概率公式化：
- 偏见通过给定掩码句子后属性的概率来量化。
- 为了确保固定的先验（有效衡量偏见放大的必要条件），作者利用贝叶斯定理将偏见近似为 $P(\text{Task} | \text{Attribute})$ 。
- 偏见放大分数： 计算为模型生成描述（MGC）中的偏见与人类生成描述（HGC）中的偏见之差，并归一化到 $(-1, 1)$ 范围。
- 公式： $DBAC = \frac{\omega_M - \omega_H}{\omega_M + \omega_H + \epsilon}$ ，其中 $\omega$ 代表偏见强度。

相对于 LIC 的关键技术改进

方向性： 明确分离 $A \to T$ 和 $T \to A$ 的放大效应，允许采取针对性的缓解策略。
上下文替换（词汇对齐）：
- 问题： 人类描述（HGC）的词汇量大于模型描述（MGC）。简单的“常量替换”（用 <unk> 替换未知词）会丢失语义细微差别。
- 解决方案： DBAC 使用上下文替换。如果 HGC 中的某个词在 MGC 中缺失，则使用 MGC 词汇表中语义最接近的词进行替换（使用 GloVe 或 FastText 等嵌入）。如果没有接近的匹配项，则变为 <unk>。
- 优势： 与常量替换相比，这更好地保留了语义偏见信号。
编码器一致性： 该指标设计为在不同句子编码器（LSTM, RNN, Transformers, 预训练模型）之间具有鲁棒性。

3. 主要贡献

DBAC 指标： 首个同时具备语言感知、方向性和一致性的指标。
来源识别： DBAC 能够 pinpoint 模型是放大了从属性到任务的偏见，还是反之，从而支持特定的重训练策略（例如，如果 $A \to T$ 偏见较高，则专门针对“持有非刀类物体的女性”进行重训练）。
上下文替换： 证明了用语义相似的替代词（而非通用的 <unk>）替换单词，能产生更准确的偏见估计。
鲁棒性： 证明了 DBAC 分数在不同句子编码器之间是稳定的，消除了为寻找“合适”编码器而进行超参数调整的需求。

4. 实验结果

实验在 COCO Captions 数据集上进行，使用了 13 种不同的描述模型（包括 BLIP, OSCAR, LLaVA 和基于 Transformer 的模型），并针对性别和种族属性进行了测试。

捕捉语言偏见： 在受控数据集中，当性别和任务平衡但动词使用不平衡时，非语言感知指标（BA→, DPA）报告零偏见。DBAC 和 LIC 正确检测到了这种语言偏见。
方向性验证：
- 作者逐步掩码图像中的人物。随着人物可见度降低，模型更多地依赖背景物体（任务）来猜测性别/种族。
- 结果： 只有 DBAC 捕捉到了随着掩码增加， $T \to A$ 偏见呈上升趋势。LIC 未能检测到这一趋势，因为它缺乏方向性。
一致性（敏感性分析）：
- 与 LIC 相比，DBAC 在不同句子编码器间的变异系数（CV）显著更低。
- 性别： 与 LIC 相比，DBAC 的变异减少了 84.5%（从头训练的编码器）和 69.9%（预训练编码器）。
- 种族： 与 LIC 相比，DBAC 的变异减少了 59.5%（从头训练）和 83.6%（预训练）。
替换影响： 与常量替换相比，上下文替换将 METEOR 相似度分数（保留原始含义）提高了约 2.7% 至 3.4%。它还导致了更高、更准确的偏见检测分数。
模型分析：
- 大多数模型减少了 $A \to T$ 偏见（给定性别预测任务变得更加公平）。
- 然而，13 个模型中有 8 个增加了 $T \to A$ 偏见（给定任务预测性别变得更有偏见）。
- "Equalizer"缓解技术降低了 $T \to A$ 偏见，但无意中加剧了 $A \to T$ 偏见，突显了需要方向性指标以避免意外后果。

5. 意义

可靠性： DBAC 被确立为衡量图像描述中偏见放大的唯一可靠指标，解决了先前方法的关键缺陷。
可操作的见解： 通过识别偏见的方向，DBAC 允许研究人员应用针对性的缓解措施。研究人员无需在大规模数据集上重新训练模型，而是可以专门策划数据以打破特定的偏见关联（例如“刀 $\to$ 女人”）。
标准化： DBAC 对句子编码器选择的鲁棒性消除了实验噪声的主要来源，使偏见测量在不同研究之间更具可重复性和可比性。
安全性： 在视障人士辅助技术等高风险应用中，理解和纠正方向性偏见对于防止误导性或有害的描述至关重要。