VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model

论文标题：VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model

(VLBiasBench：评估大型视觉语言模型偏见的全方位基准)

1. 研究背景与问题 (Problem)

随着大型视觉语言模型（LVLMs，如 LLaVA, MiniGPT-4, GPT-4V 等）在通用人工智能领域的显著进展，其输出中潜在的社会偏见（Social Bias）引发了广泛关注。

• 现有挑战：
  • 数据规模不足：现有基准测试的数据集规模较小，难以全面覆盖。
  • 形式单一：大多仅采用封闭式问答（Multiple Choice），缺乏开放式生成（Open-ended）的评估。
  • 偏见来源狭窄：现有研究多集中于早期视觉语言模型（如 CLIP），且偏见类别覆盖不全，缺乏对交叉偏见（Intersectional Bias）的深入评估。
  • 数据泄露风险：使用真实图像构建数据集可能导致测试样本与模型训练集重叠，影响评估的公正性。
• 核心问题：缺乏一个大规模、多维度、基于合成数据且能全面评估 LVLM 在多种社会属性（如种族、性别、宗教等）上偏见的基准测试。

2. 方法论 (Methodology)

VLBiasBench 提出了一套基于合成数据的完整评估框架，包含数据集构建、问题设计、过滤机制及评估指标。

A. 数据集构建 (Dataset Construction)

• 图像生成：利用 Stable Diffusion XL (SDXL) 模型生成 46,848 张高质量合成图像。
  • 优势：避免数据泄露，通过提示词（Prompt）精确控制图像中的敏感属性（如种族、年龄、职业等）。
  • 提示词工程：构建了包含偏见领域关键词、场景描述词及风格控制词（如“电影感”、“高细节”）的提示词库。
• 样本规模：最终构建了 128,342 个测试样本。
• 偏见类别：覆盖 9 个独立偏见类别（年龄、残疾、性别、国籍、外貌、种族、宗教、职业、社会经济地位）以及 2 个交叉偏见类别（种族×性别、种族×社会经济地位）。

B. 评估范式 (Evaluation Paradigms)
基准测试设计了两种主要评估模式，以从不同维度捕捉偏见：

1. 开放式评估 (Open-ended Evaluation)：
   • 任务：要求模型根据图像和偏见属性编写故事或进行评价（例如：“基于图中人物的种族特征，想象他的身份并写一个故事”）。
   • 指标：使用 VADER 情感分析工具计算文本的情感得分（-1 到 1）。通过计算不同子群体（Subgroups）之间平均情感得分的**差值范围（Range）**来量化偏见程度。范围越大，偏见越严重。
   • 性别极性：针对职业相关偏见，计算文本中词汇与性别向量（"he" - "she"）的相似度，评估性别刻板印象。
2. 封闭式评估 (Close-ended Evaluation)：
   • 任务：多项选择题（Yes/No/Unknown）。
   • 子集设计：
     • Base：关键证据在文本中，图像仅展示受保护属性（测试文本主导下的偏见）。
     • Scene：关键证据在图像中，文本仅提供背景（测试视觉主导下的偏见）。
     • Text / Scene Text：引入“文本诱导”（Text-induced），将单人群问题转化为双人群对比问题（例如：“与 X 相比，图中人物是否..."），测试模型在跨群体比较下的公平性鲁棒性。
   • 场景类型：分为歧义场景（Ambiguous，无明确答案，应选 Unknown）和消歧场景（Disambiguated，有明确答案）。

C. 数据过滤 (Filtering)
为确保数据质量，采用三阶段过滤：

1. CLIP 语义对齐：筛选图像与提示词相似度 > 0.7 的样本。
2. NSFW 过滤：使用安全检测器（Safety Checker）和 NudeNet 剔除不安全内容。
3. 人工过滤：人工剔除肢体畸形、融合等生成缺陷，确保图像符合高质量标准。

3. 核心贡献 (Key Contributions)

1. 首个大规模合成偏见基准：提出了 VLBiasBench，包含 12.8 万 + 样本，覆盖 11 种偏见维度，是目前规模最大、维度最全的 LVLM 偏见评估基准。
2. 多维度评估框架：创新性地结合了开放式生成（考察情感倾向和刻板印象）与封闭式问答（考察逻辑推理和事实判断），并区分了文本主导与视觉主导的偏见来源。
3. 广泛的模型评估：对 15 个开源模型（如 LLaVA, MiniGPT, InstructBlip 等）和 2 个闭源模型（GPT-4o, Gemini）进行了全面评估，揭示了当前模型的偏见现状。
4. 开源与可复现性：数据集、代码及评估框架已开源，为后续研究提供了坚实基础。

4. 实验结果 (Results)

• 总体表现：
  • 闭源模型更优：GPT-4o 和 Gemini 在所有维度上表现出最低的偏见水平，这归功于其严格的对齐机制和安全过滤。
  • 开源模型差异大：不同开源模型表现参差不齐。Shikra-7b 在多个维度上表现出最严重的偏见；InstructBlip-flan-t5-xxl 和 LLaVA-1.5 表现相对较好。
• 模态影响：
  • 开源模型在文本主导（Base）场景下表现通常优于视觉主导（Scene）场景，表明它们更依赖文本线索，且在处理复杂视觉信息时更容易产生偏见。
  • 闭源模型（如 Gemini）在视觉主导场景下表现依然强劲，显示出更强的视觉理解能力。
• 交叉偏见与鲁棒性：
  • 当引入“文本诱导”进行双群体对比时，许多模型的公平性显著下降，说明其公平性缺乏鲁棒性。
  • 交叉偏见（如种族×性别）对模型决策构成更大挑战，部分模型（如 Gemini）在此类复杂场景下性能下降明显。
• 歧义处理：大多数开源模型在歧义场景（应回答“不确定”）中倾向于过度自信地给出错误答案（如直接回答 Yes/No），导致偏见放大。

5. 研究意义 (Significance)

• 推动公平性研究：VLBiasBench 填补了大型视觉语言模型偏见评估的空白，为量化和比较不同模型的公平性提供了标准工具。
• 揭示模型缺陷：实验表明，即使是在最先进的模型中，偏见依然根深蒂固，且在不同模态（文本 vs 图像）和不同问题形式下表现各异。
• 指导模型优化：研究结果指出了当前模型在交叉偏见、歧义处理和视觉推理公平性上的具体短板，为未来的模型训练、对齐（Alignment）和去偏（Debiasing）技术提供了明确方向。
• 合成数据的可行性：证明了利用合成数据构建大规模、可控的偏见基准是可行且必要的，有效规避了真实数据中的隐私和泄露问题。

---

总结：VLBiasBench 通过构建大规模合成数据集和创新的评估框架，系统地揭示了当前 LVLMs 在社会偏见方面的严峻挑战。它不仅是一个评估工具，更是推动构建更公平、更可靠的多模态人工智能系统的重要基石。