🤖 AI

BioPro: Towards Difference-Aware Gender Fairness for Vision-Language Models

本文提出了 BioPro，这是一个无需训练的框架，它通过在反事实嵌入子空间中进行正交投影，在保持显式场景中合法性别差异的同时，选择性地中和中性语境中的性别偏见，从而在视觉语言模型中实现差异感知型的性别公平。

原作者： Yujie Lin, Jiayao Ma, Qingguo Hu, Wenbo Li, Genji Li, Derek Wong, Jinsong Su

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Yujie Lin, Jiayao Ma, Qingguo Hu, Wenbo Li, Genji Li, Derek Wong, Jinsong Su

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下这样一个世界：计算机可以观察一张照片并讲述其中的故事，或者读到一个句子并画出一幅与之匹配的图画。这就是**视觉语言模型（Vision-Language Models, VLMs）**这一令人兴奋的领域，它弥合了视觉与文字之间的鸿沟。可以将这些模型想象成超级强大的学生，他们阅读了互联网上的每一本书，也观察了每一张图片，以此来学习世界的运作方式。然而，就像一个只读过旧报纸的学生一样，这些人工智能学生有时会习得过时或不公平的刻板印象。例如，他们可能会自动认为医生是男性，或者护士是女性，仅仅因为他们在训练数据中看到的大多如此。

科学家们正在提出的重大问题是：我们如何在不让 AI 对真实差异“视而不见”的情况下，纠正这些不公平的习惯？想象一下你在教一个孩子如何做到公平。如果你告诉他们：“永远不要提及性别，”他们可能会在性别确实重要的特定情况下（比如关于一位女性宇航员的故事）无法正确描述某人。但如果你完全不教他们，当性别并不重要时（比如描述一张模糊的人物照片），他们可能会猜错。挑战在于找到一种“具备差异意识（difference-aware）”的方法——即知道何时应该忽略性别以保持公平，以及何时应该尊重性别以保证准确。

这正是名为 BioPro 的一项新研究介入的地方。由 Yujie Lin 及其同事领导的研究人员意识到，目前的方法通常试图通过对每种情况都一视同仁地进行“修复”，这可能会在无意中抹除重要的细节。相反，他们构建了一个巧妙的、无需训练的工具，其作用就像一个智能过滤器。他们发现，AI 模型将性别信息存储在它们大脑中一个特定的、隐藏的“方向”（从数学角度来说是一个子空间）里。BioPro 找到了这个方向，并在 AI 对性别不确定时，轻轻地将 AI 的思维推离该方向。如果 AI 看到的是一张清晰的男性或女性的照片，BioPro 则不会干预性别信息。

团队在两个主要任务上测试了该方法：描述图像（图像说明生成）和根据文本创建图像（文本生成图像）。在实验中，他们发现 BioPro 成功地阻止了 AI 在不明确的情况下猜测性别，同时仍能让 AI 在被要求时正确描述或绘制特定性别。例如，如果你要求“一张医生的照片”，AI 会生成男女比例均衡的混合结果，而不是仅仅呈现一种性别。但如果你要求“一张女医生的照片”，它会忠实地画出一位女性。更酷的是，研究人员展示了这种相同的“过滤器”技巧也适用于非人类事物，比如调整场景的亮度。如果 AI 总是把森林场景画得太亮，BioPro 可以引导它创造出更暗、更有氛围感的森林，而不会破坏整幅画。该论文表明，这种方法为在不丧失叙述真相能力的前提下使 AI 变得更加公平，提供了一种极具前景且灵活的方式。

技术摘要：BioPro —— 迈向视觉-语言模型中具备差异感知能力的性别公平性

1. 问题定义

视觉-语言模型（VLMs）继承了训练数据中显著的社会偏见，尤其是在性别表示方面。现有的公平性干预通常采用“差异无关”（difference-unaware）的视角，即对所有人口统计群体实施统一的处理。作者认为，这种方法无法区分需要保持中立的场景（例如描述一个模糊的主体）与需要保留特定群体属性的场景（例如描述一位清晰可见的女性医生）。

本文将差异感知性别公平性（difference-aware gender fairness）的问题形式化，专门针对视觉-语言模型中的两类任务：

图像描述（Image Captioning）： 模型应避免对模糊主体推断性别（中立公平性），同时应忠实地保留清晰可辨主体的性别信息（显式忠实性）。
文本生成图像（Text-to-Image Generation）： 模型应对中性提示词（如“一张人的照片”）生成平衡的性别分布，同时严格遵循显式提示词中的指定性别身份（如“一张女性医生的照片”）。

核心挑战在于实现选择性去偏（selective debiasing）：在消除中性语境下不必要的偏见的同时，不抹除显式语境中有意义的区别，并在此过程中保持语义保真度。

2. 方法论：BioPro（偏置正交投影）

作者提出了 BioPro，这是一个完全无需训练的框架，通过在表示空间中进行正交投影来运行。该方法识别出一个低维的性别变化子空间，并根据输入的上下文选择性地中和性别相关信息。

2.1 构建性别变化子空间

BioPro 利用反事实嵌入（counterfactual embeddings）来定义偏置方向。

数据来源： 该方法采用了 SCFs 数据集 [19]，该数据集生成了除性别属性外，在所有特征上都完全相同的图像对（例如，在相同姿态/场景下的男性与女性主体）。
子空间提取： 对于一对嵌入 $(h_m, h_f)$ ，其差分向量编码了高纯度的性别变化。通过将这些差异收集到矩阵 $D$ 中，作者通过奇异值分解（SVD）提取出性别变化的主成分方向。前 $k$ 个奇异向量构成了性别变化子空间 $S$ 。

2.2 特定任务的实现

A. 图像描述（选择性去偏）

对于图像描述，目标是仅在输入具有歧义时移除性别信息。

正交投影： 模型将融合后的文本-图像嵌入投影到性别子空间的正交补空间（ $P^\perp$ ）上。这移除了性别成分（ $H_{bias}$ ），同时保留了语义成分（ $H_{sem}$ ）。
基于投影的选择机制： 为了防止对显式样本进行过度修正，BioPro 引入了一种选择机制。它通过分析嵌入在性别子空间上的投影幅度来区分样本。
- 显式样本（性别特征明显的）表现出较大的投影幅度。
- 中性样本（模糊的）表现出较小的投影幅度。
- 通过优化权衡系数 $\lambda_c$ 来学习一个阈值 $\delta_c$ ，以区分这两种分布（建模为偏态正态分布）。
- 操作： 如果样本的投影幅度低于 $\delta_c$ ，则应用正交投影；如果高于 $\delta_c$ ，则保留原始嵌入以保持显式的性别忠实性。

B. 文本生成图像（校准）

对于生成任务，输出空间本质上是二元的（图像必须展现性别属性），因此简单的投影可能不足够，因为这仍可能导致分布不均。

校准项： BioPro 引入了一个结合了正交投影项与校准项的优化目标。
- 该目标旨在最小化投影矩阵 $P$ 与正交投影器 $P^\perp$ 之间的距离（以保留语义）。
- 同时，最小化投影后的女性嵌入与男性嵌入（以及反之）之间的距离，以平衡生成方向。
闭式解： 作者推导出了最优投影矩阵 $P_{f \to m}$ 的闭式解，使模型能够在处理中性提示词时，将表示向代表性不足的性别偏移，而不至于抹除显式提示词中预期的语义。

2.3 向连续偏置的泛化

该框架被扩展到了处理场景亮度等连续偏置变量。通过构建具有不同强度强度的提示对（例如，“明亮的照片”与“黑暗的照片”），BioPro 识别出了一个连续的偏置子空间。校准项允许通过超参数 $\lambda_g$ 对生成的场景亮度水平进行可调节控制，证明了其在处理离散类别属性之外的应用能力。

3. 核心贡献

概念扩展： 本文将差异感知公平性的概念从仅限文本的大语言模型（LLMs）扩展到了多模态视觉-语言模型，为选择性偏置缓解提供了原则性的公式化表述。
BioPro 框架： 提出了 BioPro，这是一种无需训练的方法，通过正交投影和自适应选择/校准机制，有效地平衡了中性公平性和显式性别忠实性。
处理连续偏置： 据作者所知，这是第一个在文本生成图像任务中有效处理连续偏置变量（如场景亮度）的方法，超越了二元或类别偏置缓解的范畴。

4. 实验结果

作者在图像描述（使用 LLaVA-1.5 和 LLaVA-NeXT）和文本生成图像（使用 FLUX.1-dev 和 FLUX.1-schnell）任务上对 BioPro 进行了评估。

图像描述：
- BioPro 实现了最佳的综合偏置率（CBR），表明其在降低中性情况下的偏置（ $BR_n$ ）与保持显式情况下的忠实度（ $BR_e$ ）之间取得了卓越的平衡。
- 它显著优于 Prompting、LIBRA 和 SFID 等基线方法。
- 语义保留指标（METEOR 和 CLIP-S）与基础模型保持一致，证实了去偏过程并未降低图像描述质量。
- 消融研究表明，移除“选择（Selection）”模块会导致显式忠实度大幅下降，验证了选择机制的必要性。
文本生成图像：
- BioPro 在男性刻板印象和女性刻板印象职业中均实现了最低的**偏斜（Skew）**得分（表明性别分布更平衡）。
- 对于显式提示词，它保持了接近于零的误分类率（MR），确保了指定的性别得到尊重。
- 图像质量指标（CLIP-S 和 MUSIQ）与基础模型相比几乎没有退化。
- “无校准（w/o Calibration）”变体表现出明显较弱的去偏效果，凸显了校准项对于生成任务的重要性。
连续偏置（场景亮度）：
- BioPro 能够根据参数 $\lambda_g$ 成功调整生成图像的亮度（例如，使天空场景变暗）。
- 该方法在有效缓解过度曝光场景偏置的同时，保持了语义对齐（CLIP-S）和图像质量（MUSIQ）。

5. 重要性与主张

本文声称 BioPro 为视觉-语言模型中的偏置感知生成提供了一个可控且有效的范式。其重要性在于：

上下文敏感性： 不同于将所有群体视为完全相同的“盲目”公平方法，BioPro 尊重上下文的细微差别，在消除伪造刻板印象的同时保留了合法的区别。
无需训练的高效性： 作为一种事后推理阶段的干预手段，它避免了重新训练或微调大型模型所需的计算成本和数据需求。
泛化性： 该框架展示了偏置缓解可以从离散属性（性别）推广到连续变量（亮度），为多种类型的偏置提供了统一的解决方案。

作者总结道，虽然其线性干预方法可能无法完全解释属性之间的非线性纠缠，但它为实现多模态系统中的选择性公平提供了一个实用、灵活且高质量的解决方案。