💬 NLP

GGSS: Geodesic-Gated Spherical Steering for Inference-Time Debiasing of Generative Vision-Language Models

本文介绍了 GGSS，一种保持范数的推理时干预方法，它通过在单位超球面上沿测地线弧引导视觉标记，从而在有效减少生成式视觉语言模型中人口统计学偏差的同时，保持其核心视觉语言能力。

原作者： Yiqun Sun, Junyu Chen, Pengfei Wei, Lawrence B. Hsieh

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiqun Sun, Junyu Chen, Pengfei Wei, Lawrence B. Hsieh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

能够看懂并开口说话的人工智能系统正逐渐成为我们日常生活中常见的助手，帮助筛选简历、回答问题以及解读医学影像。这些被称为“视觉-语言模型”的系统，通过学习数百万张图片及其对应的文本描述来进行学习。然而，由于它们是从人类创造的数据中学习，因此往往会吸收我们关于种族、性别和职业的那些不公平的刻板印象。计算机可能会仅仅根据一个人的感知种族或性别，就对其给出与他人不同的薪水或职位预测，即便视觉细节完全一致也是如此。对于用于高风险决策的技术而言，这是一个严重的问题，但修复它却非常困难。传统上，为了消除这些偏见，开发者必须从头开始重新训练整个庞大的计算机模型，这一过程需要巨大的计算能力和时间。此外，许多旨在修复偏见的现有方法是为旧类型的 AI 设计的，那些 AI 将图像处理为单一的摘要，而不是像现代系统那样将图像分解为数千个微小的碎片来理解。

一组研究人员现在开发出了一种无需重新训练模型即可纠正这些偏见的新方法。他们将这种方法称为 GGSS，即“测地线门控球面转向”（Geodesic-Gated Spherical Steering）。他们并没有重建 AI，而是插入了一个轻量级的微调装置，在模型“思考”时发挥作用。可以将 AI 对图像的内部理解想象成一组指向不同概念的方向。当 AI 看到一张脸时，其中一些方向指向个人的身份，而另一些则指向其职业或背景。研究人员发现，AI 对种族或性别的偏见集中在这些特定的方向中，而其余信息则是中立的。他们的目标是轻轻地将这些带有偏见的方向从刻板印象中引导开，而不干扰关于此人实际外观或图像背景的有益信息。

研究人员在四种不同的现代视觉-语言模型上测试了他们的方法。首先，他们向模型展示了一系列经过精心控制的图像，其中仅改变了人的感知种近期或性别，而服装、姿势和背景等其他所有元素都保持完全相同。通过观察当仅种族或性别发生变化时模型的内部信号如何移动，他们绘制出了模型所走的特定“偏见路径”。随后，他们创建了一个在正常使用期间进行修复的两步走过程。第一步涉及识别图像的哪些特定部分触发了偏见。并非图像的所有部分都同样带有偏见；例如，一张脸可能带有强烈的种族信号，而背景或一个人的鞋子几乎不携带此类信号。这种新方法使用一种智能过滤器，将修正重点放在真正携带偏见的图像部分，从而让中立部分保持原样。

第二步是修正如何发生。旧的方法试图简单地减去偏见，就像擦掉画作上的一条线一样。研究人员发现，这种“硬性”减法往往会扭曲图像的含义，导致 AI 失去正确理解图片的能力。相反，他们使用了一种技术，让信息沿着一条曲线路径移动，类似于飞机为了沿着地球的曲线飞行而非穿过地面的直线，从而选择最短航线。这使得 AI 能够将其理解转向远离刻板印象的方向，同时保持其感知的整体形状和强度。通过将这种曲线运动与仅针对偏见部分的智能过滤器相结合，该系统可以在不破坏模型通用智能的情况下减少不公平性。

他们的测试结果清晰且显著。当他们将此方法应用于四种不同的 AI 模型时，该方法大幅降低了模型回答中的偏见。在某些情况下，模型在判断薪水或职业时的这种不公平差距下降了 90% 以上。至关重要的是，模型并没有失去执行其他任务的能力。研究人员使用一个包含 1,500 个涵盖科学、数学和逻辑问题的标准测试，检查了模型的通用知识和推理能力。接受了偏见修正的模型表现得与原始的、未经修正的模型一样出色，其准确率的变化不到 1%。这证明了在使这些系统变得更公平的同时，并不一定会让它们变得更笨。

这项研究还表明，这种方法比以往的尝试更可靠。当他们尝试使用不使用曲线路径或智能过滤器的旧有的、更简单的方法时，模型经常会变得混乱或无法正确回答问题。研究人员发现，对于规模最大、最复杂的模型来说，曲线路径尤其重要，因为简单的修正会导致系统彻底失效。他们还展示了该方法具有灵活性：通过调整修正应用的强度，用户可以选择在显著减少偏见的同时，仍然允许模型识别人口统计学细节（如果特定任务需要，例如在医疗文档记录中）。

这项工作为使人工智能更加公平提供了一个实用的工具。它表明，我们不需要废弃并重建我们最先进的 AI 系统来修复其偏见。相反，在系统运行时进行有针对性的、细致的调整，就可以在保留模型观察和理解世界能力的同时，消除不公平的刻板印象。研究人员已公开了他们的代码，以便他人测试和使用这种方法，为部署既强大又公平的 AI 系统提供了一条新路径。

技术摘要：GGSS —— 用于推理时去偏的测地线门控球面转向技术

问题陈述

生成式视觉语言模型（VLMs）正越来越多地被部署在以人为本且高风险的决策场景中，然而即使在视觉内容受到控制的情况下，这些模型也经常产生关于种族和性别等人口统计属性的系统性偏见输出。虽然现有的推理时去偏方法（如 INLP、R-LACE、LEACE）在处理静态嵌入或类似 CLIP 的双编码器时表现出色，但并不适用于现代生成式 VLM。这些模型将图像编码为视觉 Token 序列，并与仅解码器（decoder-only）语言模型进行融合。将传统的去偏技术应用于此类架构面临三个具体挑战：

几何保持（Geometry Preservation）： 欧几里得空间的减法操作会扭曲 Token 的范数（norm）和方向，导致泛化质量大幅下降以及“过度转向”（over-steering）失败模式，尤其是在模型规模增大时。
Token 级偏见异质性（Token-Level Bias Heterogeneity）： 人口统计信号集中在极小比例的视觉 Token 中（例如面部或衣着），而其他 Token 则编码姿态或背景。统一的子空间投影会对非偏见 Token 进行过度修正，从而降低任务性能。
单方向刚性（Single-Direction Rigidity）： 许多方法假设存在一个二元的受保护属性和一个单一的偏见方向，而诸如种族之类的属性具有多类别结构，需要处理低维子空间。

方法论：GGSS 框架

作者提出了 GGSS（测地线门控球面转向技术），这是一个在两个阶段运行的范数保持干预框架：离线发现与在线推理。

1. 离线发现（反事实偏见子空间估计）
使用冻结的 VLM 和一组反事实图像（在保持其他因素固定的情况下改变人口统计属性），该方法估计偏见几何结构：

球面代表（Spherical Representatives）： 将视觉激活聚合并归一化到单位超球面（ $S^{D-1}$ ）。
子空间估计： 对于每个上下文，计算 Fréchet 平均值，并计算组间均值的切空间偏移。应用奇异值分解（SVD）处理这些偏移，以识别多维偏见子空间（ $V_{bias}$ ）。
门控校准（Gate Calibration）： 测量这些代表向偏见子空间投影的幅度，以建立自适应门的分布。这产生了用于校准门控的统计量（中位数 $\tilde{b}$ 和标准差 $\sigma_b$ ）。

2. 在线推理（Token 级测地线转向）
在推理过程中，GGSS 在视觉到语言的投影层进行干预：

投影： 每个视觉 Token 被映射到全局参考点（ $\mu$ ）处的切空间。将 Token 中位于学习到的偏见子空间内的部分投影出去，留下一个“干净”的分量。
自适应门控： 根据 Token 的偏见量相对于发现阶段统计量的关系，计算每个 Token 的门控值（ $g_i$ ）。偏见信号较低的 Token 接收到的转向极少或没有，而具有强人口统计信号的 Token 则会被更积极地转向。
测地线更新： 该方法不使用欧几里得减法，而是使用球面线性插值（Slerp），沿着测地线弧从原始位置向去偏目标方向旋转 Token 方向。这确保了 Token 的范数被精确保持。
范数恢复： 在将转向后的激活传递给语言解码器之前，恢复原始 Token 的范数。

核心贡献

识别局限性： 本文证明了由于几何扭曲和缺乏选择性，硬性的、Token 统一的去偏算子在生成式 VLM 中的表现不佳。
范数保持的测地线替代方案： GGSS 引入了一个框架，用球面几何取代了欧几里得转向，从而保持了 Token 的范数，避免了与过度转向相关的质量下降。
自适应门控： 引入了一种推理时门控，根据观察到的偏见范数分布为每个 Token 分配转向强度，消除了额外训练的需求。
统一基准测试： 作者将十种具有代表性的 CLIP 和语言模型时代的去偏器移植到相同的生成式 VLM 干预层，创建了一个统一的比较套件。

实验结果

作者在四种生成式 VLM（Pixtral-12B、LLaVA-1.6-Vicina-7B、LLaVA-1.6-Mistral-7B 和 Qwen3-VL-4B）上评估了 GGSS 对比十种改编后的基线模型及基于提示（prompt-based）的缓解方法。

偏见减少： GGSS 在所有四种模型中实现了最低的平均偏见。它产生了显著的偏见削减，在各项任务中的提升分别达到 96%（护士/医生分类）、84%（MCQ 工资）和 61%（2AFC 收入）。在三个模型骨干上观察到了统计学显著性。
能力保持： 至关重要的是，GGSS 保留了通用的多模态推理能力。在 MMStar 基准测试上，GGSS 维持的准确率与未转向的基线相比波动在 $\pm 0.6$ 个百分点以内。相比之下，一些基线方法（如球面 BendVLM）会导致通用能力大幅下降或导致生成完全崩溃。
消融实验： 组件消融证实，结合球面转向（Slerp）和自适应门控是该方法鲁棒性和选择性的原因。具体而言，研究发现球面转向对于在大规模模型（12B）下的鲁棒性起到了决定性作用，而门控则提供了必要的选择性。

意义与主张

本文声称，对于生成式 VLM，自适应测地线转向是比硬性、统一投影更优越的推理时偏见缓解原语。其意义在于证明了可以在不重新训练模型或牺牲其通用推理能力的情况下，有效地减少偏见。

作者对部署持谨慎态度：

并非万灵药： GGSS 减少了测量的偏见，但并未从模型参数中移除偏见知识，也无法保证在分布偏移下的公平性。
权衡： 转向强度（ $\alpha$ ）控制着偏见减少与保留人口统计信息之间的权衡。在高强度下，该方法会有效地移除该属性，这在需要识别人口统计信息的任务（如临床文档记录）中可能并不理想。
双重用途： 该机制可以像减少偏见一样容易地放大偏见。
范围： 评估仅限于图像调节环境下的感知种族和性别；尚未建立其在其他属性、语言或领域中的泛化性。

研究结论认为，匹配门控的消融实验表明，大规模下的鲁棒性归功于球面转向，而可控性归功于门控，这支持了将自适应测地线转向作为冻结的生成式 VLM 中推理时偏见缓解的一种实用且轻量级的干预手段。