🤖 machine learning

Mitigating Label Bias with Interpretable Rubric Embeddings

本文提出并验证了“评分标准嵌入”，这是一种可解释的表示框架，它用专家定义的准则取代黑箱特征，以减轻统计决策中的标签偏差，实证表明该方法在降低群体差异的同时提升了大学录取的群体质量。

原作者： Calvin Isley, Johann D. Gaebler, Sharad Goel

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Calvin Isley, Johann D. Gaebler, Sharad Goel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试构建一个机器人，以帮助一所 prestigious 大学挑选最优秀的学生。问题在于，机器人无法看到学生的“真实”素质，因为那是一个隐藏的、抽象的概念。相反，机器人必须从过去的人类决策（例如往年谁被录取了）中学习。

论文指出，如果那些过去的人类决策存在不公（偏见），机器人就会学会这种不公，并将其加剧。作者提出了一种巧妙的新技术来教导机器人，使其忽略不公，只关注真正重要的因素。

以下是问题及其解决方案的分解，使用了简单的类比。

问题：“坏掉的指南针”

想象一下，你正在训练一只狗寻找特定种类的花。但你没有给狗看花，而是给它看了一张由一个讨厌蓝色花朵的人绘制的地图。地图上写着：“蓝色花朵是坏的；只有红色花朵是好的。”

如果你用这张地图训练你的狗，狗就会学会避开蓝色花朵，即使蓝色花朵实际上既美丽又健康。

在论文的语境中：

狗：人工智能模型。
地图：历史数据（过去的招聘或录取决策）。
蓝色花朵：特定的人群（例如女性或少数族裔），他们在过去受到了不公正的评判。
黑盒嵌入（Black-Box Embedding）：这是人工智能阅读文本的标准方式。它就像一个超级聪明但神秘的翻译器，将简历转化为长长的数字列表。问题在于，这个翻译器会意外地捕捉到关于一个人性别或种族的细微线索（例如他们爱好的名称、使用的代词或写作风格），并将这些线索视为重要因素。

当人工智能基于这些“黑盒”翻译来训练有偏见的过去决策时，它学到的内容是：“哦，过去的人类更喜欢男性，所以我也应该更喜欢男性”，即使这些男性实际上并不更具资格。

失败的修复方案

作者测试了人们尝试解决此问题的三种常见方法，发现它们都存在缺陷：

正交化（“眼罩”）：这种方法试图从数据中数学地剥离所有性别信息。
- 缺陷：这就像强迫机器人忽略所有可能暗示性别的因素。如果女性平均而言拥有更多的志愿服务经验，而机器人被强制忽略任何与性别相关的内容，它可能会意外地忽略志愿服务经验。这可能会伤害它试图帮助的那个群体。
删改（“橡皮擦”）：这涉及在人工智能阅读之前手动删除诸如“他”、“她”或姓名之类的词语。
- 缺陷：这就像试图通过划掉你的名字来隐藏身份，却忘记了你的笔迹、词汇量和句子结构仍然会暴露你。人工智能仍然可以通过观察剩余文本的“形状”以高准确度猜测性别。
边缘化（“平均值”）：这种方法试图计算如果申请人是男性得分会是多少，如果是女性得分会是多少，然后取平均值。
- 缺陷：这就像一位裁判，看到有偏见的分数后，试图通过人为降低受优待群体的分数来“平衡天平”。但如果原始偏见并非真实存在（或者如果“受优待”的群体实际上只是过去运气不好），这种方法就会惩罚错误的人。

解决方案：“评分标准”（检查清单）

与其试图将数据清洗得一干二净或平均分数，作者建议改变机器人看待世界的方式。

他们提出了使用评分标准嵌入（Rubric Embeddings）。

想象一位人类评委在给一名学生打分。他们不仅仅是浏览整个简历并产生一种“直觉”，而是使用带有特定复选框的检查清单（评分标准）：

他们是否修过微积分 II？（是/否）
他们的文章是否清晰？（1-5 分）
他们是否有科技行业的工作经验？（是/否）
推荐信有多强？（1-5 分）

作者使用人工智能（大型语言模型）阅读申请材料，并为每一位学生填写这份具体的检查清单。他们创建了 396 个不同的“复选框”，涵盖成绩、工作历史和文章质量。

为什么这有效：

没有隐藏线索：检查清单只询问技能和成就。它不询问性别、姓名或代词。
关注真实事物：通过强迫人工智能只查看清单项目，你阻止了它使用“捷径”或隐藏的偏见。这就像告诉机器人：“你只能根据这 396 个具体事实进行评分。你不能使用关于此人背景的‘直觉’。”

结果

当他们在真实大学申请中测试这种方法时：

偏见更少：使用检查清单（评分标准嵌入）的模型没有歧视女性，即使“老师”（历史数据）严重歧视她们。
质量更高：通过检查清单方法录取的学生实际上更具资格（真实分数更高），而不是通过标准“黑盒”方法录取的学生。

核心结论

论文声称，要阻止人工智能学习人类偏见，我们不应仅仅试图在数据中隐藏偏见。相反，我们应该强迫人工智能通过结构化的、由专家定义的检查清单来观察世界。

通过将人工智能锚定在具体的、有意义的标准（如成绩和工作经验）上，而不是让它基于模糊的模式进行猜测，我们可以获得既更公平又更准确的决策。

一个限制：制作这份检查清单是一项艰巨的工作。它需要人类专家坐下来，确切地定义什么才是重要的，然后训练人工智能完美地使用该检查清单。这不是一个“一键式”的修复方案，但作者认为，当我们没有完美数据时，这是构建公平系统的唯一可行方法。

技术摘要：利用可解释评分标准嵌入缓解标签偏差

问题陈述
在招聘、大学录取和内容审核等高利害决策领域，感兴趣量（例如，真实的申请人质量或未来的工作表现）的“地面真值”标签往往不可获得，或者获取成本高到无法承受。因此，模型经常基于历史人类评估（代理标签）进行训练，例如过去的招聘决定或录取分数。本文指出，如果这些历史评估包含针对特定人口群体的不公正偏见，那么基于它们训练的模型将继承并可能放大这些偏见。

作者证明，使用黑盒文本嵌入的标准方法会加剧这一问题。这些嵌入虽然信息丰富，但即使移除了显式标记，也会隐式地编码敏感属性（例如性别）。从理论上讲，作者表明，如果表示 $R$ 编码了群体成员身份，那么基于有偏标签 $Y' = Y + B$ （其中 $B$ 是依赖于群体的噪声项）训练的模型，将保证在其预测中复制并放大这种偏见。

方法论
本文提出了**评分标准嵌入（Rubric Embeddings）**作为解决方案。与捕捉文本中所有统计规律的黑盒嵌入不同，评分标准嵌入是基于与感兴趣的基础构念（underlying construct）相一致的专业定义标准构建的。

评分标准构建：作者与招生官员合作，定义了 396 个可解释的、基于领域的指标（例如，文章清晰度、职业轨迹、特定课程成绩、推荐信力度）。
特征提取：利用大语言模型（LLMs）沿这些特定的评分标准维度对申请进行评分，从而创建一个结构化的、语义有意义的特征向量。
比较基线：所提出的方法针对以下基线进行了评估：
- 黑盒嵌入：标准文本嵌入（例如 text-embedding-3-large）。
- 删节（Redaction）：在嵌入前移除性别线索。
- 边缘化（Marginalization）：对反事实性别操纵的预测进行平均。
- 正交化（Orthogonalization）：将特征投影为与群体成员身份独立。
- 大杂烩（Kitchen Sink）：结合黑盒和评分标准特征。

理论框架
作者利用**对应实验（correspondence experiments，即审计研究）**的框架将偏见形式化。他们将偏见定义为当申请人的特征被操纵以呈现不同性别时（ $T(X, m)$ 与 $T(X, f)$ ），模型预测值的期望差异。

命题 2 证明，基于代理标签训练的模型的偏见程度，取决于该表示在多大程度上编码了群体成员身份。如果表示 $R$ 允许基于性别进行特征偏移，模型就会继承标签偏见。
命题 3 强调，即使标签无偏，如果黑盒嵌入遗漏了与结果和受保护属性均相关的变量（遗漏变量偏差），它们也可能引发偏见。
理论分析表明，评分标准嵌入通过将假设空间限制在语义相关的特征上并排除与群体相关的噪声，理论上应能消除标签偏见传播的机制。

实证结果
该研究利用了一个包含 1,112 份公共政策硕士项目申请的数据集。作者向录取分数中人为注入了不同程度的偏见（ $b$ ），以模拟针对女性申请人的历史歧视。

黑盒嵌入：基于这些嵌入训练的模型表现出高度偏见。随着人为注入的男性优势（ $b$ ）增加，被录取女性的比例急剧下降（在高偏见水平下降至接近 0%），且被录取群体的平均质量（通过地面真值分数衡量）下降。这些嵌入预测性别的 AUC 达到 99.6%，证实了它们编码了敏感属性。
删节与边缘化：虽然理论上针对特定操纵 $T$ 是无偏的，但这些方法在实践中失败了。删节后的嵌入由于残留的统计规律，仍允许模型以 81.2% 的 AUC 预测性别。边缘化虽然纠正了表面偏见，但不当惩罚了在地面真值中实际上更合格的群体，导致群体质量下降。
评分标准嵌入：基于评分标准嵌入训练的模型在所有注入的标签偏见水平下均表现出几乎为零的偏见。至关重要的是，它们保持了人口结构多样化的被录取群体（女性比例稳定），并且与所有其他方法相比，实现了最高的群体质量（最高的地面真值平均分数）。
预测准确性：反直觉的是，虽然黑盒模型在有偏的代理标签上实现了更低的均方根误差（RMSE），但评分标准嵌入模型在地面真值标签上实现了最低的 RMSE。这支持了理论观点，即包含与偏见相关的特征（如黑盒嵌入中的性别信号）会在标签有偏时降低对真实结果的预测性能。

主要贡献

理论洞察：本文提供了形式化分解，表明标签偏见的传播取决于表示编码群体成员身份的能力。它区分了标签偏见和遗漏变量偏差，展示了黑盒嵌入如何将两者混淆。
方法论提案：它引入了评分标准嵌入作为一种实用的、建设性的特征选择方法，该方法在无需对标签过程做出强结构假设的情况下，实现了消除引发偏见的特征。
实证验证：利用带有合成偏见注入的新数据集，作者证明评分标准嵌入同时提高了公平性（群体平等）和效用（群体质量），其表现优于正交化和删节等标准公平干预措施。

意义与主张
作者声称，评分标准嵌入为在缺乏地面真值的决策情境中缓解标签偏见提供了一种实用策略。其意义在于将焦点从仅仅调整损失函数或重新加权数据，转移到重新考虑输入如何被表示。

本文认为，将预测建立在可解释的、特定领域的标准之上，可以使模型与感兴趣的基础构念保持一致，从而有效过滤掉导致有偏结果的虚假相关性（如性别信号）。虽然作者承认了局限性——特别是构建评分标准的高昂成本，以及可能无法解决某些形式的差异影响或证明群体特定干预的合理性——但他们得出结论，这种方法提供了一种在有偏标签存在的情况下进行学习的原则性途径，解决了算法公平设计中长期存在的挑战。

问题：“坏掉的指南针”

失败的修复方案

解决方案：“评分标准”（检查清单）

结果

核心结论

技术摘要：利用可解释评分标准嵌入缓解标签偏差

类似论文