💬 NLP

Ensemble Diversity Optimization for Subjective Supervision

本文引入了集成多样性优化（Ensemble Diversity Optimization, EDO），这是一个通过符号多样性正则项来联合优化集成权重、规模和校准的可微框架，旨在有效建模主观 NLP 任务中的标注者分歧与不确定性，并在多个基准测试中展示了在概率校准和与人类分布对齐方面的显著改进。

原作者： Xia Cui, Ziyi Huang, N. R. Abeynayake

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xia Cui, Ziyi Huang, N. R. Abeynayake

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图弄清楚一个棘手的句子“真正”的含义，比如一条可能是玩笑也可能是侮辱的推文。你请了一群朋友来投票。在计算机科学的旧方法中，如果三个朋友说“这是侮辱”，两个朋友说“这是玩笑”，计算机就只会选择“侮辱”，并忘掉另外两个人的意见。它的行为就像是认为只有一个正确答案，尽管这些朋友显然存在分歧。

你正在阅读的这篇论文指出，这种“多数票”的方法实际上是在丢弃有价值的信息。作者 Xia Cui 和 Ziyi Huang 认为，当人们产生分歧时，通常不是因为有人犯了错，而是因为话题本身具有高度的主观性。有时，“玩笑”和“侮辱”这两种解释可以同时成立。

“唯一答案”派的问题
论文反对这种将所有不同意见强行压缩成单一标签的做法。如果强迫计算机只选一边，它会变得过度自信，并在遇到新的、棘手的例子时犯错。这就像一位老师只接受一种解题方法，即使还有三种其他正确的方法可以得到答案。

迎来“超级团队” (EDO)
为了解决这个问题，作者引入了一种名为**集成多样性优化（Ensemble Diversity Optimization, EDO）**的新方法。把 EDO 想象成不仅仅是一个学生，而是一个由不同 AI 模型组成的超级团队。

通常，当你把一组模型组合在一起时，你只是让它们投票并寄希望于它们达成一致。但 EDO 很特别，因为它有一个“队长”在积极管理团队如何产生分歧。

以下是队长的运作方式：

“符号化”开关： 队长有一个特殊的开关。有时，团队需要保留分歧。如果朋友们争论是因为话题本身非常复杂（例如取决于语境的仇恨言论），队长会告诉团队：“保持你们的分歧！向我们展示不确定性。”这就像是在说：“我们不是 100% 确定，这没关系。”
“噪声”过滤器： 在其他情况下，分歧仅仅是混乱的噪声，也许是因为数据不平衡（例如，仅仅因为数据集很奇怪，导致有 100 个“玩笑”票和仅 1 个“侮辱”票）。在这种情况下，队长会切换开关来抑制分歧，告诉团队冷静下来并寻找共识。

团队如何学习
论文建议 EDO 会学习最合适的团队规模以及衡量每个成员意见的最佳方式。它并不靠猜测；它使用一种数学技巧（称为 Gumbel-Softmax）来“试穿”不同的团队规模，看看哪种效果最好。这就像一位厨师品尝汤的味道，并决定添加多少香料，但其速度之快，使得计算机可以在烹饪的同时调整食谱。

结果：实际发生了什么？
作者在涉及阿拉伯语厌女症、英语对话中的辱骂、脱欧相关的仇恨言论以及一般攻击性的四个数据集上进行了测试。

校准是关键： 论文表明 EDO 在表达自身不确定性方面表现得更好。当计算机说“我有 60% 的把握”时，它实际上确实有 60% 的把握。在测试中，与旧方法相比，EDO 将“交叉熵”（衡量模型困惑度的指标）误差降低了 40% 到 78%。
更好的得分： 它还显著降低了“布里尔分数”（Brier Score，另一种衡量概率预测准确性的指标）。例如，在“ConvAbuse”数据集上，旧方法的得分为 0.9671，而 EDO 将其降至 0.2149。
保持趣味性： 尽管 EDO 更加谨慎且不再过度自信，但它并没有失去获得正确答案的能力。它保持了极具竞争力的“F1 分数”（衡量整体准确性的指标）。

论文排除了什么
作者非常明确地说明了这种方法不是什么。

它不是关于寻找每个人都忽略掉的单一“隐藏真相”。论文认为，在主观任务中，往往不存在单一的隐藏真相；分歧本身就是真相。
它不是一种需要你精确知道标注者是谁或拥有特殊元数据的方法。即使你只有一个混合在一起的投票堆，该方法依然有效。
它并不意味着多样性总是好事。论文明确指出，如果数据混乱或不平衡，有时你确实需要抑制分歧。“符号化”开关的存在就是为了处理这两种情况。

他们有多确定？
作者根据所进行的实验对自己的结果充满信心。他们不仅仅是在计算机上进行模拟；他们是在包含人类标注者的真实世界数据集上进行了测试。他们在校准度（使概率变得准确）方面的提升是实质性的且在四个数据集上表现一致。然而，他们也指出，该方法取决于分歧的结构。如果分歧是由数据中的某些异常情况（例如损坏的数据集）引起的，该方法可能需要进行不同的调整。

底线
这篇论文提出，与其强迫 AI 在人类争论中选边站队，不如教会它理解这场争论本身。通过使用一个知道何时同意以及何时礼貌地保持分歧的灵活团队，我们可以构建出对已知和未知都更加诚实的 AI。这是迈向让机器理解“答案有时不是一个数字，而是一整个可能性的范围”的一步。

技术摘要：面向主观监督的集成多样性优化

问题陈述

许多自然语言处理（NLP）任务（如内容审核、仇恨言论检测和情感分析）具有系统性的标注者分歧特征。在这些主观领域，标注的分歧往往源于语义歧义、上下文依赖性或标注者专业知识的差异，而非简单的标注错误。因此，“地面真值”（ground truth）并非单一的潜在标签，而是人类解释的一种分布。

标准的监督学习方法通常将这些标注聚合为单一目标（例如通过多数投票），这会丢弃分布信息并导致对主流解释的过拟合。虽然软标签监督可以保留标注者分布，但现有方法通常仅优化单个预测模型，缺乏调节内部预测变异性或区分真实认识不确定性（主观性）与结构性噪声（如类别不平衡或标注覆盖稀疏）的显式机制。此外，传统的集成方法通常将多样性视为固定架构的涌现属性，而非一种显式的优化目标。

方法论：集成多样性优化 (EDO)

作者提出了集成多样性优化 (EDO)，这是一个旨在处理主观性和不平衡监督的预测空间框架。EDO 完全在预测空间内运行，使其具有模型无关性，并能兼容任何预训练的概率分类器。该框架冻结了骨干参数，专注于端到端地学习集成权重和结构。

核心组件

可微集成结构学习：
EDO 不再固定集成规模，而是通过 Gumbel-Softmax 松弛技术 对集成成员的有效基数 ( $K$ ) 和可靠性权重 ( $w$ ) 进行联合学习。这种方法允许在连续框架内通过基于梯度的优化来实现离散结构选择（集成规模）的优化。
带符号的可靠性加权多样性正则项：
其核心创新是引入了一个带符号的差异化目标函数 ( $L^{(s)}_{Div}$ )，其中 $s \in \{-1, +1\}$ 。
- $s = -1$ （差异保留）： 当变异反映了真实的决策主观性时，鼓励集成内部产生分歧，以保留认识不确定性。
- $s = +1$ （差异抑制）： 当观察到的变异是由结构性人工痕迹（如极端的类别不平衡或稀疏的标注覆盖）驱动时，抑制分歧。
  该正则项是可靠性加权的，这意味着成对分歧的贡献受集成成员学习权重的调节。
多目标优化：
EDO 将学习过程表述为三个竞争目标的联合优化：
- 预测效用： 通过可微的软微 F1 损失 ( $L_{F1}$ ) 进行近似。
- 校准度： 通过类别加权交叉熵 ( $L_{CE}$ ) 进行强制约束，以处理不平衡的软标签并与标注者分布对齐。
- 内部多样性： 通过带符号的差异损失 ( $L^{(s)}_{Div}$ ) 进行调节。
  总目标函数为： $\min_{w,K} \lambda_{F1}L_{F1} + \lambda_{CE}L_{CE} + \lambda_{Div}L^{(s)}_{Div} + \lambda_{Reg}L_{Reg}$ 。
监督策略：
该框架支持两种策略：
- 随机选择 (Random Select)： 每个实例采样一个标注者的标签进行训练，提供一个无偏的随机估计量。
- 逐标注者 (Per-Annotator)： 将特定的集成成员与特定的标注者配对，从而保留个体偏差，并需要获取标注者身份信息。

核心贡献

统一框架： EDO 将随机标注者监督与显式的、基于可靠性的集成多样性优化相结合，超越了固定的架构或单一模型的软标签方法。
方向性多样性控制： 与将多样性视为静态启发式方法的以往方法不同，EDO 引入了一个带符号的正则项，引导优化沿着效用-校准帕累托前沿（Pareto frontier）进行，使模型能够根据数据的性质来保留或抑制分歧。
端到端结构学习： 通过利用 Gumbel-Softmax，EDO 能够动态学习最优的集成规模和组成，使复杂度能够适应特定数据集中的标注者分歧模式。
模型无关性： 该框架仅在预测空间运行，使其适用于任何预训练骨干网络，且无需重新训练底层模型，也不需要访问标注者元数据（在 Random Select 变体中）。

实验结果

作者在 LeWiDi 基准测试中的四个主观文本分类基准上评估了 EDO：ArMIS（阿拉伯语厌女言论）、ConvAbuse（英语对话虐待）、HS-Brexit（英语脱欧相关仇恨言论）和 MD-Agreement（英语冒犯性言论）。

校准改进： 与基线模型（Soft-CE, Soft-MD, Top-5 Voting, 以及弱集成学习 [WEL]）相比，EDO 显著提升了概率校准度。
- 相对于基线，它降低了 40–78% 的交叉熵 (CE)，具体取决于数据集和基线模型。
- 它在所有四个数据集上都实现了最低的 Soft Brier Score，表明其在应对过度自信的误校准方面具有鲁棒性。
效用维持： 尽管侧重于校准和不确定性，EDO 仍保持了具有竞争力的 Micro-F1 分数，证明了改进不确定性表示并不一定会以牺牲预测效用为代价。
与标注者对齐： 与单模型方法相比，EDO 显示出与经验标注者分布更强的对齐性（通过曼哈顿距离衡量）。
消融研究洞察：
- 带符号的差异正则项在与联合多目标损失结合时最为有效，起到了重塑效用-校准权衡的补充机制作用。
- 可靠性加权集成聚合与均匀平均相比，一致地降低了 CE。
- 学习到的集成规模 ( $K$ ) 具有动态适应性，当增加成员能改善校准度时会扩大，当成员不再必要时则收缩。

意义与主张

本文声称 EDO 提供了一种高效、模型无关的方法，用于对监督学习中的人类主观性进行建模。通过将标注者分歧视为一种结构化信号而非噪声，并通过结合方向性多样性正则项来联合优化集成结构，EDO 实现了对效用-校准权衡的可控导航。

作者强调，其方法不需要手工设计的集成架构或预计算的不确定性得分。相反，可靠性权重和集成规模是通过基于梯度的效用、校准和多样性目标的平衡而隐式涌现的。结果表明，联合优化集成结构可以实现对认识不确定性更具原则性的表示，尤其是在人类判断具有内在变异性的场景下。

论文总结道，虽然 EDO 提供了一个灵活的框架，但其有效性取决于分歧的结构（例如，区分真实的主观性与结构性人工痕迹），未来的工作可以探索动态权重策略和更丰富的标注者行为表示。