💻 computer science

SHALA-LLM: Smartly Handling Ambiguous Labels in Aligning LLMs

该论文介绍了 SHALA-LLM，这是一个强化学习框架，它通过将标注者标签的歧义性视为有价值的信息而非噪声，从而通过动态优先处理歧义样本来更好地建模人类判断分布，并同时提升分类性能，进而改进大语言模型的对齐。

原作者： Jingyao Wu, Ashley Wang, Keane Ong, Paul Pu Liang, Rosalind Picard

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Jingyao Wu, Ashley Wang, Keane Ong, Paul Pu Liang, Rosalind Picard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

问题所在：当意见不一之时

想象一下，你是一位正在批改学生作文的老师。你请了五位不同的专家来阅读同一段话，并判断它是“正确”、“错误”还是“可能”。

专家 A 说：“绝对正确。”
专家 B 说：“绝对错误。”
专家 C、D 和 E 说：“两者皆有，存在歧义。”

在过去，当研究人员训练人工智能（大语言模型或 LLM）时，他们会观察这五种意见，然后说：“好吧，既然有三个人说是‘可能’，那么答案就是‘可能’。”他们会丢弃那两位专家强烈反对的事实。他们将这种分歧视为“噪声”或需要修复的错误。

这篇论文的作者认为这是一个错误。他们认为分歧不是噪声，而是信息。聪明的人无法达成一致这一事实，告诉了 AI 这个情况是棘手的、复杂的且具有解释性的。

解决方案：SHALA-LLM

团队创建了一种名为 SHALA-LLM（智能处理对齐 LLM 中的模糊标签）的新方法。你可以把它想象成一种教 AI 倾听专家完整对话，而不仅仅是听取最大声的那一个声音的新方式。

以下是它的工作步骤：

1. “投票箱”而非单一答案

SHALA-LLM 不再强迫 AI 仅选择一个标签（如“正确”），而是要求 AI 给出一个概率分布。

旧方法： AI 说：“我 100% 确定这是‘正确’。”
SHALA-LLM 方法： AI 说：“我认为有 40% 的概率是‘正确’，40% 的概率是‘错误’，以及 20% 的概率是‘可能’。”

这符合人类专家的现实情况，即他们的意见在中间部分产生了分歧。

2. “困惑奖励”（核心秘诀）

这是论文中最具创意的一部分。研究人员意识到，有些问题很简单（大家意见一致），而有些问题很难（大家争论不休）。

简单问题： 所有人意见一致。AI 因为答对而获得标准的奖励。
难题： 人类感到困惑并产生分歧。

在 SHALA-LLM 中，AI 会获得一个特殊的“困惑奖励”（Confusion Bonus）。如果人类专家对某个特定案例感到高度困惑，AI 在学习该特定案例时获得的奖励会更多。

类比： 想象一位教练在训练足球运动员。如果球员踢进了一个简单的球，他们会得到一个击掌鼓励。但如果球员是在一个球路难以预测的湿滑泥泞场地上进行练习，并且他们仍然设法踢进了球，教练会给他们一座巨大的奖杯。
AI 学习到，那些“泥泞且令人困惑”的例子对于变得更聪明是最有价值的。

3. 结果：更像人类的 AI

研究人员在以下任务中测试了该方法：

NLI（自然语言推理）： 判断一个句子在逻辑上是否由另一个句子推导而来。
ER（情绪识别）： 判断一个声音听起来是开心、悲伤还是愤怒。

发生了什么？

更好的契合度： AI 的“猜测”（分布）比以前更准确地匹配了人类意见的分散程度。它将 AI 想法与人类想法之间的差距缩小了高达 62%。
更高的准确率： 令人惊讶的是，通过学习处理困惑，AI 在挑选单个“最佳”答案方面也变得更好了。它的准确率得分提升了高达 16%。
鲁棒性（稳健性）： 当任务变得极其困难和混乱时，旧的 AI 模型会崩溃。而 SHALA-LLM 模型保持稳定。当人类产生分歧时，它并没有惊慌，而是利用这种分歧来学习更深层的模式。

核心结论

该论文声称，通过将人类的分歧视为一种特征（有用的信号）而非缺陷（错误），我们可以构建出对不确定性更加诚实、并在现实世界中更加准确（在非黑即白的情况下）的人工智能。

AI 不仅仅是在学习说什么；它还在学习应该有多么不确定，这使得它成为了一个更优秀的类人判断力的模仿者。

技术摘要：SHALA-LLM

问题陈述

许多以人为中心的自然语言任务，如自然语言推理（NLI）和情感识别（ER），本质上具有多种合理的解释。这导致了标签歧义性以及人类标注者之间显著的分歧，这种分歧是由上下文理解、文化背景和个人经验等因素驱动的。

目前的语言大模型（LLM）对齐范式主要将这种标注者分歧视为噪声。它们通常通过多数投票或平均化方法，将歧义标注压缩为单一的“金标准”标签。这种方法丢弃了蕴含在人类分歧中的丰富信息，尤其是在高度歧义的情境下。虽然最近的研究探索了分布对齐，但它们通常是在推理阶段（通过提示词）进行，而不是在训练期间直接优化 LLM 以应对标注者分歧。因此，现有方法无法保留人类判断的完整分布，也无法动态地优先处理那些歧义信息最具启发性的样本。

方法论：SHALA-LLM

作者提出了 SHALA-LLM（智能处理对齐 LLM 中的歧义标签），这是一个强化学习（RL）框架，旨在使 LLM 直接与经验标注分布对齐，而非单一的压缩标签。该框架通过以下核心组件运行：

1. 问题建模

SHALA-LLM 不再将标注压缩为单一标签，而是从 $N$ 个人类标注者中为给定样本 $q$ 推导出经验标签分布（ $p_q$ ）。该分布代表了基于标注者投票频率的每个候选类别的概率。目标是训练 LLM 生成与这一底层人类判断分布相一致的预测（ $\hat{p}$ ）。

2. 语言化分布预测

为了促进分布学习，LLM 被提示生成语言化分布。模型不再输出单一类别，而是生成包含所有候选类别概率估计的文本响应（例如，采用 JSON 格式）。这些文本输出被解析为预测概率分布 $\hat{p}^{(q,i)}$ 。

3. 奖励设计：增强歧义的优化

其核心创新在于 组相对策略优化（GRPO） 框架中所使用的奖励函数。采样展开（rollout）的奖励 $r^{SHALA}_{(q,i)}$ 定义为：

$r^{SHALA}_{(q,i)} = \tilde{H}(p_q) \cdot [1 - D_{JS}(\hat{p}^{(q,i)}, p_q)]$

其中：

分布对齐项： $[1 - D_{JS}(\hat{p}^{(q,i)}, p_q)]$ 使用 Jensen-Shannon (JS) 距离来衡量模型预测分布与标注者分布之间的契合度。这取代了基于多数标签监督的稀疏、二元奖励，转而使用与分布一致性成比例的连续奖励。
歧义增强项： $\tilde{H}(p_q)$ $\tilde{H} (p_{q})$ 是标注者分布的归一化熵。它量化了标注者之间的分歧程度（即歧义性）。
- 动态重加权： 具有较高标注者分歧（高熵）的样本会获得按比例放大的奖励。这在优化过程中动态地优先处理高度歧义的样本，迫使模型从丰富的分歧结构中学习，而非仅仅学习主导标签。

4. 优化

该框架利用 GRPO 来优化策略。通过基于歧义增强奖励计算组归一化优势（group-normalized advantages），SHALA-LLM 鼓励模型捕捉不确定性和多样化的人类解释。这重塑了奖励几何结构，产生了更平滑的优势分布和在歧义监督下更具启发性的策略更新。

核心贡献

范式转变： 本文挑战了“标注者分歧即噪声”的假设，将其重新定义为能够提升模型行为的有信息量的监督信号。
算法创新： 引入了一种新型的基于强化学习的算法（SHALA-LLM），它将歧义感知奖励调制直接集成到训练循环中，并专门使用了 GRPO。
双重提升： 研究表明，建模标注者分歧不仅能提高分布对齐度（捕捉人类不确定性），还能提升标准的分类性能（F1 分数），这与“处理歧义会损害准确性”的传统观点相反。

实验结果

该框架在歧义敏感的 NLI 和 ER 基准测试上进行了评估：ChaosNLI、GoEmotions 和 MSP-Podcast。

分布对齐： SHALA-LLM 显著降低了模型预测与人类分布之间的 Jensen-Shannon 距离（JSD）。在 ChaosNLI 上，与多数标签监督（MLS）相比，JSD 降低了 62.1%。在 MSP-Podcast 上，JSD 降低了 6.2%。
分类性能： 与预期不同，分布监督并未损害点估计准确性，反而提升了 F1 分数。在 ChaosNLI 上，F1 比 MLS 提高了 16.6%；在 MSP-Podcast 上，F1 提高了 29.2%。
对歧义的鲁棒性： 针对不同歧义水平（低、中、高）的分析显示，随着歧义增加，SHALA-LLM 能保持稳定的性能，而基线方法（如 MLS）在高度歧义的情况下性能显著下降。
特定类别的增益： 模型在具有内在歧义性的语义类别（如 NLI 中的“矛盾”和 ER 中的“惊讶”）中表现出特别强劲的改进，而基线模型在这些类别中往往表现不佳。
推理行为： 定性分析表明，SHALA-LLM 生成的推理模式反映了多种有效的解释和不确定性，而非零样本或多数标签基线模型中常见的过度自信、单一解释的输出。

意义与主张

作者声称，SHALA-LLM 证明了将人类分歧视为信号而非噪声的价值。通过保留分歧结构并动态优先处理歧义样本，该框架能够实现更稳健、更符合人类对齐的 LLM 行为。

论文得出结论：

保留分歧： 维持人类判断的完整结构允许模型从多样且可能冲突的标签中学习，从而实现更好的与人类分布的对齐。
性能协同： 歧义感知优化并不以牺牲分类准确性为代价来换取对齐，而是同时强化了两者。
泛化性： 该方法在不同模态（文本和语音）和任务类型（推理和情感识别）中均有效。

作者也承认了局限性，指出目前的评估侧重于结构化标签分布，尚未涉及开放式生成任务或复杂的多轮交互。他们还指出，该框架假设经验分布能够充分代表诸如标注者专业知识等潜在因素，但这可能无法完全捕捉所有来源的歧义。尽管如此，这项工作为开发更稳健、以人为中心的语言大模型提供了一个充满希望的方向。