From Noise to Signal to Selbstzweck: Reframing Human Label Variation in the Era of Post-training in NLP

这是一篇关于自然语言处理（NLP）中人本对齐（Human Alignment）的立场论文（Position Paper）。文章并未提出新的实证实验结果，而是通过概念框架的构建和对现有文献的综合分析，批判性地审视了当前大语言模型（LLM）后训练（Post-training）阶段中“人类标注变异”（Human Label Variation, HLV）的处理方式，并提出了新的范式。

以下是该论文的详细技术总结：

1. 研究问题 (Problem)

• 核心矛盾：在传统的 NLP 数据标注中，标注者之间的分歧（Disagreement）通常被视为需要消除的“噪声”（Noise），并通过多数投票（Majority Vote）将其压缩为单一的“金标准”标签（Gold Label）。
• 当前困境：随着 LLM 和基于人类反馈的强化学习（RLHF）的兴起，偏好学习数据集（Preference Datasets）成为模型对齐的关键。然而，现有的数据集构建流程依然习惯将多元的人类观点压缩为单一标签。这种做法抹杀了人类价值观的多样性（Pluralism），导致模型只能学习到一种“虚假的共识”，而无法适应真实世界中复杂、多元的社会语境。
• 关键挑战：如何区分“标注错误”（Annotation Error，如误读指令）与“人类标注变异”（HLV，即基于不同价值观、背景产生的合法分歧），并在后训练阶段保留后者作为有价值的信号，而非将其视为错误。

2. 方法论与理论框架 (Methodology & Framework)

文章提出了一套三阶段概念演化框架，将 HLV 的地位从“噪声”提升至“目的本身”（Selbstzweck）：

1. 人类邻近阶段 (Human Adjacent)：
   • 特征：早期 NLP（1990 年代前），系统由专家设计，任务客观（如 POS 标注）。
   • HLV 观：被视为必须消除的错误，以维持“金标准”。
   • 评估：关注单一的技术能力（准确率、F1 分数）。
2. 人类感知阶段 (Human Aware)：
   • 特征：深度学习兴起，任务涉及社会语境（如仇恨言论检测）。
   • HLV 观：开始认识到分歧是不可避免的，但主要将其视为需要建模的信号。
   • 评估：开始关注人机交互层面的公平性和可解释性。
3. 以人为本阶段 (Human Centered)（本文主张的未来方向）：
   • 特征：LLM 时代，系统具有广泛的社会影响力。
   • HLV 观：Selbstzweck（目的本身）。HLV 不应仅被视为信号，而应被视为人类多元价值观的体现，是构建真正以人为本 AI 的内在价值。
   • 评估：引入**社会技术（Sociotechnical）**评估框架（Weidinger et al., 2023），不仅评估模型能力，还评估其在社会系统中的系统性影响。

3. 关键贡献 (Key Contributions)

文章的主要贡献在于理论重构和提出具体的行动策略：

A. 概念重构：从噪声到 Selbstzweck

• 论证了 HLV 是多元人类价值观的载体。在偏好学习中，保留 HLV 对于多元对齐（Pluralistic Alignment）和社会技术安全评估至关重要。
• 提出将 HLV 视为“目的本身”（Selbstzweck），即保护人类观点的多样性本身就是构建 AI 系统的核心目标，而不仅仅是为了提升模型鲁棒性的手段。

B. 批判现有偏好数据集

• 指出当前主流数据集（如 Ouyang et al., 2022; Bai et al., 2022）要么由单人标注，要么将多人标注压缩为单一共识标签。
• 引用 Zhang et al. (2025) 的研究，指出在 Multi-Pref 和 HelpSteer2 等数据集中，超过 30% 的样本存在分歧，且其中仅不到 25% 是纯粹的标注错误。现有的聚合方法掩盖了系统性的观点差异。

C. 提出具体的行动策略 (Actionable Strategies)

针对偏好数据集的构建，文章提出了四点具体建议：

1. 精心选择标注者群体 (Carefully Select the Annotator Pool)：
   • 借鉴调查方法论，定义目标人群，采用分层配额（Stratified Quotas）招募，确保标注者群体反映目标人口的多样性，避免选择性偏差。
   • 收集标注者的元数据（人口统计学特征），以便进行事后加权校正。
2. 发布标注者级别的偏好 (Release Annotator-Level Preferences)：
   • 反对仅发布聚合后的平均分或单一标签。
   • 应发布原始的单条标注数据，以便训练分布奖励模型（Distributional Reward Models），捕捉偏好的不确定性和异质性，而非将其压缩为标量。
3. 利用多样化的反馈类型 (Leverage Diverse Types of Feedback)：
   • 超越简单的二元对比（Pairwise Comparison），结合绝对评分（如 Likert 量表）、描述性评估等多种反馈协议，以更细腻地捕捉人类价值观的细微差别。
4. 将多元性作为推理过程 (Pluralism as Reasoning)：
   • 借鉴法律判决中的“少数派意见”记录机制。AI 系统不必强行输出单一“最佳”答案，而是可以在推理过程中记录、聚合并解释不同的观点，甚至在最终决策中保留分歧的透明度（如 AI 作为调解者）。

4. 结果与发现 (Results & Findings)

• 非实证性结果：作为立场论文，本文未提供新的实验数据，而是通过综述现有研究（如 Zhang et al., 2025; Weber-Genzel et al., 2024）得出结论：
  • 现有的聚合方法（Aggregation）会破坏多元对齐，导致模型在低一致性案例中过度自信。
  • 区分“标注错误”和"HLV"在技术上具有挑战性，但必须尝试，因为两者性质不同。
  • 当前的对齐算法（如 DPO）倾向于将偏好压缩为单一标量，忽略了分布信息。

5. 意义与影响 (Significance)

• 理论意义：
  • 重新定义了 NLP 中“数据质量”的标准：高质量的数据不再意味着低分歧，而是意味着能够真实反映人类价值观的多样性。
  • 将 AI 安全评估从单纯的技术指标扩展到社会技术系统（Sociotechnical Systems）层面，强调模型行为必须置于社会语境中评估。
• 实践意义：
  • 为未来的 RLHF 数据收集提供了具体的操作指南（如分层招募、保留原始标注）。
  • 呼吁开发新的对齐算法，能够处理分布式的偏好（Distributional Preferences），而不是追求单一的“最优策略”。
  • 提出了新的评估指标方向，如多元性保真度（Pluralism Fidelity）（衡量模型输出分布与人类响应分布的匹配度）和少数群体遗憾（Minority Regret）（衡量少数群体偏好被忽视的程度）。
• 局限性说明：
  • 文章承认引入多元性会增加计算和财务成本。
  • 主要聚焦于后训练数据（Post-training data），对预训练语料（Pre-training corpora）中的价值观影响讨论较少，但指出该原则可推广至预训练阶段。

总结

这篇论文是对当前 LLM 对齐范式的深刻反思。它主张停止将人类观点的分歧视为需要清洗的噪声，转而将其视为构建包容性、适应性 AI 系统的核心资源。通过提出"Selbstzweck"这一概念，文章呼吁社区在数据收集、模型训练和评估的全流程中，主动保留和尊重人类价值观的多元性。