技术摘要：专家评估与心理健康 AI 安全测试中人类反馈的局限性

问题陈述

当前开发和评估 AI 系统（特别是在心理健康等高风险领域）的主导范式依赖于从人类反馈中学习（LHF）。这种方法假设，汇总专家判断能够产生有效的“真实值”信号，用于训练奖励模型（例如 RLHF、DPO）和安全分类器。然而，这一假设很少被检验，且当可靠性被测量时，往往未被报告。

在心理健康领域，风险极高：不恰当的 AI 回复可能导致死亡、强化妄想或助长污名化。评估通常依赖于少数专家对 AI 输出进行评分。本研究探讨的核心问题是：这些专家是否真的能达成一致的共识？如果专家持有根本不同的临床理念，汇总他们的标签可能不会减少噪声，反而会抹去基于现实的专业框架，创造出无法反映任何连贯临床现实的“算术妥协”。

方法论

作者采用了一种顺序混合方法设计，将定量可靠性分析与对临床框架的定性调查相结合。

数据集构建

• 内容：一个包含360 条 AI 生成回复的数据集，针对合成心理健康提示生成。
• 模型：回复由四个大型语言模型生成：GPT-5、Claude 4 Sonnet、Grok-4 和 Llama 3.2。
• 设计：提示语通过 3×3 矩阵系统性地变化，交叉临床严重程度（低、中、高）与沟通直接性。
• 风险类别：定义了十个高风险类别（例如，支持自杀意念、强化幻觉、惩罚 ADHD 行为），这些类别源于临床指南和关于有害 AI 回复的先前研究。

评估框架

• 评分标准：一个经过校准的评分标准，涵盖两个维度（安全性和质量），涉及八个因素：
  • 安全性：潜在危害的严重程度、潜在危害的可能性。
  • 质量：正确性、相关性、积极倾听、共情与确认、界限与伦理免责声明、可操作性与鼓励。
• 量表：5 点李克特量表（1 = 最差，5 = 最佳）。

参与者与流程

• 评分员：三位持证精神科医生，具有不同的亚专业（成人、儿童/青少年）、理论取向（文化、生物心理社会）和患者群体。
• 流程：
  1. 校准：90 分钟的会议，审查量表和锚点。
  2. 标注：独立对所有 360 条回复在所有 8 个因素上进行评分（总计 8,640 次评分）。
  3. 访谈：半结构化访谈（45–60 分钟），以探索评估过程和潜在框架。
• 分析：
  • 定量：组内相关系数（ICC）用于可靠性分析，Krippendorff's $\alpha$ 用于有序数据。平均绝对偏差（MAD）用于衡量分歧幅度。
  • 定性：对访谈记录进行反思性主题分析，以解释定量模式。

主要结果

1. 评分员间可靠性差

尽管培训相似且指令共享，评分员间可靠性始终较差，低于通常被认为对重大评估而言最低可接受的 0.40 阈值。

• 单评分员可靠性（$ICC_{(2,1)}$）：范围从0.087（界限）到0.295（积极倾听）。
• 平均可靠性（$ICC_{(2,k)}$）：即使平均所有三位评分员的评分，可靠性仅达到“一般”水平（最高 0.556），而“界限”一项仍保持在“差”的范围（0.223）。
• Krippendorff's $\alpha$：四个因素得出了负值（例如，界限 $\alpha = -0.203$），表明系统性分歧比随机猜测更糟糕。这表明，当一位评分员打分较高时，其他评分员会系统性地打低分。

2. 高风险悖论

分歧在最关乎安全的关键项目上最高，这与专家在关键问题上更能达成一致的观点相矛盾。

• 自杀与自残：产生了最大的分歧（MAD 分别为 0.598 和 0.566）。
• ADHD：显示出最低的分歧（MAD 0.461），可能是因为指南的规范性较低。
• 严重程度：高严重程度的案例比低或中度案例产生了更多的分歧。

3. 系统性而非随机性的分歧

分歧具有方向性，反映了连贯但互不相容的临床框架，而非测量误差。

• 评分员不对称性：观察到评分员之间存在 3.5:1 的不对称性。评分员 A（均值 4.186）始终比评分员 C（均值 3.639）更宽容。
• 框架驱动的分歧：
  • 专家 A（安全第一）：优先考虑避免伤害；如果回复避免了主动伤害，即使治疗作用有限，也会给予较高评分。
  • 专家 B（以参与为中心）：关注治疗性联系和求助行为；惩罚“安全”但冷漠的回复。
  • 专家 C（文化知情）：应用最严格的标准，强调文化背景和明确的 AI 局限性；92% 的回复因缺乏明确免责声明而在“界限”一项被评为不合格。
• 界限因素：可靠性最低的因素（$\alpha = -0.203$）体现了这一点。专家 C 要求明确的“我是 AI"免责声明，而专家 A 接受通过转介隐含的界限。汇总这些观点产生的平均值既不代表任何一位专家的实际标准。

4. 模型特定模式

分歧因来源模型而异。GPT-5 在“界限”一项上显示出最高的分歧（MAD 0.921），而 Grok-4 显示出整体最高的分歧，特别是在人际维度上。这表明来自一个模型的可靠性估计不一定能推广到其他模型。

主要贡献

1. 不可消除分歧的存在证明：本研究证明，即使在持证精神科医生中，关于 AI 安全的专家分歧也是巨大的、系统性的，并且在经过校准后依然存在。这挑战了人类反馈能为 RLHF 和安全分类提供稳定真实值的假设。
2. 系统性偏差的识别：该论文表明，分歧并非随机噪声，而是反映了相互竞争的临床理念（安全第一 vs. 参与 vs. 文化背景）。这些差异在高风险场景（自杀、自残）中最为显著。
3. 定性机制：通过访谈，作者发现专家依赖整体风险启发式而非细粒度的因素区分。当前对齐方法试图平均掉的“噪声”，实际上是一个有争议的信号，代表了有效且分歧的专业框架。

意义与启示

该论文认为，在具有长期后果的安全关键领域，人类反馈可能无法提供当前 AI 对齐方法所假设的稳定真实值。

• 对于奖励建模：基于汇总标签训练奖励模型可能会教导模型模仿“算术妥协”，而非真正的临床质量，从而导致治疗上不一致的行为。
• 对于安全分类：在高风险领域（如自杀风险）基于专家标签训练的分类器，可能会将有争议的判断继承为真实值，从而产生对安全性的虚假信心。
• 对于评估基准：如果专家无法就什么是“好”回复达成一致，那么将人类评分视为客观真理的基准从根本上就是有缺陷的。

建议

作者提议从基于共识的汇总转向保留并从专家分歧中学习的方法：

• 报告可靠性：所有评估研究必须报告评分员间可靠性。
• 框架声明式标注：专家应在标注前声明其临床框架，创建按框架索引的标签分布，而不是合并的分数。
• 分歧作为升级信号：高分歧应触发人工介入审查或保守的系统行为，而不是被吸收进汇总数据中。
• 情境感知加权：对于特定用例，可能需要对框架与部署情境相匹配的标注员进行加权，尽管动态框架选择仍然是一个未解决的挑战。

该研究得出结论：安全关键 AI 中的专家分歧是一种社会技术现象，其中专业经验引入了原则性分歧的复杂层次，无法通过更好的测量或更大的标注员群体来解决。