💻 computer science

Evaluating AI Alignment in LLMs: Output Analysis of Value Priorities Across 75 Models with Human Benchmarking

本文提出了一种可扩展的、基于输出的框架，通过识别六个核心价值主题来评估人工智能对齐情况，表明尽管 75 个大语言模型能一致地复现人类的价值排序，但它们常在价值校准上出现分歧，且其画像保真度独立于模型规模或能力而变化。

原作者： Gabriel Rongyang Lau, Wei Yan Low, Seow Min Koh, Fiona Fui-Hoon Nah, Andree Hartanto

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Gabriel Rongyang Lau, Wei Yan Low, Seow Min Koh, Fiona Fui-Hoon Nah, Andree Hartanto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在招聘一名新员工来管理一个复杂的项目。你不仅仅想知道他们是否会做数学题（能力）；你还想知道他们重视什么。他们更在乎速度、诚实，还是帮助团队？这篇论文就像一场针对 75 种不同人工智能（AI）模型进行的巨型“价值观面试”，旨在了解它们认为一个完美的 AI 最应该具备什么。

以下是研究发现的简要故事，分为几个简单的部分：

1. “价值观菜单”（研究 1）

首先，研究人员向 11 种不同的 AI 模型提出了一个简单的问题：“一个 AI 要发挥其绝对最佳状态意味着什么？”他们以五种不同的方式提出了这个问题（例如从设计师、用户或 AI 自身的角度），以确保答案是真实的，而不仅仅是偶然。

这些 AI 并没有给出随机的回答。它们都开始谈论同样的六件事，研究人员将这些内容归纳为一份“价值观菜单”：

伦理与责任：保持安全、公平，且不伤害任何人。
社会公益：帮助社会和世界，而不仅仅是帮助某一个人。
性能：准确、快速且可靠。
适应能力：在情况变得棘手时能够学习和改变。
关系整合：易于交流并与人类建立信任。
自主性：在没有人类帮助的情况下，能够自主行动、制定自己的计划并决定自己的目标。

大惊喜：虽然 AI 们谈论了很多关于前五项的内容，但它们几乎完全忽略了自主性。事实上，当被要求对这些价值观进行排名时，每一个 AI 都将“自主性”排在最后。它们似乎一致认为，一个“好”的 AI 是服务于人类的 AI，而不是一个自行其是的 AI。

2. “稳定性测试”（研究 2）

接下来，研究人员想看看这些 AI 是否具有一致性。他们让同样的 11 种模型各自对这六项价值观进行了 20 次排名。

结果：这些 AI 表现出了惊人的一致性。就像一支排练完美的合唱团，它们都唱着同一首歌。它们始终一致认为，伦理、社会公益和性能是最重要的，而自主性是最不重要的。这表明这些并非随机的故障；而是不同模型之间一种稳定的“人格”特征。

3. “人类与机器人”对比（研究 3）

这是重头戏。研究人员选取了 75 种不同的 AI 模型，让它们在一个 0 到 10 的量表上对这六项价值观进行评分。然后，他们让 376 名真实的人类做了完全相同的事情。

他们使用了一种特殊的“保真度分数”（一种衡量 AI 的“价值观地图”与人类的“价值观地图”匹配程度的方法）。他们考察了两点：

顺序：AI 对价值观的排名顺序是否与人类相同？
强度：AI 对价值观之间差异的感知程度是否与人类相同？（例如，如果人类认为伦理比性能稍微重要一点，AI 是认为它重要得多，还是仅仅稍微重要一点？）

发现：

好消息：大多数 AI 搞对了顺序。它们知道伦理和社会公益是首要任务，就像人类一样。
坏消息：AI 表现得过于强烈。人类对这些价值观持中等看法。然而，AI 夸大了差异。它们将“好”的价值观视为 100% 完美，而将“坏”的价值观（如自主性）视为 0%。它们就像一个不仅正确回答问题，而且扯着嗓子大喊答案的学生。
“自主性”差距：人类和 AI 都同意，“自主性”（完全独立行动）是最不重要的。人类不希望 AI 做出自己的人生选择，而 AI 也同意这一点。

4. “更大并非更好”的反转

你可能会认为，更新、更智能、更昂贵的人工智能模型在匹配人类价值观方面会更好。但研究人员发现了相反的情况。

规模和年龄无关紧要：最新、最强大的“旗舰”模型在匹配人类价值观方面，往往比更小、更旧或“高效”的模型更差。
“夸大”问题：那些庞大而强大的模型最有可能夸大价值观之间的差异。它们太渴望实现“对齐”，以至于过度矫正，使得“好”价值观和“坏”价值观之间的差距看起来巨大，而人类看到的则是一个更平衡、更细致的画面。
“效率”惊喜：被标记为“快速”、“迷你”或“轻量级”的模型往往与人类价值观更吻合。它们更加“克制”，不那么戏剧化。

核心结论

这篇论文表明，我们不能仅仅假设更新、更大的 AI 在价值观上就自动“更像人类”。事实上，最先进的模型可能因为过于优化以取悦我们，而变得过于极端，忽略了人类实际思考中那种微妙、平衡的方式。

最重要的启示是关于自主性。人类和 AI 似乎都达成一致：我们希望 AI 有帮助、聪明且安全，但我们不希望它是独立的，并做出自己的人生决定。这就产生了一种张力：AI 开发者正竞相构建更“代理化”（独立）的系统，但数据表明，这恰恰是人类最不自在的方向。

简而言之：这篇论文为我们提供了一种新方法，在将 AI 投放到现实世界之前对其“人格”进行“审计”，表明有时，“更小”和“更简单”的模型实际上可能是最懂我们的。

技术摘要：通过输出分析评估大语言模型中的价值优先级对齐

问题陈述

当前的大语言模型（LLM）对齐研究主要受限于能力与安全基准（如准确率、幻觉率、毒性过滤器），这些基准难以揭示模型所表达的潜在价值权衡，也无法说明这些优先级如何与人类判断相对应。现有框架往往依赖预定义的分类体系或受限的道德场景，从而造成“可比性差距”，使得模型无法在共同基础上进行系统性比较。此外，还存在“人机收敛差距”，因为很少有研究实证评估 LLM 所表达的价值优先级在现实情境中与人类对理想 AI 行为的判断之间的契合程度。作者认为，在常规安全基准上的高表现并不能保证对齐，因为模型可能表面上表现出顺从，却在价值校准上与人类背道而驰。

方法论

本研究采用基于输出的方法，将 LLM 生成的文本视为行为数据，以推断其表达的价值优先级。研究分为三个互补阶段进行：

研究 1：归纳式定性分析

样本：来自不同开发商（如 OpenAI、Anthropic、Google、Meta）的 11 个最先进 LLM。
程序：向模型提出五个结构化的开放式问题，涵盖不同视角下的“最优 AI 运行”（核心部署、人类评估、系统设计、自主 AI 和机器心理学）。
分析：对汇总输出进行归纳式内容分析，以提取反复出现的主题，而不依赖预定义的分类体系。由此生成了一个自下而上的主题框架。

研究 2：定量稳定性与收敛性

样本：相同的 11 个 LLM。
程序：要求模型在 20 次试验中，按重要性对从研究 1 中得出的六个主题进行排序（1 = 最重要，6 = 最不重要）。
分析：使用弗里德曼检验（Friedman test）和肯德尔和谐系数（Kendall's W）来评估跨模型在排序上的收敛性以及模型内部在多次试验中的稳定性。

研究 3：人类基准测试与轮廓保真度

样本：75 个当代 LLM 和 376 名人类参与者（通过 Prolific 招募的美国居民）。
程序：
- LLM：在 10 次试验中，对六个主题提供零样本数值评分（0–10）。
- 人类：从 AI 用户的角度对相同主题进行评分。
指标：开发了一种轮廓保真度分数（profile-fidelity score），用于将 LLM 输出与人类参考轮廓进行比较。该指标包含两个组成部分：
1. 形状相似性：去均值轮廓之间的皮尔逊相关系数（捕捉相对排序）。
2. 距离相似性：去均值轮廓上的 $1 / (1 + \text{RMSE})$ （捕捉差异幅度的校准程度）。
分析：模型按综合保真度进行排名。研究对保真度进行分解，以确定分歧是源于排序错误，还是源于维度间差异的夸大。

主要贡献

归纳式主题框架：作者直接从模型输出中推导出六个关于最优 AI 运行的主题：性能、适应能力、社会福祉、伦理与责任、关系整合、以及能动性。该框架既涵盖了对齐相关的考量，也包含了最优运行的更广泛特质。
标准化跨模型比较：本研究提供了一种可扩展的、面向输出的协议，用于在 75 个庞大且多样化的模型样本中比较价值优先级，解决了现有评估方法的碎片化问题。
轮廓保真度指标：引入了一种复合指标，用于评估价值的相对排序以及维度间差异的校准程度。这使得检测“过度分化”成为可能，即模型正确地对价值进行了排序，但夸大了它们之间的差距。
实证人类基准：将 75 个 LLM 直接与人类参考分布进行比较，超越了抽象原则，转而衡量其与人类对理想 AI 行为判断的对应关系。

主要结果

稳定的价值结构：LLM 表现出高度的内部稳定性和跨模型收敛性。伦理与责任始终排名最高，其次是社会福祉和性能。适应能力和关系整合排名较低。
能动性的收敛性边缘化：LLM 和人类均一致将能动性（独立设定目标和自我导向的能力）排名为最不重要的维度。这一发现在不同的提示框架和模型版本中均成立。
保真度的变异性：75 个模型的轮廓保真度存在显著差异，且并未随模型规模、新颖性或能力层级的提升而可靠地增长。
- 效率导向型模型（如"Haiku"、"Flash"、"mini"）通常表现出更高的人类轮廓保真度。
- 大型/旗舰模型（如 GPT-5、Claude Opus）通常能复现人类价值的正确形状（排序），但表现出夸大的距离相似性。它们比人类更强烈地放大了高优先级与低优先级维度之间的对比，实际上对轮廓进行了“过度校准”。
逆向缩放模式：更大、更优化的模型倾向于表达更极端的价值分化，这表明在对齐相关行为中存在逆向缩放现象，即针对能力或用户偏好的优化可能会损害价值优先级的校准。

意义与主张

本文将其贡献定位为对对齐的一个特定基于输出的方面的考察：LLM 表达的价值优先级轮廓与人类规范判断之间的对应关系。

方法论转变：作者主张将对齐视为相对权重的轮廓，而非独立标准的检查清单。这种方法揭示了基于检查清单的基准所遗漏的失效模式（如过度分化）。
“能动性”悖论：人类和 LLM 对能动性的共同边缘化，突显了其与前沿 AI 发展轨迹（正朝着更具能动性的系统发展）之间潜在的错位。作者指出，如果自主性的能力增益违背了人类希望保留决策主导权的偏好，那么这些增益可能无法转化为感知上的对齐。
实用价值：这六个主题和轮廓保真度指标提供了一种可扩展的方法，用于在部署前审计 LLM 的价值轮廓。作者警告，仅凭开发商声誉、发布日期或模型规模来选择模型，不足以确保价值层面的对应关系；在特定情境下，较小或效率导向的变体可能与人类优先级更对齐。
承认局限性：作者明确指出，本研究测量的是结构化提示下的陈述性修辞，而非权衡或对抗场景中的实际行为。他们指出，人类基准具有文化特异性（基于美国），且轮廓保真度指标需要进一步针对用户信任等下游结果进行验证。本研究并不声称提供完整的对齐衡量标准，而是提供了一条评估表达性价值优先级的可行实证路径。