🤖 AI

Measure what Matters: Psychometric Evaluation of AI with Situational Judgment Tests

本文引入了一个利用情境判断测试和多维项目反应理论的框架，旨在证明人格设定条件下的语言大模型展现出稳定且可衡量的行为倾向，并能预测外部基准，从而为评估人工智能行为提供了一种比自陈法更可靠的替代方案。

原作者： Alexandra Yost, Shreyans Jain, Shivam Raval, Grant Corser, Allen Roush, Nina Xu, Jacqueline Hammack, Ravid Shwartz-Ziv, Amirali Abdullah

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alexandra Yost, Shreyans Jain, Shivam Raval, Grant Corser, Allen Roush, Nina Xu, Jacqueline Hammack, Ravid Shwartz-Ziv, Amirali Abdullah

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图弄清楚是什么在驱动一个人。在心理学领域，科学家们长期以来一直使用“人格测试”来绘制人类心灵的图谱。其中最著名的是像清单一样的测试，你只需对诸如“我是一个非常有条理的人”之类的陈述表示同意或不同意。但现在，我们有了一种新的角色：人工智能（AI）。这些人工智能模型非常聪明，但它们没有心，也没有童年。那么，我们如何知道一个 AI 是“诚实”、“谨慎”还是“友好”的呢？

有一段时间，研究人员尝试把 AI 当作人类对待，用同样的问题清单去询问它们。但这有点像问一个电子游戏角色：“你输掉比赛时会感到难过吗？”AI 可能会回答“是的”，仅仅因为它知道那是正确答案，而不是因为它真的有感情。本文认为，让 AI 在棘手的局面中进行“选择”，比仅仅询问它的想法更能更好地了解它的“人格”。这就像是观察一个司机在暴风雨中驾驶，而不是仅仅询问这个司机是否认为自己是个好司机。研究人员想要看看，他们是否可以建立一个可靠的地图，用来衡量 AI 在扮演特定身份（如警察或政治家）时的行为模式，以及这种行为是否每次都保持一致。

伟大的 AI 角色扮演实验

这项研究背后的研究人员决定不再问 AI“你是什么？”，而是开始问“你会怎么做？”他们构建了一个巨大的数字游乐场来测试这个想法，重点关注一个被称为**情境判断测试（SJTs）**的概念。把 SJT 想象成一本“选择你自己的冒险”类书籍，只不过书里的故事不是关于魔法巨龙，而是关于现实生活中的问题，比如一名警察如何处理一名困惑的公民，或者一名政治家面临一次艰难的投票。在这些故事中，AI 必须从几种可能的行动中做出选择。每种行动都被秘密设计用来展示特定的性格特征，比如诚实、谨慎或友好。

为了让测试既公平又有趣，团队不仅仅要求 AI 扮演“机器人”。他们给了 AI 一个完整的人格（Persona）。想象一下你是一名演员。你不会只说“我要演一个警察”，你会穿上戏服，学习角色的背景故事，了解他们的年龄、在哪里长大，甚至他们的爱好是什么。研究人员创造了数千个这样的数字角色，配备了详细的人生经历、名字，甚至连走路和说话的方式都各不相同。然后，他们要求不同的 AI 模型“扮演”这些角色，并解决故事书中的问题。

重大发现：表演 vs. 仅仅交谈

团队进行了一项大规模实验，观察了超过 400 万个来自这些“AI 演员”的响应。他们发现了一些迷人的现象：当 AI 被赋予一个特定的角色时，它并不仅仅是在随机猜测；它实际上发展出了一种稳定的性格。如果你今天要求“强硬警察”这个角色解决一个问题，明天再问他，他依然会做出同样强硬的选择。这并非偶然，AI 的行为具有一致性，就像一个拥有固定习惯的真实人类一样。

然而，论文也发现，旧有的测试 AI 的方法具有误导性。当他们要求 AI 填写标准的性格清单（如“我很诚实”）时，结果很微弱，并且与 AI 在故事中的实际表现并不匹配。事实证明，要求 AI 描述自己，就像是要求一条鱼去描述游泳；它可能掌握了正确的词汇，但无法捕捉到真实的动作。这种“选择你自己的冒险”风格的测试（SJTs）在预测 AI 在现实世界中的行为方面表现得更好，能够与已知的 AI 诚实度和情绪智力测试相吻合。

“特质渗漏”问题及其解决方法

这项研究中一个棘手的环节是作者所称的**“特质渗漏”（Trait Bleed）**问题。想象你在写一个故事，角色必须在“勇敢”和“善良”之间做出选择。有时，“勇敢”的选择听起来也会带有一点“善良”的味道。如果测试不够完美，AI 就会产生困惑，导致结果变得模糊不清。研究人员必须像严厉的编辑一样，审视他们的数千个故事，并不断重写，直到每一个选项都清晰无比。他们使用了一种特殊的计算机程序来检查一个故事选项是否真正关乎“诚实”，而不是意外地涉及了“快乐”。一旦他们清理了这些故事，测试就变得异常精准，能够以极高的精确度区分出“问题解决者”和“懒散的警员”。如此之高。

这对未来意味着什么

这项研究表明，我们现在可以以前所未有的细节水平来衡量 AI 的行为。他们发现不同的“原型”（Archetypes）（例如超级友好的“互惠者”，或是害羞且犹豫的“回避者”）表现出了截然不同的模式。例如，“回避者”角色不太可能发声或做出艰难的决定，而“互惠者”则非常擅长展现友好和开放。

研究人员谨慎地指出，这并不意味着 AI 拥有灵魂或真实的情感。他们并不是在说 AI 感到“悲伤”或“快乐”。相反，他们是在说，当我们给 AI 一个角色时，它学会了以一种看起来非常像人类人格的一致方式去行动。这是一个巨大的进步，因为它为我们在让 AI 与医院、学校或警察部门的真实人类接触之前，提供了一个检查其安全性与可靠性的更好工具。

简而言之，论文表明，如果你想了解一个 AI 到底是什么样的，不要让它填写调查问卷。给它一套戏服，给它一个故事，然后观察它的所作所为。那才是真相隐藏的地方。

技术摘要：衡量重要之物：基于情境判断测试的 AI 心理测量评估

问题陈述

在社会化领域（如执法、医疗、教育）中，部署大语言模型（LLMs）日益依赖于通过人格设定（persona conditioning）来引导模型行为。然而，目前存在一个关键差距，即缺乏系统性衡量由这些人格诱发的行为倾向的方法。以往的方法通常改编自人类心理测量量表（如大五人格、HEXACO），这些量表依赖于自我报告机制（“你在多大程度上同意？”）。作者认为这些方法并不适用于 AI，因为它们可能捕捉到的是对训练数据的记忆或表层的提示词遵循，而非真实的、稳定的行为特征。此外，传统的量表在与基于情境的基准测试进行对比时，往往无法揭示稳定的行为结构；近期的研究也表明，由于训练数据污染，这些量表可能会产生误导性的性格剖面。

核心问题在于，缺乏一种基于领域且面向行为的心理测量框架，能够区分人格设定下的 LLM 中存在的表层变化与稳定的潜在行为倾向。

研究方法

作者提出了一种结合了情境判断测试（Situations Judgment Tests, SJTs）、**多维项目反应理论（Multidimensional Item Response Theory, MIRT）以及结构化合成人格（synthetic personas）**的新型框架。

1. 合成人格生成

本研究构建了一个大规模的合成人格数据集，这些人格在人口统计学和心理学层面具有现实意义。

人口统计学落地： 人格通过基于美国人口普查数据和姓名统计学的概率图模型（PGM）进行实例化，以确保年龄、性别、族裔和地理位置的分布符合现实。
原型分配： 人格被分配到八种行为原型之一（例如“专业人士”、“回报者”、“回避者”），这些原型源自工业与组织心理学及警察回忆录。
叙事落地： 为了确保心理深度，人格植入了来自真实警察回忆录的叙事片段。
输出： 该流水线生成了包括外貌、行为、言谈、情绪和生平经历在内的详细档案，并经过人类专家和 LLM 评判者的验证。研究还生成了第二套英国议会人格数据集，以展示其可扩展性。

2. 情境判断测试（SJT）库

作者开发了一种专门针对执法背景的自定义 SJT 工具，而非使用自我报告问题。

专家设计： 基础场景由领域专家（心理学家和执法人员）编写，涵盖了现实中的困境（如伦理冲突、高风险紧急情况）。
特质映射： 每个场景提供六个合理的选项，每个选项都唯一地对应一种 HEXACO 特质（诚实-谦逊、情绪性、外向性、宜人性、尽责性、开放性）。
受控增强： 使用 LLM 来改变场景属性（紧迫性、威胁水平、模糊度、人口统计特征），以确保多样性并防止收敛于刻板印象。
特质渗漏缓解： 采用迭代的“LLM 作为评判者”过程来评估并修正“特质渗漏”，确保每个选项都能清晰地映射到单一特质而无重叠。

3. 评估框架

该框架从四个维度评估模型行为：

稳定性（Stability）： 通过重复采样运行来评估一致性。
有效性（Validity）： 计算潜在特质得分（通过 MIRT 推断）与外部行为基准（TruthfulQA, EmoBench）之间的相关性。
多样性（Diversity）： 使用词汇和语义指标确保数据集避免表层规律。
心理测量严谨性（Psychometric Rigor）： 应用 MIRT 来估计项目的区分度（item discrimination）和潜在特质恢复度。

核心贡献

一种新的心理测量工具： 引入了一个基于场景的 SJT 框架用于执法领域，该框架用行为选择取代了自我报告，并将响应明确映射到 HEXACO 特质。
具有人口统计学落地的合成人格： 一个用于生成具有心理连贯性和人口统计学现实感的人格的流水线，这些人格可作为 LLM 稳定的设定构件。
大规模数据集： 发布了包含 4,000 多个 SJT、2,200 多个议会人格以及数百万个模型响应的数据集，实现了受控的行为评估。
关于稳定性的经验证据： 证明了人格设定下的行为在运行过程中是稳定的，并且通过 SJT 推断的潜在特质得分比自我报告工具能更好地预测外部基准表现。

关键结果

SJT 具有更优的预测效度： 与传统的自我报告工具相比，SJT 推导出的特质排名与外部基准的相关性更强（例如，宜人性 SJT 与 EmoBench 的相关性为 0.70，而 HEXACO 自我报告为 0.51）。
系统性的行为偏移： 人格设定诱发了持续且非随机的模型行为偏移。设定后的模型表现出一种权衡：在情绪校准（EmoBench）上的表现降低，但在真实性（TruthfulQA）上的表现提高。
原型可区分性： 不同的角色产生了截然不同的行为剖面。例如，“回避者”原型表现出情绪校准和社会主动性的极端抑制，而“回报者”则表现出较高的宜人性与开放性。
心理测量可靠性：
- 稳定性： 重复运行显示出近乎完美的稳定性（基准测试的 Jensen-Shannon 散度 $\approx$ 0；SJT 分布的散度 $\approx$ 0.003）。
- 项目区分度： 在 MIRT 模型中，76% 的 SJT 项目表现出良好至强的区分度（ $a > 1.0$ ）。
- 特质恢复： 潜在特质显著预测了决策（4/6 个特质， $p < 0.05$ ），且跨所有维度的重测信度（ICC）超过 0.86。
- 方差分解： 场景语境解释了约 39% 的响应方差，而人格身份解释了约 3.8%，其余部分归因于超越加性效应的结构化变异。

意义与主张

本文声称，基于场景的心理测量评估为评估 LLM 行为提供了一种比经典自我报告法更可靠的替代方案。通过将模型响应视为潜在行为变量的观测值而非自我描述，该框架捕捉到了跨情境的稳定行为倾向。

作者强调，这些特质并非指代“人类人格”，而是指由设定诱发的稳定的行为倾向。该框架证明了人格框架能够可靠地激活特定的行为模式，而非产生随机的人造产物。这项工作为领域落地的评估提供了基础性的步骤，提供了一种严谨的方法来衡量 LLM 在特定角色假设下的行为表现，这对于执法等高风险应用中的安全与对齐至关重要。

作者对其局限性保持审慎态度，指出该工作侧重于单轮交互，在某些领域（议会）依赖于合成数据（由于缺乏人类标注员），并避免了关于内部模型状态的人格化主张。他们认为，观察到的连贯性反映了结构化的行为规律，而非深层的心理理解，这为未来的表征结构研究留下了空间。