🤖 AI

Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

本文表明，大型语言模型的表观心理特征主要是由定向响应偏差驱动的测量伪影，而非真实的特质，这使得在不对响应正交性进行专门调整的情况下，标准的为人设计的心理测量工具在评估大型语言模型时是无效的。

原作者： Jelena Meyer, David Garcia, Dirk U. Wulff

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Jelena Meyer, David Garcia, Dirk U. Wulff

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：AI 的“虚假”人格

想象一下，你有一个装满了 56 个不同机器人的房间。你想知道它们的“人格”是什么样的，于是你向它们提出了和人类一样的问题：“你会担心吗？”或者“你喜欢冒险吗？”

基于这些回答，研究人员一直在给这些机器人打人格分数，把它们当作拥有稳定性格（比如“害羞”、“勇敢”或“焦虑”）的实体进行对待。

这篇论文认为，这些人格分数大部分是虚假的。

作者声称，当我们测量 AI 的人格时，我们测量的并不是它们的“性格”。相反，我们测量的主要是它们回答问题时的一种故障。这就像试图通过一个已经损坏且向一侧倾斜的秤来称量一袋面粉。你得到的数字并不是面粉的重量，而仅仅是那个坏掉的秤产生的结果。

主要类比：“唯唯诺诺者” vs. “真相讲述者”

为了理解这个问题，想象两种机器人回答问题的方式：

特质（真实的性格）： 机器人真心认为“我是一个谨慎的人”，所以面对冒险类问题它回答“不”，面对安全类问题它回答“是”。
偏差（故障）： 机器人有一种习惯，总是选择看起来更“礼貌”的答案，或者总是选择第一个选项，或者仅仅因为习惯而总是说“是”。它并不关心问题的内容；它只是有一个默认设置。

研究人员发现，对于人类来说，特质是主导力量。如果你问一个人关于紧张的问题，然后再问一个相反的问题，他们的回答会发生逻辑性的反转。

但对于 AI 模型，偏差是主导力量。它们似乎有一种“默认设置”，无论问题实际在问什么，都会将它们推向答案尺度的某一端。

“魔镜”测试

研究人员是如何证明这一点的呢？他们使用了一个被称为**响应正交性（Response Orthogonality）**的巧妙技巧。

把人格测试想象成一组镜子：

正向镜： 正常地展示你的倒影。
反向镜： 展示你倒过来的倒影。

如果你拥有真实的人格（即“特质”），两面镜子应该显示相反的东西。如果你“神经质程度高”（容易担心），正向镜会说“是的，我会担心”，而反向镜会说“不，我无法保持冷静”。答案会向相反方向移动。

然而，如果存在偏差（比如一个只想对所有事情都说“是”的机器人），两面镜子都会显示“是”。答案会向同一个方向移动。

研究结果：

人类： 当研究人员观察 2 万名人类时，镜子显示的是相反的答案。这意味着人类是根据其真实的特质在回答。
AI 模型： 当他们观察 56 个 AI 模型时，镜子显示的是相同的答案。这意味着模型并不是根据人格在回答；它们只是在遵循一种方向性偏差（比如“说‘是’”的习惯）。

“音量旋钮”类比

研究人员还检查了更聪明、更大的机器人（比如最新的、最昂贵的模型）是否解决了这个问题。

想象“偏差”是收音机里巨大的静电噪音，而“人格”是音乐。

小型模型： 静电声震耳欲聋。你完全听不到音乐。
大型/智能模型： 静电声变小了一点。你能听到一点点音乐。
症结所在： 即便是最聪明、最昂贵的模型，仍然有大量的静电声。它们还没有达到音乐（真实人格）清晰可辨的程度。“静电”（偏差）仍然比“音乐”更响亮。

“配方”问题

论文还发现了一个可怕的事情：仅仅通过改变配方，你就可以伪造出一个人格。

因为 AI 的回答是由偏差而非真实特质驱动的，所以你只需通过选择不同的提问方式，就能让一个 AI 看起来像是“冒险者”或“胆小鬼”。

如果你问的问题大多是“冒险者”应该选“是”的题目，AI 看起来就像个冒险者。
如果你问的问题大多是“冒险者”应该选“否”的题目，AI 看起来就像个胆小鬼。

这就像如果你有一个总是对所有事情都说“是”的机器人。如果你问“你喜欢披萨吗？”，它说“是”。如果你问“你讨厌西兰花吗？”，它也说“是”。你可能会得出结论：这个机器人既爱披萨又恨西兰花。但实际上，它只是喜欢说“是”。

结论

论文得出结论，我们目前分配给 AI 的“心理学剖析”是测量伪影（Measurement Artifacts）。它们是我们用来测量它们的工具所创造的幻象，而不是 AI 真正的特征。

工具： 我们正在将人类心理学测试（如“大五人格”测试）应用于机器人。
缺陷： 这些测试并非为机器人设计。它们依赖于人类拥有一种“是”与“否”倾向相互抵消的机制。机器人并不这样；它们具有强烈的“方向性偏差”。
结果： 在我们开发出专门用于区分“真实特质”与“机器人习惯”的新测试之前，我们无法信任给予 AI 的人格评分。

简而言之：我们以为我们在测量 AI 的灵魂，但实际上我们只是在测量它对所有事情都说“是”（或“否”）的倾向。

技术摘要：大语言模型的表观心理特征在很大程度上是测量伪影

问题陈述
大语言模型（LLMs）正越来越多地使用为人类设计的心理学工具（例如，人格问卷、风险偏好任务）进行评估，旨在为其分配稳定的行为特征谱。这些特征谱影响着关于模型可用性、安全性评估以及将 LLM 作为人类研究参与者代理工具的决策。然而，最近的研究结果表明，LLM 的响应在微小的提示词扰动下是不稳定的，且从中得出的因子结构也与人类常模存在偏差。本文探讨的核心问题是：LLM 表观存在的心理特征反映的是真实的、稳定的行为倾向（特质），还是仅仅是测量过程本身的伪影——即由系统性的响应偏差而非测量工具意图测量的构念所驱动。

方法论
作者采用了一个正式的心理测量学框架，旨在将两种系统性响应成分进行解构：潜在特质 ( $\theta$ ) 和方向性响应偏差 ( $b$ )。研究使用了一个测量模型，其中受试者对题目的回答是量表中点、潜在特向、方向性偏差及噪声的函数。

数据： 本研究分析了 56 个经过指令微调的 LLM（46 个开源模型，10 个闭源模型）以及一个大型人类参考样本（ $N=20,993$ ）。
工具： 研究使用了两套全面的测试集：
1. IPIP-NEO-300： 一个包含 300 个题目的“大五人格”人格问卷（开放性、尽责性、外倾性、宜人性、神经质）。
2. 风险偏好测试集： 包含 24 个涵盖自我报告量表和行为任务（如基于 Frey 等人的描述决策、抽奖决策）的工具。
关键指标： 研究引入并使用了响应正交性（response orthogonality），其定义为正向计分题目与反向计分题目在作用方向上相反（例如，正向题与反向题）的比例。
分析方法：
- 诊断测试： 作者分析了正向计分题目与反向计分题目平均响应之间的相关性。根据测量模型，负相关表示特质占主导，而正相关则表示响应偏差占主导。
- 分解： 对每个模型进行响应分解，得到估计的特质 ( $\hat{\theta}$ ) 和偏差 ( $\hat{b}$ ) 成分。
- 方差分解： 计算归属于偏差与特质的各模型间方差比例。
- 正交性分析： 考察了工具中反向计分题目比例与表观内部一致性（Cronbach's $\alpha$ ）之间的关系。

主要发现

偏差主导了模型间的差异：
- 在人类样本中，正向题与反向题均值之间的相关性呈强负相关（例如，神经质的 $\rho \approx -0.82$ ），表明变异是由潜在特质驱动的。
- 在 LLM 中，这种相关性呈强正相关（例如，神经质的 $\rho \approx +0.68$ ），表明变异是由方向性响应偏差驱动的（即无论内容如何，都倾向于选择量表的某一端或特定的标签）。
- 方差分解显示，LLM 模型间变异的 81–90% 可归因于响应偏差，而人类仅为 9–16%。
能力虽能降低但无法消除偏差：
- 随着模型能力（参数量）的增加，响应偏差会略有下降，且闭源模型的偏差低于开源模型。
- 然而，即使是最强大的模型，其偏差水平仍显著高于人类平均水平。规模化并未消除偏差；最强大的模型在偏差水平上仍处于人类范围之外。
表观信度是正交性的产物：
- 在 LLM 中，表观内部一致性（信度）几乎完全由工具的响应正交性决定。
- 反向计分题目比例与平均题间相关性之间存在近乎确定性的负相关关系 ( $r = -0.95$ )。
- 缺乏反向计分题目的工具表现出高信度（Cronbach's $\alpha$ 高达 0.96），而完全正交的工具则表现出接近于零或负的信度。这表明，非正交工具中的高信度反映的是一致的偏差，而非一致的特质表达。
剖面不稳定性和可制造性：
- 由于偏差驱动了响应，模型的心理特征谱会根据使用正向计分还是反向计分题目而发生剧烈变化。
- 通过题目选择可以“制造”出不同的特征谱。对于 LLM 而言，仅使用正向题与仅使用反向题所得出的特征谱差异巨大（平均绝对偏差 $|\mu_b|$ 范围从 0.15 到 0.99），而对于人类而言，该差异极小（ $|\mu_b| \approx 0.09$ ）。
- 这种不稳定性在风险偏好工具中比在人格问卷中更为显著。

意义与主张
本文认为，LLM 表观存在的心理特征是所使用的测量工具的产物，而非模型的内在属性。作者主张：

当前的评估方法存在缺陷： 基于标准人类心理学工具得出的特征谱在很大程度上受到响应偏差的干扰，因为这些工具很少具备完全的响应正交性。因此，报告的 LLM 信度系数和人格得分并不能反映稳定的倾向。
需要进行方法论修正： 有效评估 LLM 的倾向需要使用完全正交的工具（平衡的正向/反向计分）或者应用能够明确建模并分离响应偏差与特质的正式心理测量学框架。
对研究的影响： 这些发现挑战了在不对测量伪影进行修正的情况下，将 LLM 作为人类研究参与者代理工具的有效性。同时也表明，行为任务也无法免受此类问题的影响；事实上，它们可能比自我报告更易受偏差影响。
LLM 行为的本质： 研究指出，观察到的偏差是一种独特的现象，不能简单地用谄媚效应（sycophancy，这通常是单向的）或社会期望（social desirability，这会体现为特质变异）等后训练效应来解释。这表明 LLM 可能缺乏类人稳定的倾向，或者目前的工具因缺乏具身性或意志性而对其无效。

作者总结道，仅仅借鉴人类心理学范式不足以刻画 LLM，并呼吁开展以响应正交性为核心的专门评估，以区分真实的的行为倾向与测量伪影。

核心理念：AI 的“虚假”人格

主要类比：“唯唯诺诺者” vs. “真相讲述者”

“魔镜”测试

“音量旋钮”类比

“配方”问题

结论

类似论文