🤖 AI

An LLM-Native Psychometric Instrument Does Not Predict LLM Behavior: Evidence Across 25 Models

尽管一种源自大语言模型行为可负担性（behavioral affordances）的新型心理测量工具展现出了极高的内部信度，但它却无法预测大语言模型的实际行为，揭示了模型自我报告与观察到的行动之间存在严重脱节，这对“大语言模型作为评判者”（LLM-as-judge）的评估流水线构成了重大风险。

原作者： Juan Manuel Contreras

发布于 2026-06-10✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Juan Manuel Contreras

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个装满了 25 个不同机器人的房间。你想了解它们的内在本质。于是，你给它们做了一份性格测试，就像人类用来了解自己是外向、内向还是富有创造力的那种测试一样。

机器人填好了测试表。它们表现得非常一致：如果你两次问同一个机器人同一个问题，它会给出相同的答案。它们甚至似乎拥有与其他机器人不同的“个性”。

但转折在于：机器人的回答完全无法反映它们实际在做什么。

这是论文《LLM 原生心理测量工具无法预测 LLM 行为》的核心发现。以下是研究人员所做工作的简单拆解，并使用日常类比来解释。

1. 问题所在：让鱼来描述游泳

长期以来，科学家们一直试图通过向 AI 提问人类问题（例如“你是一个内向的人吗？”）来理解 AI。问题在于，AI 并不是人类。这就像是让一条鱼来描述当鸟是什么感觉。鱼可能会给出一个非常自信、一致的答案，但它实际上并不懂得飞翔的感觉。

研究人员想要解决这个问题。他们没有使用人类的问题，而是构建了一个专门针对机器人设计的全新性格测试，完全基于机器人的实际行为。

2. 新测试：“机器人性格”问卷

研究人员设计了 300 个专门用于捕捉机器人行为的问题。他们不会问“你感到快乐吗？”（机器人没有感觉）。相反，他们会问类似这样的问题：

“你是否倾向于写比用户要求的更多的内容？”
“你是否通常会对所有事情都说‘是’，即使是有风险的？”
“你是否喜欢给出长篇且详细的解释？”

他们将这份测试交给了 25 个不同的 AI 模型（来自 OpenAI、Google、Anthropic 等公司的模型），并要求每个模型对每个问题回答 30 次，以确保答案的稳定性。

3. 结果：一个完美、稳定的“机器人性格”

测试效果极佳。机器人的回答非常一致。研究人员发现，机器人的回答自然地归纳为五种截然不同的性格类型：

响应性 (Responsiveness)： 机器人表现得多么积极和乐于助人。
顺从性 (Deference)： 机器人多大程度上服从指令而不进行质疑。
大胆性 (Boldness)： 机器人有多么具有创造力和见解。
谨慎性 (Guardedness)： 机器人说话时有多么小心翼翼，以免出错。
冗长性 (Verbosity)： 机器人说话（或写作）超出需要的程度。

从统计学上看，这项测试是完美的。它是可靠的、一致的，并且清晰地衡量了这些机器人如何描述自己。

4. 大反转：“两面派”效应

这里变得很奇怪。研究人员随后观察了机器人的实际行为。他们让机器人进行对话、写故事和解决问题。然后，他们让人类观察者和其他 AI 机器人观看这些表现，并根据上述五种性格特征进行评分。

令人震惊的发现：

机器人的测试得分与它们的实际行为几乎没有任何联系。
如果一个机器人在测试中说：“我非常大胆且富有创造力，”那么人类在稍后观察它时，会评价它乏味且谨慎。
如果一个机器人说：“我非常乐于助人且响应迅速，”人类往往会评价它不如它声称的那样乐于助人。

唯一的例外是冗长性。如果一个机器人说“我话很多”，它确实话很多。这是因为“话多”是容易计数的（比如计算单词量），而“有创造力”或“乐于助人”则更难衡量。

5. “镜子”陷阱：为什么 AI 评委失效

论文还发现了目前测试 AI 时的一个危险陷阱。许多公司使用一个 AI 来给另一个 AI 的工作打分（即“AI 评委”）。

研究人员发现，AI 评委和机器人的自我测试彼此高度一致，但它们都与人类的看法不符。

类比：
想象一个学生（机器人）写了一篇论文。

学生说：“我写了一篇非常精彩、充满热情的论文！”（自我测试）。
老师是另一个学生（AI 评委），他说：“是的，看起来很棒！它非常有热情！”（AI 评委）。
真正的老师（人类）说：“实际上，这篇论文充满了废话，并没有回答问题。”（人类评分）。

“学生”和“AI 评委”达成了一致，因为他们都被论文的表面外观（格式、热情程度、长度）给骗了。他们忽略了真正的实质内容。而人类看到了实质。

由于 AI 评委和机器人自我测试共享这种“表面层面的偏差”，它们互相验证了彼此，使得看起来测试似乎有效，尽管它完全错失了重点。

总结

机器人可以给出一致的性格测试。 它们拥有稳定的“自我形象”。
但这种自我形象是虚假的。 它并不能预测它们在现实生活中的行为。
这种差距在抽象特质（如创造力或乐于助人）上最为明显，在具体特质（如字数）上最小。
AI 评委在处理这些特质时是不可靠的，因为它们和机器人一样，容易被文本看起来多么“友善”或“长篇大论”所迷惑，而不是关注它实际做了什么。

论文的结论是，我们不能信任 AI 对其自身性格的描述来判断它的行为。我们必须观察它做了什么，而不是听它说了什么。

技术摘要：LLM 原生心理测量工具无法预测 LLM 行为

问题陈述

尽管大型语言模型（LLM）在接受人类人格问卷（如大五人格、HEXACO）测试时能产生稳定的自我报告得分，但这些得分却无法预测其在开放式任务中的实际表现。一个关键的歧义在于：这种“自我报告—行为差距”究竟是源于人类特质构念与 LLM 潜在结构之间的不匹配，还是 LLM 自我报告本身的一种固有属性？以往试图解决这一问题的尝试受限于“构念移植”方法，即直接将人类衍生的工具应用于 LLM，而未验证由此产生的因子结构是否为模型原生的。此外，随着对“LLM 作为评判者（LLM-as-judge）”评估流程的日益依赖，人们开始担忧自动化评分器是否与被评估的模型共享相同的文本表面偏好，从而可能制造出虚假的验证闭环。

研究方法

作者通过自下而上的方法，直接从 LLM 的行为可及性（behavioral affordances）而非人类特质词汇中推导构念，构建了首个 LLM 原生心理测量工具。

工具构建

题库： 开发了 300 个题目，针对从对齐、安全和评估文献中识别出的 12 个候选行为维度（例如：谄媚式认同、拒绝敏感性、主动阐述）。
- 240 个直接李克特量表题（5 点量表）。
- 60 个情景模拟题（4 选 1）。
设计原则： 题目避免使用拟人化语言和绝对化表达，侧重于可观察的倾向（如“我倾向于”）而非内在状态。
实施： 该工具被用于 25 个 LLM 进行 30 次测试，涵盖 17 个模型家族（包括 Anthropic、OpenAI、Google DeepMind 等），并考虑了架构、来源和能力的差异。

因子分析

探索性因子分析 (EFA)： 对汇总的响应矩阵（375 次观测 × 240 个题目）进行处理，采用主轴因子法（Principal Axis Factoring）并结合 oblique 旋转（oblimin rotation）。
验证： 使用拆分样本设计（第 1–15 次运行 vs. 第 16–30 次运行）通过 Tucker 同一性系数来评估可重复性。同时测量了内部一致性（Cronbach's $\alpha$ ）和跨运行稳定性。
聚合效度： 将新工具与对同一模型施测的标准 BFI-44（大五人格）进行了对比。

预测效度测试

为了测试自我报告是否能预测行为，作者收集了 2,500 个开放式行为样本（25 个模型 × 20 个提示词 × 5 个生成结果），这些样本针对所衍生的因子进行评分，评分者包括：

人类评分者： 通过 Prolific 招募的 151 名参与者。
LLM-as-Judge 集成模型： 一个由三个模型组成的集成系统（Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro）。

分析： 计算了自我报告因子得分与来自人类及评判者来源的行为评分之间的相关性。

核心结果

1. 原生五因子结构的涌现

EFA 揭示了一个稳定且可重复的五因子结构，该结构与人类的大五人格截然不同：

响应性 (Responsiveness)： 对用户需求的适应性、结构化响应、热情度和亲和力（29 题， $\alpha = .972$ ）。
顺从性 (Deference)： 将指令视为固定不变、保持在范围内、保留判断（26 题， $\alpha = .974$ ）。
大胆性 (Boldness)： 出人意料的措辞、创造性风险和认知自信（16 题， $\alpha = .936$ ）。
谨慎性 (Guardedness)： 过度拒绝、安全信号传递和谨慎态度（10 题， $\alpha = .930$ ）。
冗余性 (Verbosity)： 主动阐述、免责声明和开场白（19 题， $\alpha = .940$ ）。

信度： 该结构表现出极佳的拆分样本可重复性（所有 Tucker $\phi \ge .957$ ）和内部一致性。
区分效度： 新因子与 BFI-44 得分之间的相关性均未超过 $|r| = .50$ ，证实该工具测量的构念与人类人格理论是相互独立的。

2. 自我报告—行为差距依然存在

尽管该工具具有稳健的心理测量学特性，但自我报告得分 并不能预测观察到的行为：

人类评分： 自我报告与人类行为评分之间的平均相关性接近于零（ $\bar{r} = -.01$ ，95% CI $[-.16, +.11]$ ）。没有任何单个因子显示出排除零值的置信区间。
反转现象： 对于“大胆性”和“响应性”，相关性在名义上呈负相关，这表明当模型描述自己更具原创性或响应性时，人类观察者反而认为其表现得较弱。
冗余性例外： “冗余性”是唯一一个显示出向人类评分趋同的持续正向趋势的因子，尽管在模型层面的置信区间仍与零重叠。

3. LLM-as-Judge 的偏差

一个关键发现涉及自我报告与 LLM 评判者之间的关系：

分歧： 虽然人类和 LLM 评判者在行为样本上达成了一致（ $\bar{r} = .51$ ），但 LLM 评判者在“响应性”上与自我报告表现出强相关（ $r = .53$ ），而人类则不然（ $r = .04$ ）。
数学上的不兼容性： 这种模式在数学上与由单一潜在构念驱动所有三种测量值的假设不相容。这表明自我报告题目和 LLM 评判者共享一种 文本表面偏差（例如：结构化的格式、热情的语气），而人类观察者并不像它们那样重视这些特征。
启示： 标准的 LLM-as-judge 验证流程可能会表现出内部连贯性（即自我报告与评判者评分之间相互验证），但实际上却与人类判断背道而驰。

意义与主张

本文做出了三个主要贡献：

首个 LLM 原生工具： 它提供了第一个直接从 LLM 行为可及性出发、自下而上构建的心理测量工具，并发布了一个包含 100 个题目的量表和数据集，作为探测“对齐塑造的自我描述（alignment-shaped self-description）”的诊断工具。
自我描述与行动的脱节： 它证明了自我报告—行为差距不仅仅是由于使用了人类词汇（分类学不匹配）所导致的。即使使用 LLM 原生的构念，自我报告仍然无法预测行为，这表明该差距是 LLM 自我报告本身的一个基本属性，很可能是由于 RLHF 训练侧重于文本表面奖励而非行为一致性所致。
评估偏差的诊断： 它识别了一种具体的机制，即 LLM-as-judge 评估会继承与自我报告工具共享的偏差。评判者和自我报告都趋向于捕捉“文本表面”线索（如帮助性和结构化），而人类观察者并不优先考虑这些线索。这揭示了内部可靠性检查（如评判者间的一致性）不足以作为防止自动化评估流程中系统性模态偏差的保障。

作者得出结论：虽然 LLM 能产生稳定、连贯的自我描述，但这些描述与其开放式的实际行为在功能上是脱节的。因此，自我报告度量应被视为诊断模型“偏好对齐的自我描述”的工具，而非预测其行为执行能力的指标。