💬 NLP

Can LLMs Assess Personality? Validating Conversational AI for Trait Profiling

该研究通过对比实验验证了大语言模型在基于对话的大五人格评估中具有中等程度的收敛效度，且用户感知准确性与传统问卷相当，表明其可作为传统心理测量学的有效替代方案。

原作者： Andrius Matšenas, Anet Lello, Tõnis Lees, Hans Peep, Kim Lilii Tamm

发布于 2026-02-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrius Matšenas, Anet Lello, Tõnis Lees, Hans Peep, Kim Lilii Tamm

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇来自塔尔图大学（University of Tartu）的研究论文，其实是在探讨一个非常有趣的问题：如果我们不再填枯燥的问卷，而是像和朋友聊天一样，人工智能（AI）能不能通过“聊天的感觉”来了解你的性格？

为了让你轻松理解，我们可以把这项研究想象成一场**“性格侦探”的对比实验**。

1. 背景：两种“测谎仪”

传统的性格测试（比如著名的“大五人格”测试）就像是一张标准化的体检表。

怎么做：你面对一张纸（或屏幕），上面有50道题，比如“你喜欢参加聚会吗？”、“你做事有条理吗？”。你只能选“非常符合”或“非常不符合”。
缺点：这就像让你自己描述自己的长相，你可能会因为想表现得更好（社会期许）而撒谎，或者因为太累而随便选。而且，这种静态的表格很难捕捉到你性格中灵活、生动的一面。

这项研究想测试的新方法，就像是一个高明的“聊天侦探”。

怎么做：AI 不是让你做题，而是和你进行20次简短的对话。它不会直接问“你外向吗？”，而是问：“昨晚累了一天，你是想一个人静静，还是想给朋友打个电话？为什么？”
原理：AI 通过你回答问题的语气、用词、讲故事的方式，像侦探一样从你的只言片语中拼凑出你的性格画像。

2. 实验过程：33位“志愿者”的冒险

研究人员找了33位志愿者，让他们同时经历这两种测试：

先聊天：和 AI 聊20个话题（比如“你最近犯过什么错？”、“你理想中的旅行是去哪？”）。
后填表：做完标准的50道题问卷。
最后打分：让志愿者自己评价，觉得哪种方式更准确地描述了自己。

3. 实验结果：AI 聊得有多准？

研究人员把 AI 聊出来的结果和标准问卷的结果放在一起对比，发现了一些有趣的现象：

总体表现：中等偏上，很有潜力
如果把 AI 的聊天结果和问卷结果比作两个不同的“翻译官”，它们的翻译准确度（相关性）大概在 0.38 到 0.58 之间。
- 通俗比喻：这就像两个朋友在描述同一个人，虽然细节不完全一样，但大方向是一致的。AI 并没有完全猜错，它确实捕捉到了很多真实信息。
哪些性格它猜得准？
对于尽责性（做事是否靠谱）、开放性（是否喜欢新鲜事物）和神经质（情绪是否敏感），AI 聊出来的分数和问卷填出来的分数几乎一样。这说明在这些方面，AI 的“聊天侦探”能力已经非常接近传统方法了。
哪些性格它容易“翻车”？
对于宜人性（是否随和）和外向性（是否爱社交），AI 的结果和问卷有显著差异。
- 原因分析：这可能是因为人们在聊天时，为了显得有礼貌或合群，会下意识地表现得比平时更“随和”或更“外向”。就像你在面试时和在家里时，表现可能完全不同。AI 需要更精细的“校准”才能看透这一点。
最惊人的发现：大家觉得 AI 聊得“很准”！
虽然 AI 在某些数据上和问卷有出入，但志愿者们自己觉得：AI 聊出来的性格画像，和填问卷的结果一样准确，甚至更有趣！大家并没有觉得 AI 是瞎猜的。

4. 这意味着什么？（未来的应用）

这项研究告诉我们，未来的性格测试可能不再是冷冰冰的填空题，而是一场自然的对话。

应用场景：
- 招聘：HR 不再让你做几百道题，而是和一个 AI 聊半小时，AI 就能分析出你是否适合这个团队。
- 交友/约会：APP 可以通过聊天分析你的性格，帮你匹配更合拍的人。
- 心理咨询：AI 可以作为初步的辅助工具，通过对话快速了解来访者的情绪状态。

5. 局限性：别太迷信 AI

虽然结果很鼓舞人心，但作者也诚实地指出了不足：

样本不够大：只有33个人参与，就像只尝了一口汤就评价整锅汤的味道，可能不够全面。
人群单一：参与者大多是年轻、懂科技的学生，老年人或不太会用 AI 的人可能会聊出不同的效果。
没有绝对真理：问卷本身也是人填的，也有偏差。所以 AI 和问卷的对比，其实是“两个有瑕疵的镜子”在互相照，我们还需要更多研究来确认谁更接近真实的你。

总结

这就好比传统的性格测试是“拍证件照”，规矩、标准但有点僵硬；而这项研究中的 AI 聊天则是“抓拍生活照”，虽然偶尔会有角度偏差，但它更生动、更自然，而且大家觉得它拍出来的自己“挺像那么回事”。

未来，我们或许不再需要为了测性格而“考试”，只需要和 AI 像老朋友一样聊聊天，它就能读懂你的内心。

这是一份关于塔图大学（University of Tartu）研究论文《LLM 能否评估人格？：对话式 AI 用于特质画像的验证》（Can LLMs Assess Personality? Validating Conversational AI for Trait Profiling）的详细技术总结。

1. 研究背景与问题 (Problem)

传统方法的局限性：目前的人格评估主要依赖静态的自我报告问卷（如 IPIP-50）。这种方法存在社会赞许性偏差（Social Desirability Bias）、回答疲劳以及无法捕捉人类行为在特定情境下的细微差别和动态变化等局限。
现有 AI 研究的不足：虽然已有研究证明大语言模型（LLM）可以从静态文本（如社交媒体帖子、面试记录）中推断人格特质，但这些方法缺乏实时交互能力，无法像人类对话那样根据回答进行动态追问或调整。
核心研究问题：
1. 通过引导式对话从 LLM 中提取的“大五人格”（Big Five）特质分数，是否与标准化的 IPIP-50 问卷结果具有相关性？
2. 用户是否认为基于闲聊对话生成的 LLM 人格画像能准确反映自己？

2. 方法论 (Methodology)

本研究采用受试者内设计（Within-subjects design），对比了两种评估方法。

参与者：最终收集了 33 名完整参与者的数据（目标为 100 人，最低统计效力要求 30 人）。参与者多为年轻、受过教育且熟悉技术的人群。
实验流程：
1. 引导式对话：参与者与通用 LLM（Gemini 2.5 Flash）进行 20 轮简短对话。
2. 标准化问卷：参与者完成 IPIP-50 问卷（金标准）。
3. 评分与反馈：参与者对两种方法生成的结果进行准确性评分，并查看完整的大五人格雷达图。
技术实现细节：
- 问题设计：设计了 20 个开放式问题（每个大五特质 4 个），旨在通过行为描述（如“描述你最近犯的一个错误”）而非假设性问题（如“你会怎么做”）来诱发真实行为信号。
- 双模型架构：
  1. 对话 LLM：负责与用户互动，根据预设的系统提示（System Prompt）进行动态追问，并在收集到足够信息后结束对话。
  2. 评分 LLM：在 20 轮对话全部结束后，独立分析所有对话记录，基于行为模式而非自我陈述，将特质分数映射到 0-120 的区间（后归一化为 0-100）。
- 提示工程：使用了详细的提示词架构，指导 LLM 避免重复提问、保持非评判性语气，并明确区分“行为证据”与“自我描述”的权重。

3. 关键贡献 (Key Contributions)

实时对话评估验证：首次系统性地验证了基于实时引导式对话的 LLM 人格评估与金标准问卷的一致性，填补了从静态文本分析到动态交互评估的研究空白。
用户感知准确性：不仅关注算法的统计相关性，还引入了用户主观的准确性感知指标，发现用户认为对话式评估与问卷同样准确。
可复用的评估框架：提供了一套完整的系统提示架构（System Prompt Architecture）和评估流程，包括问题设计原则、动态对话控制逻辑及评分标准，适用于招聘、约会、教育等消费级应用。

4. 研究结果 (Results)

收敛效度（Convergent Validity）：
- LLM 生成的分数与 IPIP-50 分数之间存在中等程度的相关性（Pearson $r$ 范围：0.38 – 0.58）。
- 统计等效性：在尽责性（Conscientiousness）、**开放性（Openness）和神经质（Neuroticism）**三个维度上，两种方法的得分没有显著差异（ $p > 0.05$ ）。
- 显著差异：宜人性（Agreeableness）（ $p=0.002$ ）和外向性（Extraversion）（ $p=0.036$ ）在两种方法间存在显著差异，表明这些特质在对话情境下的表现与问卷自评存在偏差，需要针对特定特质进行校准。
用户感知准确性：
- 参与者对两种方法的平均准确性评分均为 4/5。
- 统计检验显示，用户并未显著偏好其中一种方法（所有 $p > 0.05$ ），尽管对话生成的评分在一致性上波动稍大（四分位距更宽）。
聚类分析：
- 基于分数的层次聚类显示，除尽责性外，大多数特质的 IPIP 和 LLM 得分聚类在一起。
- 基于用户感知准确性的聚类显示，神经质和外向性的评估在不同方法间具有相似的用户信心水平。

5. 研究意义与局限性 (Significance & Limitations)

意义：
- 证明了对话式 AI 可以作为传统心理测量学的有效补充甚至替代方案，提供更自然、动态且用户接受度高的评估体验。
- 相比之前的静态文本分析研究（相关性通常在 0.25-0.33），本研究通过实时互动将相关性提升至 0.38-0.58，验证了交互性在捕捉人格信号方面的优势。
局限性：
- 样本量：33 名参与者对于检测小效应量可能不足（例如尽责性的 $p=0.084$ 可能源于统计效力不足）。
- 人群偏差：样本主要为年轻、高学历的技术人群，结论在更广泛人群中的普适性有待验证。
- 单一模型：仅使用了 Gemini 2.5 Flash，不同模型架构的表现可能存在差异。
- 金标准问题：IPIP-50 本身也是自我报告，存在偏差，因此验证过程存在“循环论证”的固有局限。
未来方向：需要更大规模、更多样化的样本进行验证，测试不同 LLM 架构的泛化能力，并研究哪些对话特征（如情感披露深度、话题类型）最能预测评估的有效性。

总结：该研究初步证实，利用大语言模型进行引导式对话的人格评估在统计上与标准问卷具有中等程度的相关性，且用户主观体验良好。尽管在宜人性等特定维度上仍需校准，但这为开发更自然、更具交互性的人格评估工具提供了坚实的理论依据和技术路径。