🤖 AI

Setoka: A Benchmark for Hierarchical User Understanding in Personalized Agents over Heterogeneous Data

本文介绍了 Setoka，这是一个基于认知心理学和人格心理学的创新基准测试，用于评估个性化智能体在异构数据中执行层级化用户理解的能力——从语义和情景记忆到行为模式及人格特质——研究表明，目前的系统在处理需要对碎片化长期信息进行整合与抽象的任务时，表现出显著的困难，而不仅仅是简单的事实检索。

原作者： Lingyang Zeng, Guangze Chen, Kaichen Yu, Zhicheng Pan, Siyang Weng, Zirui Hu, Xiangyun Du, Hailin He, Rong Zhang, Chengcheng Yang, Kai Huang, Xuan Zhou

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lingyang Zeng, Guangze Chen, Kaichen Yu, Zhicheng Pan, Siyang Weng, Zirui Hu, Xiangyun Du, Hailin He, Rong Zhang, Chengcheng Yang, Kai Huang, Xuan Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图了解一位新朋友。你可以直接问他们：“你的电话号码是多少？”或者“你的会议是什么时候？”然后记下答案。这很简单，只是获取一个事实。但真正的友谊是更深层的。是注意到你的朋友总是会对同一类型的笑话发笑，或者他们似乎在下雨天会变得情绪低落，亦或是他们是那种会提前规划好整周行程的人。这些并不是你可以直接查到的事实；它们是你需要通过长时间的多次对话、短信和瞬间所拼凑出的模式。

在人工智能领域，我们正在构建能够像个人助手一样行动的“智能体”（agents）。目前，这些 AI 助手在处理简单任务方面已经做得相当不错了：记住你的电话号码或在你的日历中查找会议时间。但科学家们担心，这些智能体在处理“深层”事务方面表现得很糟糕。它们难以理解你究竟是“谁”——你的习惯、你的个性以及你的长期行为。为了解决这个问题，研究人员需要一种方法来测试 AI 是否真的能“了解”一个人，而不仅仅是读取一个文件。这就是一项新研究的意义所在，它试图建立一个更好的测试标准，看看 AI 能否从一个简单的记录员转变为一个真正的理解型伴侣。

问题所在：AI 对“你是谁”患有失忆症

把你的数字生活想象成一个巨大的、杂乱无章的阁楼，里面装满了各种各样的盒子。有些盒子贴着“消息”的标签，有些是“日历事件”，还有些是“社交关系”。目前，大多数 AI 助手就像一个只能在你要求时取出特定盒子的图书管理员。如果你问：“Alice 的电话号码是多少？”AI 会找到“联系人”这个盒子并读出号码。易如反事。

但如果你问：“我是一个外向的人吗？”或者“我通常在周末和朋友聚会的频率有多高？”AI 不能只打开一个盒子。它必须查看你的日历以了解团体活动，检查你的消息以了解你在聊天中的活跃程度，并扫描你的社交关系以查看你有多少个朋友。它必须跨越不同类型的数据来连接这些点，从而找出其中的模式。问题在于，目前的 AI 系统非常不擅长此道。它们擅长寻找事实，却极其不擅长理解事实背后的“故事”。

Setoka 登场：终极“了解你”测试

为了解决这个问题，一个研究小组创建了一个名为 Setoka 的新基准测试。你可以把 Setoka 看作是一个巨大的、高度组织化的模拟实验室。为了避免使用真实人员的隐私数据（这会导致严重的隐私问题），研究人员构建了一个“心理学工厂”。

这个工厂是如何运作的：

蓝图： 首先，他们利用真实的心理学科学来创建 10 个虚构人物。他们并非凭空猜测这些人的特征，而是使用一种特殊的数学模型来确保这些人格逻辑自洽。例如，如果一个虚构人物非常“外向”，数学模型会确保他们在不符合真实人类常理的情况下，不会同时表现得过于“内向”。
行为： 接下来，他们将这些人格转化为日常习惯。如果一个人很“外向”，系统就会生成一个真实的日程表，比如他们每隔一天就会与朋友交谈，每天玩多人游戏，且每周看几次情景喜剧。
杂乱的数据： 最后，他们将这些习惯转化为大量的数字碎片。他们创建了数千条虚构的短信、日历条目和社交网络日志，跨度为两个月。这就是“异构数据”——一种 AI 需要从中筛选出的多种不同文件类型的混合物。

一旦工厂开始运转，他们会对这些虚构人物提出 1,426 个问题。这些问题分为四个难度等级，就像带有不断升级的“头目战”的电子游戏：

第 1 级（语义记忆）： “Alice 的电话号码是多少？”（仅仅寻找事实）。
第 2 级（情景记忆）： “用户在 4 月 20 日晚上在做什么？”（结合日历条目、一条短信和一个位置日志来重建一个特定的事件）。
第 3 级（行为模式）： “用户每周社交多少次？”（观察数周的数据并统计总数）。
第 4 级（人格特质）： „用户有多外向？”（观察所有的社交数据、工作习惯和休闲活动，以推测深层的人格特质）。

研究发现：“事实发现者” vs. “读心者”

研究人员测试了 3 种不同的 AI 大脑（从强大的云端模型到可以在手机上运行的小型模型）以及 5 种不同的记忆系统（有些像图谱一样组织数据，有些则像简单的列表）。

结果给 AI 界敲响了警钟：

简单任务已解决： 当问题仅仅关于寻找一个事实（第 1 级）时，AI 表现出色。事实上，有时 AI 甚至不需要特殊的记忆系统，它只需像查询数据库一样查找原始数据即可。
中间地带很困难： 一旦 AI 需要结合几件信息来回忆某个特定事件（第 2 级），得分就会下降。
深层任务完全失效： 当 AI 需要寻找模式或推测人格特质（第 3 和第 4 级）时，性能大幅崩溃。表现最好的系统在人格问题上的正确率也仅为 24% 左右。

这项研究表明，仅仅让 AI “记住”更多事实是不够的。目前的系统就像那些能完美背诵教科书却无法完成论文写作的学生，因为它们无法将观点联系起来。研究人员发现，要理解一个用户，AI 不仅仅需要检索数据，它还需要链接不同的来源、对数据进行聚合，并进行泛化以发现隐藏的特质。

总结

Setoka 向我们展示了，我们距离拥有真正“了解”我们的 AI 还很遥远。虽然我们的数字助手在记住电话号码和会议时间方面变得越来越好，但它们在理解我们的习惯和个性方面仍然步履维艰。这项研究表明，下一个重大突破将不仅仅来自于赋予 AI 更多的记忆，而在于教它如何将我们零散、杂乱的数字生活碎片编织成一幅关于我们真实自我的连贯图景。在那之前，我们的 AI 朋友可能知道我们昨天做了什么，但它们仍然并不真正了解“我们”。

技术摘要：Setoka —— 衡量个性化智能体层级化用户理解能力的基准

1. 问题陈述

基于大语言模型（LLM）的个性化智能体正越来越多地被部署用于辅助用户，这要求智能体具备检索显式事实和推断抽象个人特征的能力。然而，现有的记忆基准主要评估智能体检索对话历史中明确陈述的信息的能力。它们未能评估层级化用户理解（hierarchical user understanding），即整合来自异构数据源（例如：非结构化文本、结构化记录、图谱）中的隐式证据以推断更深层用户属性（如行为模式和人格特质）的能力。

构建此类任务的基准面临四个主要挑战：

C1（层级化用户理解）： 推理需求从简单的事实检索到复杂的性格推断不等，因此需要一个能够区分这些层级的框架。
C2（现实的人格采样）： 合成人格必须反映出连贯的个体，即特质组合应遵循现实世界的心理学相关性，而非随机的特质堆砌。
C3（多样化的特质-行为映射）： 单一的人格特质可以在不同语境下表现为多样化的行为；生成方法必须避免刻板的映射。
C4（可扩展且一致的生成）： 生成长期、异构的用户数据需要保持记录之间的一致性，并在不发生上下文溢出的情况下，在时间维度上保留行为约束。

2. 方法论

2.1 Setoka 框架

Setoka 定义了一个基于认知与人格心理学的四层用户理解层级：

语义记忆 (SM)： 从单条记录中检索显式事实（例如：电话号码）。
情景记忆 (EM)： 整合描述特定事件的记录（例如：“4月20日发生了什么？”）。
行为模式 (BP)： 聚合随时间变化的事件以识别规律性（例如：“用户社交的频率如何？”）。
人格特质 (PT)： 跨多个行为模式和事件类别进行泛化，以推断潜在倾向（例如：“该用户有多外向？”）。

该框架使用四个算子来形式化层级间的转换：选择 ( $\sigma$ )、链接 ( $\lambda$ )、聚合 ( $\gamma$ ) 和 泛化 ( $\rho$ )。证据集构成一个嵌套链 ( $E_{SM} \subseteq E_{EM} \subseteq E_{BP} \subseteq E_{PT}$ )，其中更高层级需要更广的证据范围和额外的转换。

2.2 基于心理测量学的生成流水线

为了解决现实且一致的数据生成问题，Setoka 采用了自顶向下的流水线：

相关性感知特质采样： 流水线并非独立采样特质，而是从多元高斯分布中抽取人格向量（大五人格）。协方差矩阵源自元分析的心理测量相关性，确保合成人格反映出真实的特质相互依赖关系。
心理量表引导的行为生成： 为了避免刻板的 LLM 生成，采样的特质向量通过经过验证的心理量表（具体为 BFI-2）映射为行为模式。这会将特质得分转换为项目级响应，进而转化为具体的、多样化的行为模式。
基于事件的生成树： 为确保长期一致性，行为模式被扩展为时间的层级结构。子事件按顺序生成以保持连续性，同时细节进行并行扩展。所有异构记录（日志、关系、消息）均源自同一个“事实来源”（即事件），以维持跨模式的一致性。
查询构建： 测试实例 $(q, a, E)$ 根据生成过程的地面真值（ground truth）自动生成。查询旨在隔离每个层级所需的特定推理算子（例如：用于 EM 的部分线索恢复，用于 BP 的统计聚合）。

2.3 实验设置

作者利用 10 个合成用户档案实例化了 Setoka，包含约 1,600 条异构记录，涵盖 23 种模式和三种数据模型（关系型、图谱、非结构化）。

评估的模型： 三个 LLM（DeepSeek-V4-Flash, Ministral 3 14B, Gemma 3 4B-IT）。
记忆系统： 五个代表不同范式的系统：图结构系统（Cognee, HippoRAG 2）、扁平事实型系统（Mem0）以及层级化系统（MemMachine, Letta）。
基准线： 一个 DBQuery 基准，其中 LLM 直接与原始数据库交互，而不进行中间记忆构建。
指标： 用于 SM、EM 和 BP 的 LLM-judge 相似度评分；用于 PT 的肯德尔等级相关系数（评估用户之间的正确相对排序）。

3. 关键结果

性能随抽象程度上升而下降： 准确率随着抽象层级的提高而单调下降。最佳得分从 0.85 (SM) 下降到 0.46 (EM)、0.28 (BP) 和 0.24 (PT)。平均分也呈现类似趋势，从 0.37 降至 0.07。
记忆构建 vs. 直接检索：
- DBQuery 在 SM (0.85) 上优于记忆系统，因为它能从单条记录中检索精确细节，但在需要多记录整合的 EM (0.27) 上表现较差。
- MemMachine（层级化）取得了最佳的 EM 分数 (0.46)，这归功于它结合了细粒度细节的保留与时间上下文检索。
- 图结构系统（Cognee, HippoRAG 2）在 BP 和 PT 任务上通常优于其他系统，这表明链接相关记录有助于将重复的行为聚合为更高层级的特质。
回答率 vs. 能力： 一个反直觉的发现是，随着抽象程度的提高，回答率反而上升（从 SM 的 72% 升至 PT 的 93%），而准确率却在下降。这表明当证据缺失时，模型更有可能对抽象特质进行“猜测”，而在证据缺失时则会对具体的客观事实拒绝回答。

4. 贡献与意义

本文声称以下贡献：

识别局限性： 指出现有基准无法充分评估个性化智能体所需的、涉及异构数据整合的多层级用户理解能力。
首个基于心理学的框架： Setoka 引入了第一个跨越具体记忆到抽象特征的框架，明确定义了每一层的证据范围和推理操作。
基于心理测量学的流水线： 开发了一个可扩展的生成流水线，能够产生基于心理学理论、连贯且可追溯的异构用户数据，从而实现具有可验证证据的特定层级查询。
全面的评估： 通过对 3 个模型和 5 个记忆系统的评估，证明了简单的细节检索不足以实现深层的用户理解。

意义：
作者总结认为，目前的记忆机制不足以处理需要跨源整合及对长期行为进行抽象的任务。研究结果推动了设计能够超越字面回忆、实现链接、聚合与泛化用户证据的记忆系统的需求。Setoka 为推动该领域的发展提供了测试平台，表明虽然检索能力正在提升，但如何从碎片化、异构的数据中推断潜在属性仍然是一个重大的未解挑战。