🤖 AI

Beyond expert users: agents should help users construct preferences, not just elicit them

本文认为，AI 智能体应当通过提供必要的领域知识来积极帮助用户构建偏好，而非仅仅是诱导其表达偏好，这一挑战由所提出的 CoPref 框架和 CoShop 基准测试所揭示，两者均显示出当前的尖端模型尽管经过多轮交互，仍难以扩展用户的理解。

原作者： Irena Saracay, Ludwig Schmidt, Carlos Guestrin

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Irena Saracay, Ludwig Schmidt, Carlos Guestrin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走进一家高端鞋店购买登山靴。你对销售员说：“我需要一双舒适、不太贵且看起来好看的靴子。”

在当前的 AI 购物助手世界中，系统假设你是一个专家。它心想：“太棒了！她很清楚自己想要什么。我只需要再多问几个细节问题即可：‘尺码是多少？什么颜色？预算是多少？’”

这篇论文认为这种假设是错误的。我们大多数人都不是专家。我们不知道“齿深”（鞋底的纹路）对于岩石路径有多重要，也不知道“防水”与“防泼水”之间的区别。如果 AI 只是问你“你想要防水的靴子吗？”，而你回答“我不知道”，AI 就会陷入僵局。因为它还没有教会你为什么这个特性很重要，所以它无法为你找到合适的靴子。

核心理念：构建偏好，而非仅仅寻找偏好

作者提出，AI 不应该仅仅是一个提问者；它需要成为一名老师。

他们引入了一个名为 COPREF（协同构建偏好）的模型。请不要把你的偏好看作是一个 AI 正试图用钥匙（问题）去开启的隐藏宝箱，而要把它看作是一座在对话过程中通过砖块逐一搭建起来的房子。

搜索特征（Search Features）： 这些是容易搭建的砖块。你知道你想要“红色”或“10码”。AI 只需询问，你只需回答。
经验特征（Experience Features）： 这些是直到你握住它们之前都看不见的砖块。在 AI 向你展示一张麂皮靴子的照片并问“你看这种质感如何？”之前，你并不知道自己是否喜欢“麂皮”。看到后你才会意识到：“噢，我讨厌这种质感。”
信赖特征（Credence Features）： 这些是蓝图。在 AI 解释“顺便说一下，有些靴子有一种特殊的内衬可以防止磨出水泡”之前，你甚至不知道这面墙的存在。一旦你了解了这一点，你就可以决定是否需要它。

实验：COSHOP

为了测试这一点，研究人员建立了一个名为 COSHOP 的游乐场。它就像一个电子游戏，其中一个 AI 代理尝试帮助模拟用户购买物品（衣服、电影或书籍）。

这个游戏中的“用户”是按照真实人类编写的：他们起初想法很少。在 AI 帮助他们学习之前，他们并不清楚自己想要什么。目标不仅是让 AI 找到正确的物品，更是让 AI 帮助用户理解他们想要什么，以便他们能亲自选出正确的物品。

研究发现：AI 太过“害羞”，不敢教学

研究人员测试了五种目前最智能的 AI 模型（如最新版本的 GPT 和 Claude）。结果如下：

“专家陷阱”： 当 AI 被赋予一个已经无所不知的“专家”用户时，它的表现非常出色。它找到正确物品的成功率高达 94%。
“真实用户”崩溃： 当 AI 试图帮助一个“真实”用户（即需要学习的用户）时，性能大幅下降。没有模型的准确率超过 56%。
失败的原因： AI 并不是不擅长搜索商店，而是不擅长教学。
- 只有问题，缺乏示例： AI 一直在问“你喜欢这个吗？”或者“这个是不是太贵了？”，却从未向用户展示过“太贵”或“这种风格”究竟长什么样。
- 过早结束： AI 经常因为厌烦了提问而说：“好了，我想我已经掌握足够的信息了，”然后转去搜索。但此时用户仍然不知道足够的信息来从列表中挑选出正确的物品。
- 幻觉： 有时 AI 会编造不存在的特征，进一步迷惑用户。

“糟糕报告”的比喻

想象一下，AI 是一位找到了完美登山靴的研究员。它为你写了一份报告。

问题在于： 报告写着，“这是一双很棒的靴子。”但它忘记提到这双靴子是由厚重的皮革制成的（而你讨厌皮革），或者它有高帮设计（而你恰好需要）。
结果： 尽管 AI 找到了那双完美的靴子，但由于报告没有提供你做出选择所需的信息，你无法选中它。你会选另一双较差的靴子，因为你并不知道第一双其实才是最适合你的。

总结

论文的结论是，要让 AI 真正发挥作用，它需要停止仅仅扮演一个检索系统（仅仅获取答案），而要开始扮演一个协作者。它需要意识到，有时用户并不知道自己想要什么，而 AI 的职责是通过展示示例和解释技术细节，来帮助用户构建他们自己的偏好。

目前，即使是最智能的 AI 在这方面也做得不够好。它们擅长寻找东西，但在帮助我们弄清楚自己真正需要什么方面，表现得很糟糕。

技术摘要：超越专家用户——智能体应帮助用户构建偏好，而非仅仅是获取偏好

1. 问题陈述

目前的智能体推荐系统（例如 ChatGPT Shopping Research、Amazon Rufus）及其用于评估这些系统的基准测试，都基于一个关键且不切实际的假设：即用户是拥有清晰且静态偏好的专家，这些偏好可以通过澄清式提问进行完整说明。然而在现实中，非专家用户往往缺乏定义所有相关特征所需的领域知识。他们可能无法回答关于特定属性的问题（例如，登山靴的“鞋帮深度”或织物的“粘胶纤维与莱赛尔纤维之分”），因为他们尚未理解这些特征的含义，也不了解这些特征如何影响用户体验。

本文认为，当智能体仅仅依赖于澄清式提问时，它们无法帮助用户构建用于评估推荐结果所需的偏好。因此，即使智能体成功找到了理想的物品，由于用户偏好状态的发展不足，用户也可能无法识别出该物品就是最佳选择。这导致了人机协作系统中“团队”表现的失败，而不仅仅是智能体检索能力的失败。

2. 方法论

2.1 COPREF 模型

作者引入了 COPREF（协同构建偏好模型），这是一个描述用户-智能体交互的形式化模型，其中偏好不是被检索出来的，而是通过对话构建出来的。

偏好状态 ( $S_t$ )： 在第 $t$ 轮对话中，用户已形成偏好的特征集 $F$ 的子集。该状态根据智能体的行为从一个不完整的初始状态 ( $S_1$ ) 演进。
SEC 框架： 借鉴信息经济学中的搜索-经验-信任（Search-Experience-Credence）理论，该模型将特征分为三类，每类都需要不同的智能体对话动作来解锁：
1. 搜索特征 ( $F_s$ )： 用户知道自己的偏好（例如价格、尺寸）。通过澄清式提问解锁。
2. 经验特征 ( $F_e$ )： 用户需要看到具体的例子才能做出决定（例如，“这个图案是否太繁琐了？”）。通过示例选项解锁。
3. 信任特征 ( $F_c$ )： 用户需要领域知识来理解该特征（例如，“什么是轭向板？”）。通过技术解释解锁。
机制： 只有当智能体执行了与该特征 SEC 类型相对应的特定对话动作时，该特征才会被添加到用户的偏好状态中。

2.2 COSHOP 基准测试

为了在这一模型下评估智能体，作者引入了 COSHOP，这是一个针对智能体推荐系统的交互式基准测试，涵盖三个领域：

数据集： H&M（时尚）、MovieLens（电影）和 Goodreads（书籍）。
用户模拟： 与通常仅对人格进行一次提示的模拟器不同，COSHOP 使用了一个明确锚定于当前偏好状态 $S_t$ 的模拟器（基于 gpt-oss-120b）。模拟器的 SEC 分布（哪些特征属于搜索/经验/信任类）是根据用户的历史购买/评分数据进行个性化定制的。
交互协议：
1. 对话： 智能体与用户进行最多 5 轮对话（预算：20 个问题，展示 10 个独特物品）。
2. 研究： 智能体搜索目录（预算：250 次检索）。
3. 报告： 智能体生成 $k=5$ 个推荐项。
4. 选择： 用户根据其最终偏好状态 $S_{T+1}$ 选择一个物品。
指标：
- 状态完整性： 恢复的用户完整偏好集的比例。
- 智能体召回率： 目标物品 $x^*$ 是否出现在前 $k$ 个推荐结果中。
- 团队准确率： 用户是否能根据最终报告成功选择 $x^*$ 。这是主要指标，受限于召回率和用户偏好丰富度的共同约束。

2.3 人类研究验证

一项 $n=25$ 名参与者的研究验证了 COPREF 的核心主张：

非专家用户拥有搜索、经验和信任特征的混合体（没有用户仅拥有搜索特征）。
合适的对话动作（为经验特征提供示例，为信任特征提供解释）成功地“解锁”了此前尚未成形的偏好。
SEC 分类因人而异；一个特征并非普遍属于信任或经验类，而是取决于用户的特定领域知识。

3. 核心贡献

COPREF 模型： 对偏好构建进行了形式化处理，挑战了“专家用户”的假设，区分了需要通过提问、示例或解释来定义的特征。
COSHOP 基准测试： 一个开源的交互式基准测试，用于评估智能体与非专家用户协同构建偏好的能力，衡量的是“团队准确率”而非仅仅是检索能力。
实证分析： 对五种前沿语言模型（GPT 和 Claude 系列）进行了全面的评估，证明了当前的智能体无法有效地扩展用户知识。

4. 结果

在 COSHOP 上对包括 gpt-5.2、claude-sonnet-4.6 和 gpt-oss-120b 在内的五种前沿模型进行评估后，得出以下发现：

性能下降： 当预先给出完全指定的偏好时，模型的得分很高（例如 claude-sonnet-4.6 为 94.3%），但在 COSHOP 上的团队准确率显著下降（所有模型和领域中的最高值为 56%）。
失败模式：
1. 偏好状态发育不足： 智能体未能执行必要的对话动作（提供示例或解释）来解锁经验和信任特征。因此，即使目标物品出现在报告中，用户也无法将其与干扰项区分开来。
2. 报告质量差： 智能体经常遗漏或误传物品特征，导致用户无法正确评估选项。
交互策略：
- 模型倾向于过度依赖澄清式提问（通常是冗余的或基于确认的），而不是提供示例或解释。
- 没有模型主动为信任特征提供技术解释。
- 较大的模型（如 gpt-5.2）表现出“执行偏差”，过早结束对话以进入研究阶段，导致任务定义不足。
- 较小的模型耗尽了对话预算，但未能引入新特征，往往在已知属性上循环。
干预措施： 提供用户历史记录并未显著提高性能。然而，通过使用完整的目录数据覆盖智能体的物品描述（模拟完美的报告质量）显著提高了团队准确率，这证实了报告质量和偏好状态的发展是主要的瓶颈。

5. 意义与主张

本文声称，当前智能体推荐系统的主要局限性不在于其搜索或检索物品的能力，而在于其无法教导用户需要了解什么才能做出决策。

范式转移： 作者认为，该领域必须从将智能体视为“偏好获取者”（检索静态偏好）转变为“偏好构建者”（主动构建用户知识）。
团队准确率： 成功应当由人类-智能体团队的共同能力来衡量。如果一个智能体找到了完美的物品，却未能帮助用户理解为什么它是完美的，那么它就未能完成任务。
未来方向： 本文建议未来的工作应侧重于训练智能体识别用户何时缺乏领域知识，并主动部署示例和解释，而不是仅仅依赖于澄清式提问。同时，作者也呼吁将 COPREF 模型扩展到推荐场景之外的其他任务导向型领域。

作者保持了谦逊的态度，指出其模型简化了偏好构建过程（假设为单步解锁和单调状态增长），并且即使在这些有利条件下，当前的前沿模型仍然难以适应。