$\tau$-Rec-Books: A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems

想象一下，你走进一家图书馆，那里的管理员了解馆内的每一本书，但你不能直接把想要的书单交给他们。相反，你必须进行一场对话。你可能会以想要一本科幻小说作为开场，但随着管理员推荐书目，你意识到你还需要一本设定在2000年以前的故事，或者一本用特定语言编写的书。对于扮演这种图书管理员角色的人工智能来说，挑战不仅在于寻找匹配一系列事实的书籍，而是在于如何首先弄清楚这些事实是什么。现实中的人们很少在对话开始时就说出所有的需求。他们通常在看到建议后才会揭示真实的需求，或者在合适的时机才会说出他们到底在寻找什么。如果人工智能猜得太早，它可能会推荐一本遗漏了隐藏要求的书，从而让用户感到沮丧。如果它等待太久或未能提出正确的问题，则会浪费时间。研究人员试图回答的核心问题是，这些数字助手在处理这种微妙的发现过程（尤其是当用户保留信息时）时表现如何。

为了调查这一点，研究团队创建了一个名为“基准测试”（benchmark）的受控实验，这本质上是一种旨在衡量特定条件下表现的标准测试。他们构建了一个包含来自公共数据库的20,000本真实书籍的数字目录，并附带了诸如类型、语言、原产国和出版年份等详细信息。然后，他们设计了450个特定的任务，每个任务都代表一个独特的索书请求。其设计的巧妙之处在于，他们保持每个任务的实际请求完全相同，但改变了用户被允许揭示细节的规则。在一种被称为“自愿”（volunteer）的情景中，用户在开始时就告诉了人工智能他们想要的一切。在第二种情景中，被称为“混合”（mixed），用户陈述了一个细节，但隐藏了其他细节，仅在人工智能提出正确问题时才予以揭示。在第三种也是最困难的情景中，被称为“隐藏”（hidden），用户拒绝完全陈述某些要求，迫使人工智能通过提出书籍建议并观察用户的接受或拒绝情况来进行猜测。研究人员使用了一个遵循严格规则的模拟用户（一个计算机程序）来与四种不同的AI智能体进行交互，以观察它们的表现。

结果揭示了这些系统在处理信息方面的残酷现实。当用户立即提供所有细节时，AI智能体非常成功，几乎在每一次尝试中都能找到正确的书。然而，一旦研究人员引入了提问的需求，成功率就会显著下降。当用户仅在被询问时才揭示部分细节时，智能体的成功率约为四分之三。当用户完全隐藏某些要求时，情况变得更加糟糕。在这种情况下，AI智能体的成功率不到三分之一。研究表明，难点不在于书籍收藏的大小或AI使用的特定工具，而在于信息的时机。当智能体在做出推荐之前未能提问时，它们的表现最差。当研究人员明确指示智能体进行提问时，它们在“混合”任务上的表现得到了显著提升，达到了与所有信息均已给出的情景相同的水平。

研究人员还发现，最大的失败源于一个特定的错误：智能体会推荐一本它们从未向用户提出过并征求过结论的书。它们没有先测试自己的想法，而是过快地做出了最终决定。当智能体被强制要求先提出一本书并等待“是”或“否”的答复，然后再做出最终推荐时，它们的表现有所提升，尽管仍未能达到完美的分数。研究还比较了AI搜索目录的两种方式。一种方法类似于在搜索栏中输入关键词，另一种则是结构化过滤器，允许AI通过特定类别（如年份或国家）来缩小范围。结构化搜索方法有助于智能体更频繁地找到正确的书，但它无法克服“不知道用户想要什么”这一根本问题。

最终，这项工作证明了，AI具备成功对话的能力不仅仅在于拥有庞大的数据库。它关乎的是发现的策略。研究证明，当需求被隐藏时，即使是先进的AI智能体，如果没有清晰的提问和验证流程，也很难找到正确答案。研究人员发现，如果一个智能体被告知要提问，它几乎可以解决所有用户愿意回答的问题。然而，当用户拒绝陈述要求并仅对建议进行评判时，智能体仍然会犯下重大错误，经常推荐那些违反用户潜规则的书籍。该团队发布了他们所有的数据、书籍目录和所使用的代码，允许其他科学家重复该实验并基于这些发现进行研究。他们的工作表明，对于AI而言，若要成为真正有效的推荐对话伙伴，它必须学会将用户的沉默或拒绝回答视为一个线索，即存在着隐藏的需求，需要一种更仔细且系统的排除与发现方法。