Delegation Intelligence in Deep Search: A Controllable Framework for Disentangled Capability Diagnosis
本文通过引入“委托智能”（Delegation Intelligence）这一解耦框架，将搜索决策与信息综合分离，用以评估深度搜索智能体，并辅以可控的综合流水线和 DelegSearchBench 基准测试，从而揭示当前端到端准确率指标的局限性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图解决一个巨大且棘手的拼图，但你手头并没有所有的拼图碎片。在人工智能的世界里，当一个被称为“大语言模型”的计算机程序试图回答问题时，发生的情况正是如此。长期以来，我们一直把这些模型视为只需要背诵教科书的超级聪明学生。如果答案就在他们的记忆中，他们就能在考试中取得高分。但现实生活并不是一场闭卷考试。有时，答案根本不在教科书里；它可能隐藏在图书馆、新闻档案或每天都在变化的网站中。这就是“深度搜索”（Deep Search）发挥作用的地方。它是一种让 AI 意识到“嘿，我不知道这个”，然后去寻找正确信息并将这些碎片组合在一起的能力。
然而，我们目前测试这些 AI 侦探的方式存在一个大问题。通常，我们只看最终答案：“他们答对了吗？”如果答案正确，我们就给他们一颗金星；如果错了，我们就给一个红色的 X。但这就像是在评判一名学生时，只看他们是否在数学考试中得到了正确答案，而不去检查他们是否真的进行了计算，或者只是靠猜。也许他们得到正确答案是因为他们记得之前的课程，或者也许他们只是碰巧猜对了。我们不知道他们是如何得到答案的。他们知道什么时候该停止猜测并开始寻找吗？他们知道该信任哪个来源吗？还是说他们只是运气好？这篇论文认为，我们不应仅仅关注最终得分，而应该开始观察侦探工作的过程本身。
这篇论文背后的研究人员是来自腾讯和中国人民大学的一个团队，他们决定建立一个特殊的“训练场”，来测试 AI 智能体所谓的委托智能（Delegation Intelligence）。你可以把这理解为 AI 知道何时停止独自解决问题，以及何时将任务交给搜索引擎的能力。他们意识到，精通“深度搜索”并不只是拥有一种超能力，它实际上是两种不同的技能在协同工作。
第一种技能是搜索决策（Search Decision-Making）。这是觉醒的时刻。AI 会说：“我卡住了，我需要更多信息，”或者相反，“我已经有足够的信息了，无需再搜索。”这就像是一个侦探是继续对着墙壁撞头，还是知道何时该请实验室帮忙。第二种技能是信息综合与验证（Information Synthesis & Verification）。一旦 AI 出去并找到了一堆文档，它能否分辨哪些是真的，哪些是假的？它能识破新闻文章中的谎言吗？它能将来自三个不同网站的线索结合起来以破解谜团吗？这是“阅读理解”部分，但带有一个转折：AI 必须处理噪声、谎言和混乱的信息。
为了妥善测试这些技能，研究团队不能只使用互联网上的随机问题，那会太混乱了。相反，他们构建了一个可控合成流水线（Controllable Synthesis Pipeline）。想象一下，他们是间谍电影的导演。他们不是让演员即兴发挥，而是采用倒序编写剧本的方式。他们从“真相”（一份高质量的真实文档）开始，然后编写一个必须依赖该文档才能回答的问题。接着，他们创建“干扰项”（看起来非常相似但带有微小关键错误的虚假或误导性文档，例如错误的日期或虚假的作者）。他们还创建了“噪声”（虽然可能引起混淆但完全无关的文档）。通过这种方式，他们确切地知道 AI 应该在寻找什么，也确切地知道自己设置了哪些陷阱。
他们利用这个流水线创建了一个名为 DelegSearchBench 的新测试，其中包含 429 个棘手的问题。随后，他们通过两种不同的方式运行测试，以观察 AI 的表现。
首先，他们给了 AI 所有的文档（包括真实的、虚假的和噪声文档），但关闭了搜索工具。这测试了第二种技能：综合与验证。他们想看看 AI 是否能在没有外出搜索的情况下，从一堆谎言中找出真相。他们发现了一个令人惊讶的结果：即使 AI 手边摆着所有的答案，它也经常失败。这就像一个学生虽然把教科书摊在桌子上，却仍然找不到正确的页面。AI 会被信息的放置位置所迷惑。如果正确答案位于长列表的中间，AI 往往会错过它（这是一个被称为“迷失在中部/lost in the middle”的问题）。此外，AI 的表现并不一致；如果你问它同一个问题三次，它可能对一次，错两次，这表明它是在猜测而非推理。
其次，他们只给了 AI 少量的文档（漏掉了关键文档），并开启了搜索工具。这测试了第一种技能：搜索决策。他们想看看 AI 是否会意识到自己缺失了信息，并决定进行搜索。结果喜忧参半。有些模型过于自信；它们在还没有事实依据的情况下就试图回答问题，导致了“过早回答”。另一些模型则过于热衷；它们积极搜索，但不知道要搜什么，或者无法将新获得的信息与已有的信息结合起来。
这项研究的核心结论是：得到正确答案是不够的。一个真正的智能 AI 智能体需要知道如何得到那个答案。它需要足够谦逊，能够承认自己不知道某些事情；需要足够聪明，能够提出正确的问题；并且需要足够敏锐，能在发现信息时识破谎言。作者指出，仅仅因为一个模型能产生正确答案，并不意味着它是一个优秀的“深度搜索”智能体。它可能只是运气好，或者它可能是在依赖记忆而非调查研究。
简而言之，这篇论文表明，目前的 AI 模型仍在学习如何成为优秀的侦探。当所有拼图碎片都被递到它们面前时，它们表现出色；但当它们必须亲自去寻找碎片时，尤其是当盒子里装满了假碎片时，它们就会感到吃力。通过拆解这些技能并分别进行测试，研究人员希望帮助构建出不仅仅是猜对答案，而且知道如何精准找到答案的 AI。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。