HIERA: Hierarchical Multi-Agent Relevance Assessment for Content Discovery Systems

想象一下，你正试图寻找一部完美的电影，或者进行 DIY 项目时所需的精确工具。你在搜索栏中输入几个词，然后计算机必须猜测你真正的意思。这就是“内容发现”的世界，算法在这里扮演着数字图书管理员或店员的角色。但棘手之处在于：计算机并不具备人类的直觉。它们很难理解“金属汞色饰面”对人类而言实际上可能意味着“灰色”，或者一个“七抽屉斗柜”即使在文字不完全匹配的情况下也符合“灰色斗柜”的需求。

为了解决这个问题，科学家们一直在教计算机使用“大语言模型”（LLs）——这些是能够像人类一样阅读和写作的超级智能 AI 大脑。目标是让这些 AI 能够像人类一样判断一个搜索结果的相关性。然而，要求一个单一的 AI 大脑同时完成这项工作，就像要求一个人同时成为色彩专家、风格评论家和逻辑谜题解答者。它们往往会感到困惑、遗漏联系，或者给出一个并不完全正确的“凑合”答案。这篇论文提出了一个简单而强大的问题：如果我们不依赖一个庞大的大脑，而是建立一个由专门人才组成的、有组织的微型团队，让他们通过相互交流来解决这个谜题，结果会怎样？

来自亚马逊的论文作者们提出了一种名为 HIERA（层级式多智能体相关性评估）的新系统。请不要将 HIERA 视为单个超级侦探，而应将其视为一家管理严密的侦探机构，拥有严格的指挥链。在他们的系统中，并不是只有一个智能体在做所有的工作。相反，他们有一个负责判断案件是否棘手的“法官”，一个负责弄清用户真正需求的“查询分析师”，一个负责详细研究产品或电影的“物品分析师”，以及一个充当团队队长的“关系分析师”，负责将用户的愿望与物品的现实连接起来。

论文发现，这种有组织的团队方法明显优于旧方法。当他们在五个不同的数据集（从电影搜索到家居改良产品）上测试 HIERA 时，它击败了其他 11 种方法。例如，在名为 EVS（娱乐视频搜索）的数据集上，HIERA 比之前最好的方法在准确率上大幅提升了 38%。在 Home Depot 数据集上，它提升了 10.2%。

至关重要的是，研究人员证明了其魔力不仅仅在于拥有更多的智能体或更多的信息。他们进行实验，将相同的智能体和相同的外部知识交给一个所有成员各自为政并在最后仅进行投票的系统。那个“扁平化”的团队表现要差得多。事实上，当他们向旧的、缺乏协调的方法添加外部知识时，这些方法反而变得更糟了。这表明，秘诀在于层级结构：即智能体之间交流的具体方式，其中“关系分析师”在最终法官做出决定之前，会将发现的内容综合成一个连贯的故事。

论文表明，对于需要同时理解风格、颜色、功能和意图等复杂任务，一个能够协调其思想的结构化团队，远比一群只会大声表达意见的个人，或是一个试图处理一切的单一大脑更为出色。虽然该系统运行时间稍长（每次搜索约 35 秒，而简单方法不到 1 秒），但它仍比人类专家快 50 倍，并能提供更可靠的答案。作者总结道，如果你想构建一个智能搜索系统，投资于良好的协调结构比仅仅增加更强大的计算机或更多的数据更为重要。