Measuring brands in machine answers: A scoping review and validity framework for large language model brand-visibility audits
这项针对38项实证研究的范围综述表明，当前的AI品牌可见性审计由于方法论的不一致性和商业偏见，正面临着显著的效度差距和相互矛盾的结论，这促使作者提出了一个两阶段理论框架和新的报告标准，以调和大型语言模型回答中品牌包含与选择之间的矛盾。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代市场中，一个品牌的成功往往取决于它是否能在正确的时刻进入消费者的脑海。几十年来，营销人员一直在研究“考虑集”（consideration set），即一个人在购买前积极思考的产品心理清单。如果一个品牌不在那个名单上，那么无论产品多么优秀，它实际上都是不可见的。如今，在购物者与那个心理清单之间，出现了一个新的守门人：人工智能助手。当一个人向大语言模型询问最好的登山夹克或可靠的会计师时，机器不仅仅是返回一个链接列表，它还会生成一个经过排序的具体品牌简短列表，通常还会附带简短的解释。这个答案就像是一个预选菜单，决定了人类将会考虑哪些选项。
研究人员和商业领袖面临的问题是，这些机器生成的列表是否公平、准确，甚至是否稳定。它们是仅仅偏向于那些规模最大、最著名的公司，还是奖励质量？它们会给小型本土企业机会吗，还是说这些品牌被完全锁在了门外？由于这些系统在不断变化且其内部逻辑是隐藏的，回答这些问题需要一种全新的调查方式。我们不能仅仅观察机器内部，我们必须向它提出成千上万个问题，并仔细分析它给出的回馈。
独立研究员查贝尔·萨米·伊布拉希姆（Charbel Sami Ibrahim）最近的一项范围综述探讨了这一确切问题。该研究充当了一个快速增长领域的地图，检查了 2024 年至 2026 年间进行的 38 项关于要求大语言模型推荐品牌的调查。其目标不是寻找单一的、完美的答案，而是理解为什么这些不同的研究往往得出相互矛盾的结论。一些报告声称知名品牌在每个答案中都占据主导地位，而另一些报告则表明，如果小型品牌拥有良好的评分，它们也可以进行竞争。通过比较每项研究中使用的方法，该综述揭示了这些矛盾并不一定在于品牌本身，而在于提问的方式以及如何统计答案。
该综述发现，该领域仍处于早期且脆弱的阶段。所审查的大多数研究并未经过独立专家的同行评审，而且许多研究是由那些旨在销售提升品牌可见性工具的商业团体进行的。此外，数据往往是不完整的；许多研究没有足够多次地重复提问以确保结果的稳定性，也很少有研究将其发现与现实世界的市场数据（如销售额或品牌知名度调查）进行对比。研究人员指出许多研究构建中的一个关键缺陷：它们往往未能区分过程中的两个非常不同的阶段。第一阶段是品牌是否出现在答案中；第二阶段是该品牌一旦出现，其排名是否靠前或是否被优于其他品牌进行推荐。
当综述将这两个阶段分开时，一幅更清晰的图景便浮现了出来。证据表明，让一个品牌首先出现在答案中，在很大程度上取决于网络上有多少关于该品牌的文本。如果一家公司在网站、评论和目录中有丰富的记录，那么它就更有可能被包含在机器的列表中。这是一个关于“成员资格”的问题。然而，一旦品牌进入了名单，规则似乎就发生了变化。综서表明，当机器必须在已经包含的几个品牌之间做出选择时，它可能更多地依赖于特定的属性，例如客户评分或价格，而不是仅仅依赖品牌的知名度。这意味着一个拥有极佳评论的小型品牌可能会击败一个名气大但评价差的品牌，但前提是这个小型品牌足够幸运，能够先进入名单之中。
研究还强调了结果如何轻易受到所用语言或提问者地理位置的影响。使用当地语言提问通常会带来当地企业，而这些企业在英语查询中永远不会出现。同样，所使用的 AI 模型版本也会改变整个推荐品牌的集合。因此，声称展示品牌“可见性”的单一数字往往具有误导性。一个品牌在某个平台上的出现率可能是 90%，但在另一个平台上仅为 10%，如果没有了解背景信息，综合得分将毫无意义。
或许最重要的发现是，研究本身的设计决定了它所发现的内容。那些仅仅要求机器从零开始命名品牌的调查，往往显示出大型知名品牌具有巨大的优势。相比之下，那些为机器提供固定选项并要求其选出最佳选项的研究，则经常显示出如果一个小竞争对手拥有更好的属性，知名品牌就会失去优势。这解释了为什么有些报告说大品牌统治了 AI 世界，而另一些报告说竞争环境是公平的；因为它们测量的是过程的不同部分。综述总结道，要真正理解这些机器如何对待品牌，研究人员和管理者必须停止寻找单一的分数。相反，他们需要分别衡量“包含度”和“选择度”，提出许多不同版本的相同问题，并验证机器是否确实识别出了正确的品牌。在达到这些标准之前，用于指导营销预算的数字仍然是不确定的，而人工智能对品牌竞争的真实影响仍然是一个充满缺失环节的谜题。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。