GEM-Bench: A Benchmark for Ad-Injected Response Generation within Generative Engine Marketing

技术摘要：GEM-Bench

问题定义
生成式引擎营销（Generative Engine Marketing, GEM）代表了从传统搜索引擎营销（SEM）向通过将广告直接集成到对话式响应中来变现大语言模型（LLM）的转变。本研究解决的核心挑战是广告注入响应（Ad-Injected Response, AIR）生成：给定用户查询、一个LLM和一个广告数据库，系统必须将相关的广告描述无缝集成到生成的响应中。

现有的基准测试和评估方法不足以应对这一特定任务。标准的LLM基准测试（如 MT-Bench）包含不适合广告的领域（如数学、编程），而传统的文本质量指标（如 ROUGE、BLEU）在评估经由广告注入修改后的响应时会引入偏差。此外，现有的“LLM-as-a-Judge”方法无法捕捉细微的用户体验因素，例如由于侵入式广告引起的信任感下降或“跳脱感”。目前的解决方案（如通过系统提示词注入广告的 Ad-Chat）缺乏广泛的性能评估，且往往以牺牲响应质量为代价来换取参与度。

方法论：GEM-Bench
为了填补这些空白，作者提出了 GEM-Bench，这是第一个针对 AIR 生成的全面基准测试。它包含三个主要组成部分：

1. 精选数据集： 该基准测试包含涵盖聊天机器人和搜索引擎场景的三个数据集：

   • MT-Human： 来自 MT-Bench 人文类别的 10 个首轮查询，经过人工验证以确保广告适用性。
   • LM-Market： 来自 LMSYS-Chat-1M 的 1,701 个单轮英文查询，经过过滤并聚类为旅游、食谱和软件工具。
   • CA-Prod： 源自商业查询-广告数据集的 120 个查询，模拟搜索引擎中的 AI 总览功能。
   • 所有数据集均使用包含 6,556 个经核实的商品和品牌的共享广告数据库（AdDB）。

2. 测量本体论： 作者定义了一个多维评估框架：

   • 定量指标： 包括响应流（Response Flow）和响应连贯性（Response Coherence）（全局语义连续性）、广告流（Ad Flow）和广告连贯性（Ad Coherence）（广告周围的局部语义过渡）、注入率（Injection Rate）以及点击率（CTR）。
   • 定性指标： 通过统一的评分标准评估的六个“LLM-as-a-Judge”维度：准确性（Accuracy）（事实正确性）、自然度（Naturalness）（对话流）、人格化（Personality）（以用户为中心 vs. 以销售为驱动）、信任度（Trust）（可信度）、感知度（Notice）（产品意识）和点击（Click）（链接参与度）。

3. Ad-LLM 框架： 一个用于 AIR 生成的模块化、多智能体工作流，由四个智能体组成：

   • 无广告响应生成器（Ad-free Response Generator）： 生成初始的无广告响应。
   • 广告检索器（Ad Retriever）： 根据与查询或生成响应的语义相似度选择相关广告。
   • 广告注入器（Ad Injector）： 通过最小化语义流扰动（使用基于余弦相似度的目标函数）来确定最佳插入点。
   • 响应重写器（Response Rewriter）： 精炼注入后的响应，以确保平滑集成。
   • 该框架支持多个广告（$k > 1$）的迭代插入。

实验结果
作者在三个数据集上评估了四种方案：现有的 Ad-Chat 和三种 Ad-LLM 变体（GI-R, GIR-R, GIR-P）。

• 有效性 (RQ1)： Ad-LLM 变体在用户满意度和参与度方面始终优于 Ad-Chat。具体而言，表现最好的 Ad-LLM 实例 (GIR-R) 在各数据集上的整体定性得分提高了 14.8% 至 15.6%。值得注意的是，与 Ad-Chat 相比，Ad-LLM 在准确性上实现了高达 39.8% 的相对提升，在人格化上提升了 89.3%，在信任度上提升了 62.9%。虽然 Ad-Chat 在搜索引擎场景中实现了更高的 CTR（高出 6.5%），但其准确性和信任度显著降低，通常表现出一种会降低响应质量的“推销员”人格。
• 人类与 LLM 一致性 (RQ2)： 一项包含 118 名参与者（产生 3,140 个评分）的用户研究显示，具有很强的内部一致性 ($\rho_{hh} = 0.84$)，并且与 LLM 评判者具有实质性的对齐度 ($\rho_{hl} = 0.73$)。人类和 LLM 都一致地认为 Ad-LLM 方案优于 Ad-Chat。
• 消融研究 (RQ3)：
  • 精炼： 与非精炼的 GI-R 相比，包含“响应重写器”（GIR-R/P）显著提高了定性指标（自然度和信任度），尽管 GI-R 在定量流指标上表现略好。
  • 检索策略： 基于响应的检索（GIR-R）在聊天机器人场景中表现更优，而基于提示词的检索（GIR-P）在面向关键词的搜索引擎查询中表现更好。
  • 嵌入模型： 更强的嵌入模型（text-embedding-3-small）在聊天机器人场景中带来了更好的结果，但在搜索引擎场景中差异可以忽略不计。
• 成本分析 (RQ4)： 由于采用了多智能体工作流，Ad-LLM 方案在输入 token 方面比 Ad-Chat 产生更高的计算开销，但令人惊讶的是，Ad-Chat 在搜索场景中由于其内部基于 LLM 的主题和产品选择阶段，消耗了 5–25 倍的输入 token。Ad-LLM 变体所需的输出 token 大约为简单提示词方法的 2 倍。

意义与主张
本文声称提供了第一个专门为评估 GEM 中广告注入响应生成而设计的全面基准测试。其意义在于：

1. 建立标准： 提供精选的数据集和多维本体论，超越了简单的参与度指标，纳入了信任度和自然度等用户满意度维度。
2. 展示权衡： 强调了简单的基于提示词的注入（高参与度，低满意度）与结构化生成-注入流水线（高满意度，高开销）之间的关键权衡。
3. 促进研究： 提供一个可扩展的多智能体框架（Ad-LLM）和基准实现，以促进未来对更有效、更高效的 AIR 生成策略的研究。

作者明确指出，虽然初步结果显示出前景，但 GEM-Bench 目前受限于数据集规模和人工评估范围，并计划发布更新版本。他们将这项工作定位为一种诊断工具，旨在鼓励负责任的部署并防止欺骗性广告，而非直接用于商业广告系统的优化工具。