💬 NLP

Ad Insertion in LLM-Generated Responses

本文提出了一种用于可持续大语言模型（LLM）变现的新型框架，该框架将广告插入与响应生成解耦，并利用基于体裁的竞价机制，在确保上下文连贯性、计算效率和伦理合规性的同时，实现强大的拍卖理论保证。

原作者： Shengwei Xu, Zhaohua Chen, Xiaotie Deng, Zhiyi Huang, Grant Schoenebeck

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Shengwei Xu, Zhaohua Chen, Xiaotie Deng, Zhiyi Huang, Grant Schoenebeck

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数字时代，我们寻找信息的方式已经从向搜索框输入简短、静态的问题，转变为与人工智能进行流畅、持续的对话。几十年来，搜索引擎背后的商业模式一直依赖于将广告与用户输入的特定词汇进行匹配。如果你输入“跑步鞋”，就会出现一个运动鞋的广告。这个系统之所以有效，是因为用户的意图被捕捉在了这些固定的关键词中。然而，现代语言模型不仅是回答问题，它们还能生成模仿人类对话的长篇、演进式的响应。在一段关于规划纽约旅行的聊天中，对话可能会从讨论博物馆转向讨论酒店，接着是交通，最后是预算。用户的意图随着每一句话而改变。这创造了一个独特的挑战：如何在讨论博物馆的段落中展示一个相关的酒店广告，而不让它显得格格不入；或者更糟糕的是，如何确保广告本身不是人工智能在瞬间生成的虚假幻觉？此外，展示这些广告必须是即时的，不能减慢对话速度，并且必须尊重用户隐私，不得将敏感的个人细节暴露给广告商。

研究人员提出了一个新的框架来解决这个难题，旨在以一种自然、快速且保护用户数据的方式，将广告编织进这些人工智能对话中。他们解决方案的核心涉及两个主要的解耦。首先，他们将撰写对话的行为与插入广告的行为分离开来。系统并不是让人工智能在说话时尝试将广告写入其响应中，而是先生成一个干净、无广告的答案。只有在答案完成后，另一个独立的系统才会决定在哪里放置预先编写好的广告。这确保了广告内容在发布前经过审核以保证准确性，并且可以被明确标记为赞助信息，从而防止人工智能意外地捏造有关产品的虚假说法。

第二个，或许也是更具创新性的分离，发生在广告商如何竞标这些位置的方式上。在传统的搜索中，广告商针对特定的关键词进行竞标。在动态聊天中，针对每一个可能的句子或时刻进行竞标在计算上是不可能的，也会造成隐私噩梦，因为这需要广告商看到用户的私密提示词。相反，研究人员引入了“类别”（genres）的概念。这些是广泛且稳定的类别，如“酒店”、“航空公司”或“电子产品”。广告商提前对这些类别进行竞标，而不是针对具体的用户问题。当系统准备插入广告时，它会查看当前对话的部分内容，并评估每个类别与该特定语境的契合程度。然后，它使用一种类似于高额拍卖的数学方法，将最合适的广告分配给最合适的地点。这种方法允许系统将酒店广告与一段关于住宿的文字进行匹配，而无需广告商看到用户的具体旅行计划。

为了测试这种方法是否真的有效，团队构建了一个原型，并测量了系统判断广告与对话特定部分相关性的能力。他们将他们的自动化系统与人工评分进行了对比。他们发现，使用大语言模型作为评判者——评估一个广告类别是否符合特定的句子——所产生的结果与人类直觉非常接近。在他们的测试中，自动化评判者的预测结果与三十六名人类参与者的平均评分之间的相关性约为 0.66。值得注意的是，与群体平均值相比，这个自动化评判者的表现优于三十六名人类评判者中的二十九名。这表明，该系统可以可靠地确定广告在何时具有上下文相关性，而无需人工审查每一次交互。

研究人员还进行了模拟，以观察该系统是否能处理实时使用所需的速度。他们模拟了一个拥有十万名广告商和一百个对话广告位的场景。即使在这种大规模规模下，该系统也能在标准笔记本电脑上用大约 1.25 秒的时间计算出应该展示哪些广告以及收取多少费用。这种速度表明，该拍卖机制足够快，可以用于实时对话而不会引起明显的延迟。研究结论指出，通过将广告投放与文本生成解耦，并使用广泛的类别而非特定的关键词，可以为对话式人工智能创建一个可持续、高效且具有上下文相关性的广告模型。虽然该系统依赖于估计而非对用户意图的完美掌握，但结果表明，这种近似所引入的误差足以维持广告商的公平性和用户的良好体验。

技术摘要：LLM 生成响应中的广告植入

问题陈述

大语言模型（LLM）的可持续变现面临着一个关键挑战：传统的搜索广告依赖于静态关键词，无法捕捉对话流中瞬息万变、依赖上下文的用户意图。与意图编码在静态查询中的搜索引擎不同，LLM 的交互涉及不断演变的意图，这些意图在复杂的对话过程中会发生偏移（例如，从讨论景点转向为旅行制定预算）。

将广告集成到这些流程中面临三个主要的工程技术障碍：

上下文连贯性（Contextual Coherence）： 广告必须在插入瞬间与特定的、瞬时的用户意图在语义上保持一致，以避免破坏用户体验。
计算效率（Computational Efficiency）： 该机制必须能够在实时运行，而不会引入降低对话流畅度的延迟。
社会福利与伦理（Social Welfare & Ethics）： 系统必须在遵守监管要求（如明确的广告披露）和隐私标准的同时，实现广告商与平台效用的总和最大化。现有解决方案要么将敏感的用户提示词暴露给广告商（存在隐私风险），要么需要对每个标记（token）或查询进行实时竞价（在计算上是不可行的）。

方法论

作者提出了一个通过两层**解耦（decoupling）**来解决这些矛盾的框架：

1. 将广告植入与响应生成解耦

该框架将“有机”响应的生成与广告的植入分离。

流程： 收到查询后，LLM 首先生成一个完整的、不含广告的有机响应 ( $z$ )。
机制： 独立地，由拍卖机制决定插入哪些预先提交的、静态的广告创意以及在何处插入（即在文本段落之间的特定插槽 $y_j$ ）。
优势： 这允许对广告创意进行预筛选，以防止幻觉或欺骗性内容，并确保明确的披露（例如“[赞助：...]”）。它还允许响应生成模块和拍卖模块进行独立优化。

2. 通过“类别”（Genres）将竞价与特定用户查询解耦

广告商不再针对特定的用户提示词或标记进行竞价，而是针对类别 ( $g \in \mathcal{G}$ ) 进行竞价，这些类别被定义为高层级的语义簇（例如，“航空公司”、“酒店”、“餐饮”）。

估值模型： 广告商提交针对类别的静态出价 ( $\tilde{v}_{i,g}$ )。平台估计特定类别与响应中特定插槽 $j$ 在上下文中的对齐概率，记为连贯性 $c_{g,j} = \Pr[g|j]$ 。
福利估计： 分配给广告商 $i$ 到插槽 $j$ 的估计福利通过出价向量与连贯性向量的点积计算得出： $\tilde{w}_{i,j} = \tilde{v}_i^\top \tilde{c}_j$ 。
拍卖机制： 平台使用**维克里-克拉克-格罗斯（VCG）**机制将 $K$ 个广告分配到 $K$ 个插槽中，从而实现代理社会福利（基于估计值）的最大化。

连贯性测量

为了在没有历史点击数据的情况下估计类别与文本插槽之间的对齐程度，论文提出了两种方法：

句子嵌入（Sentence Embeddings）： 计算类别嵌入与相邻句子之间的余弦相似度，并对破坏流感的行为进行惩罚。
LLM-as-a-Judge（LLM 作为评判者）： 使用大型语言模型来评估在特定插槽插入特定类别后的修辞流和上下文相关性，并输出连贯性评分。

核心贡献

一个实用的框架： 论文引入了一种两层解耦策略，解决了上下文连贯性、计算效率和隐私之间的权衡。
理论保证： 作者证明了将 VCG 应用于这种基于类别的代理系统可以产生近似占优策略激励相容性（DSIC）和个体理性（IR）。他们推导出了误差界限，表明偏离真实出价和损失社会福利的情况受限于类别的粒度和连贯性估计的精度 ( $\epsilon = \epsilon_V + \epsilon_C$ )。
LLM-as-a-Judge 指标： 论文引入并验证了用于估计上下文连贯性的“LLM-as-a-Judge”指标。
实证验证： 该框架在合成环境和人类评估研究中得到了测试。

结果

理论性能

近似界限： 在真值设置下，该机制被证明是 $(2\epsilon)$ -DSIC 且为 $\epsilon$ -IR，其中 $\epsilon$ 是估值误差（由于粗粒度类别导致）与连贯性误差之和。
社会福利： 假设出价是真实的，实现的社会福利与最优真值福利相比，其损失最多为 $2K \cdot \epsilon \cdot \bar{v}$ 。

计算效率

在拥有 $10^5$ 个广告商和 100 个候选插槽的合成实验中，VCG 机制在消费级笔记本电脑（Apple M1）上大约在 1.25 秒内完成清算。
运行时间随广告商和插槽数量近似线性扩展，表明了实时植入的可行性。

连贯性测量对齐

与人类的相关性： 在一项包含 36 名参与者的研究中，LLM-as-a-Judge 方法与平均人类评分的 Spearman 相关系数达到 $\rho \approx 0.66$ 。具体而言，DeepSeek-R1 和 GPT-5 的相关系数分别为 0.6650 和 0.6637，而 GPT-4o 为 0.6380。
优于嵌入法： LLM-as-a-Judge 显著优于句子嵌入方法（后者实现的 $\rho \approx 0.28$ 至 $0.31$）。
评分者等效性： GPT-5 评判者的预测与留一法（leave-one-out）群体均值的相关性比 36 名个人人类评分者中的 29 名更强（80.6%）。该评判者的表现相当于大约两名人类评分者的平均水平。

重要性与主张

论文声称提供了第一个同时解决上下文连贯性、计算效率和隐私问题的 LLM 广告植入整体框架。

隐私： 通过将竞价与实时查询解耦，广告商针对稳定的类别而非敏感的用户提示词进行竞价，从而降低了隐私风险。
监管合规： 生成与植入的分离有助于明确的广告披露和预筛选，符合 FTC 关于禁止欺骗性广告的指南。
可扩展性： 使用类别作为意图的代理，将难以处理的实时竞价问题转化为在有限类别集上的可控优化问题。
未来可行性： 作者指出，随着基础模型的进步，用于衡量连贯性的“LLM-as-a-Judge”指标的准确性预计将会提高，从而进一步收紧该机制的近似保证。

论文总结道，尽管该框架依赖于准确的连贯性估计并假设了固定的类别划分，但它为在不损害用户体验或隐私的情况下实现 LLM 的可持续变现提供了一条切实可行的路径。