🤖 AI

Next-Gen Sponsored Search: Crafting the Perfect Query with Inventory-Aware RAG (InvAwr-RAG) Based GenAI

本文介绍了 InvAwr-RAG，这是一种基于库存感知的 RAG 生成式人工智能模型，它通过动态生成与实时广告库存相一致的相关查询来优化赞助搜索，从而使沃尔玛平台的填充率提升了 68%，并改善了收入和用户体验。

原作者： Md Omar Faruk Rokon, Weizhi Du, Zhaodong Wang, Musen Wen

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Md Omar Faruk Rokon, Weizhi Du, Zhaodong Wang, Musen Wen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走在一个巨大的、繁忙的数字超市里（就像沃尔玛的网站）。你在脑海中拿起一件商品，并向商店大声喊出一个问题：“我需要一些适合雨天野餐的东西！”

在一个完美的世界里，店长会立即回喊道：“太棒了！我们这里有雨伞、雨衣和防水毯，就在这里！” 并向你展示这些商品的广告。

但在现实中，这往往不会发生。因为商店的库存每秒都在变化，而且人们提问的方式往往很奇怪或模糊，所以店长有时只会说：“抱歉，我们没有这类商品，” 尽管他们实际上拥有成千上计可能符合要求的商品。这篇论文将其称为“13%问题”——每 100 次搜索中就有 13 次导致零广告结果，这意味着商店损失了收入，也意味着你错过了发现酷炫产品的机会。

问题所在：“翻译丢失”时刻

作者解释说，目前的计算机系统就像刻板的图书管理员。如果你询问“雨天野餐装备”，而数据库仅将“雨具”列在“雨伞”之下，图书管理员可能会错过这种联系。或者，即使他们找到了匹配项，他们也不知道商店现在是否真的有现货，或者广告商目前是否愿意出资展示该广告。

其结果是？你看到的是一个空白页面，而商店失去了一次销售。

解决方案：“智能购物者”助手 (InvAwr-RAG)

为了解决这个问题，沃尔玛的团队构建了一个名为 InvAwr-RAG 的新 AI 系统。把这个系统想象成一个超级聪明、实时的私人购物助手，他拥有两个特殊超能力：

“实时库存”雷达： 与那些只能靠猜测的旧系统不同，这位助手与仓库有着直接的联系。他确切知道此时此刻货架上有什么，以及哪些广告商正在付费展示他们的产品。
“语言翻译官”（生成式 AI）： 如果你问了一个模糊的问题，这位助手不会直接说“不”。他会迅速将你的问题改写成几个更清晰的版本，且这些版本保证能匹配到实际在库的商品。

它是如何运作的：一步步的舞蹈

论文描述了一个在眨眼间完成的六步流程：

签到检查： 系统查看你的问题。如果它发现你询问的是通常会导致无结果的问题（比如我们的“雨天野餐”例子），它会将此标记为需要特殊帮助。
侦察任务： 系统会立即扫描“实时库存”（向量数据库），找到前 20 件真正可用且相关的商品。
提示词生成： 它将你的原始问题与这 20 件商品的描述结合起来。这就像助手在向一位创意作家低声耳语：“嘿，用户想要雨天野餐装备，而我们正好有这些特定的雨伞和毯子。请写出 5 种表达这些商品的新方式。”
重写： 一个强大的 AI（经过微调的 Llama2）会生成 5 个新的、巧妙的提问变体。与其只说“雨天野餐”，它可能会生成：“最适合户外用餐的防水毯” 或 “适合家庭野餐的便携伞”。
“群众智慧”校验： 系统不会盲目信任 AI。它还会查看商店的历史日志，看看过去有哪些真实人类搜索过的词汇效果很好。它会将 AI 的新想法与这些经过验证的热门搜索词结合起来。
最终匹配： 它会将所有这些新重写的查询语句通过一个严格的过滤器，以确保它们只展示高度相关且确实可用的广告。

结果：化“无”为“有”

论文测试了该系统在 10,000 次此前成功率为 0%（即从未显示过广告）的搜索上的表现。

之前： 这些搜索显示广告的成功率为 0%。
使用新的 AI 后： 这些搜索中有 68% 成功显示了相关的广告。

从直观角度来看，如果你有一根魔杖，能将 100 个“死胡同”中的 68 个变成成功的购物之旅，那是一个巨大的胜利。论文还指出，该系统的表现优于一个非常著名的通用型 AI（GPT-4），后者仅达到了 53% 的成功率。这证明了针对沃尔玛的库存和购物习惯对 AI 进行专门训练，会让它在处理这项特定工作时更加聪明。

为什么这很重要

作者声称，这不仅仅是为了展示更多广告，更是为了提升购物体验。

对于你（购物者）： 你不再会遇到死胡同。你会看到你可能真正喜欢的商品，即使你并不知道它们的准确名称。
对于商店（沃尔玛）： 他们不再因为空白的搜索结果而损失金钱。论文表明，这可能在未来五年内带来数十亿美元的额外收入。
对于广告商： 他们的产品会被真正寻找它们的人看到，从而获得更好的投资回报。

简而言之，InvAwr-RAG 模型就像是给了店长一张仓库的实时地图，并配备了一位能说各种“购物语言”方言的翻译官，确保没有任何顾客会空手而归。

技术摘要：面向赞助搜索的库存感知型 RAG 架构生成式 AI

1. 问题陈述

赞助搜索是沃尔玛等电子商务平台的主要收入驱动力，但目前存在显著的低效问题：大约 13% 的用户搜索查询无法检索到任何赞助产品广告。这种“零填充”（zero-fill）现象源于用户查询、庞大且不断演变的关键词景观以及实时库存约束之间的失配。

目前的解决方案通常分为两类：

信息检索 (IR)： 如稠密检索（Dense Retrieval，如 ANCE、RocketQA）等方法，利用深度学习进行查询与关键词的匹配，但往往缺乏实时库存同步。
自然语言生成 (NLG)： 如 CLOVER 和 ProphetNet-Ads 等模型可以生成关键词变体，但经常忽略动态库存数据和特定的广告活动竞价策略。

核心挑战在于两个方面：既要增强广告投放与可用库存及广告主预算的相关性，又要同时通过呈现被认为具有相关性的广告来维持高质量的用户体验。无法解决这些失配问题会导致实质性的收入损失和错失客户参与的机会。

2. 方法论：InvAwr-RAG

作者提出了 库存感知型 RAG 架构生成式 AI 模型 (InvAwr-RAG)，该系统旨在实时动态重写用户查询，以使其与可用库存和广告活动保持一致。该方法由四个主要阶段组成：

2.1. 数据准备

双塔 BERT 数据集： 将查询与产品标题及相关性得分进行配对，并通过人工标注进行增强，以捕捉语义关系。
搜索日志分析： 根据频率和广告曝光量识别热门查询，以指导 RAG 组件。
重写查询集合： 系统策划了一个成功的查询重写数据集。具体而言，选择了在六个月内对相同商品产生至少 500 次点击 的查询。这些查询经过人工评估员的严格筛选，以确保其唯一性和独特的替代方案，从而用于训练查询重写大语言模型（Query Rewrite LLM）。

2.2. 模型架构

该架构集成了检索组件与生成组件：

双塔 BERT： 该组件使用不同的编码器分别处理用户查询和产品标题，生成嵌入向量（ $U$ 和 $V$ ）。使用余弦相似度来评估匹配质量，训练模型以识别与查询最相关的产品。
查询重写 LLM (LoRA 微调)： 基于 Llama2 7B，该模型使用 低秩自适应 (LoRA) 进行微调。这种方法在权重矩阵中引入低秩矩阵（ $A$ 和 $B$ ），允许针对赞助搜索领域进行高效、有针对性的适配，而无需重新训练整个模型。该模型学习生成具有上下文相关性且具备库存感知能力的查询重写。

2.3. 检索增强生成 (RAG) 流水线

端到端系统通过六个步骤运行（图 3）：

查询分类器： 基于规则的分类器识别表现不佳的查询（例如，点击率低的查询），并将它们重定向到重写流水线。
动态库存检索： 系统根据余弦相似度从向量数据库中检索前 $N=20$ 个库存项，以确保满足预算约束。
提示词准备： 通过将原始用户查询与检索到的热门商品描述相结合来构建提示词（图 4）。
LLM 重写： 微调后的 LLM 生成与可用库存相关的多样化、相关的重写查询。
热门查询集成： 系统从搜索日志中检索与 LLM 输出相似的历史成功查询，利用这些查询来丰富建议模式。
合并与最终检索： 将 $K=5$ 个重写查询与热门历史查询进行合并。通过一个交叉编码器 BERT 模型评估结果广告项的相关性，并过滤掉未达到预定义相关性阈值的项。

2.4. 参数选择

$N=20$ 个项目： 在多样性和针对性之间取得平衡，在最大化用户参与度的同时避免决策疲劳，并保持计算效率。
$K=5$ 个重写查询： 被选中以提供足够的语言变化，以捕捉用户意图，同时保持精准度和专注度。

3. 核心贡献

论文强调了五项主要创新：

鲁棒的动态查询重写： 一个能够调整查询以对齐实时库存和竞价的模型，将此前无法履行的搜索转化为广告机会。
实时数据集成： 系统集成了实时库存和竞价数据，确保每次搜索都能展示相关的广告。
混合查询生成： 一种结合 AI 生成查询与历史成功查询的独特方法，以平衡新鲜度与可靠性。
双重优化： 同时通过提高相关性建议来改善用户体验，并通过最大化产品可见度来提高广告主投资回报率 (ROI)。
可扩展性： 通过使用先进的数据处理和 LLM 适配能力，确保解决方案能够随市场动态进行演进。

4. 结果

作者在一个包含 10,000 个查询 且历史 填充率为 0% 的数据集上进行了离线评估。

填充率 (Fill Rate)： InvAwr-RAG 模型在此极具挑战性的集合上实现了 68% 的填充率。相比之下，基准 GPT-4 模型（未经特定零售领域微调）的填充率为 53%。
相关性 (NDCG@8)： 使用截断值为 8 的归一化折损累计增益 (NDCG@8)，InvAwr-RAG 得分为 0.6847，优于 GPT-4 (0.6458) 和基准模型 (0)。
评估方法： 这些指标由第三方人工评估员通过评估每个模型返回的前 8 个项目来进行验证。

论文指出，这些是初步的离线结果，计划通过 A/B 测试 来衡量其在填充率、点击率 (CTR)、转化率和收入方面的实时影响。

5. 重要性与主张

论文将 InvAwr-RAG 定位为动态查询优化领域的新标准。作者声称，该模型解决了现有信息检索 (IR) 和自然语言生成 (NLG) 方法无法与动态库存同步的关键差距，从而避免了广告库存浪费和用户体验下降。

收入潜力： 作者预计，该模型将零填充查询转化为广告机会的能力，在未来五年内有望带来 高达 10 亿美元的广告相关收入增长。
战略影响： 通过确保原本无法变现的约 13% 的搜索现在可以展示相关广告，该系统显著提升了广告相关性、广告主投资回报率以及沃尔玛数字平台的整体购物体验。
未来工作： 作者表示，未来的工作重点将放在精细化用户意图理解、扩大在不同产品类别中的适用性，以及随着库存和用户群增长而提升系统的可扩展性。