🤖 AI

Enhancement of E-commerce Sponsored Search Relevancy with LLM

本文提出了一种新颖的电子商务赞助搜索相关性模型，该模型通过低秩自适应（LoRA）对 LLAMA2 7B 语言模型进行微调，在广告-查询相关性分类方面达到了 89.43% 的准确率，在超越基准模型和 GPT-4 模型的同时，还提升了运营效率与隐私保护。

原作者： Md Omar Faruk Rokon, Andrei Simion, Weizhi Du, Musen Wen, Hong Yao, Kuang-chih Lee

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Md Omar Faruk Rokon, Andrei Simion, Weizhi Du, Musen Wen, Hong Yao, Kuang-chih Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走进一个巨大的、混乱的仓库（就像 Walmart.com），寻找一件特定的商品，比如“防水登山靴”。你大声喊出你的需求，而商店的数字助手需要瞬间为你找到那双完美的靴子。

在过去，这个助手就像一个只能理解精确词汇匹配的机器人。如果你说“雨靴”，它可能会感到困惑，因为产品列表里写的是“防水登山鞋”。它往往无法理解你真正想要的东西中的细微差别，从而展示出一些接近但不完全符合要求的物品。

这篇论文描述了沃尔玛团队如何利用一种被称为**大语言模型（LLM）**的 AI 技术（具体是一个名为 LLaMA2 的版本），构建了一个更加聪明的助手。以下是他们所做工作的简单拆解以及为什么这很重要：

1. 问题所在：“大海捞针”

在电子商务领域，存在着数百万种产品和数百万种人们搜索它们的方式。挑战在于如何将用户简短、有时甚至模糊的搜索查询（如“防水登山靴”）与海量列表中的正确产品标题进行匹配。

旧方法： 使用僵化的规则。它经常无法理解“登山靴”和“户外鞋”对人类来说可能意味着同一件事。
新方法： 使用一种能够“阅读”并“理解”词语背后含义的 AI，就像人类一样。

2. 解决方案：一位“专业实习生”（LoRA）

团队采用了一个非常强大的、经过预训练的 AI 大脑（LLaMA2 7B），这个大脑已经掌握了大量的语言知识。然而，这个大脑非常庞大且运行成本高昂。他们并不想从头开始重新训练整个大脑（这就像是教一个天才去读字典一样）。

相反，他们使用了一种叫做 LoRA（低秩自适应） 的技术。

类比： 想象 LLaMA2 模型是一位博学多才、通晓百科全名的通用型图书管理员。现在，你想让他们专门负责图书馆的“登山装备”区域。
窍门： 你不需要解雇这位图书管理员并重新雇佣一个新的人，也不需要让这位图书管理员把整个图书馆重新读一遍，而是给他们一份专门的“小抄”（即 LoRA 适配器）。这份小抄教会了他们“登山装备”的特定规则，而不会改变他们的整体人格或记忆。
结果： 这位图书管理员能瞬间成为登山装备方面的专家，而且消耗的能量和时间极少。

3. 职责：一位“相关性评判员”

团队教会了这个专门化的 AI 充当搜索结果的评判员。当用户输入查询语句且系统推荐产品时，AI 会观察这对组合，并给出以下三个类别之一的分数：

相关： “是的，这些正是用户想要的。”（例如，查询：“防水靴” / 产品：“Gore-Tex 登山靴”）。
部分相关： “很接近，但可能不是完美的。”（例如，查询：“登山靴” / 产品：“防水雨靴”——适合下雨，但可能不适合登山）。
不相关： “不，这是完全错误的物品。”（例如，查询：“登山靴” / 产品：“硅胶烘焙垫”）。

4. 结果：更聪明、更快速

团队将这个新的“专业实习生”与其他智能模型进行了对比测试，其中包括一个非常著名的模型 GPT-4 以及旧有的标准搜索工具。

准确度： 这个新模型在正确率上达到了 89.43%。
对比： 它击败了旧的标准模型，甚至在这一特定任务中超越了 GPT-4。
GPT-4 为什么输了： 论文指出，GPT-4 有时会“过度泛化”。例如，如果你搜索“鸡肉丝”（shredded chicken），GPT-4 可能会认为“鸡肉碎碎机”（Chicken Shredder）工具高度相关，因为词汇匹配。但这个专门化的 LLaMA2 理解了用户的意图，它明白如果用户在搜食物，他们大概不想要一个制作食物的工具。它理解的是意图，而不仅仅是单词。

5. 这对你意味着什么

更好的购物体验： 你得到的搜索结果真正符合你的需求，而不仅仅是看起来相似的词汇。
成本与隐私： 因为他们使用了“小抄”方法（LoRA）而不是重建整个大脑，所以运行成本更低，也让数据更加安全（因为不需要将数据发送到外部服务器来使用庞大的模型）。
商业成功： 当客户能更快找到想要的东西时，他们会更开心，也更有可能购买。

简而言之： 论文表明，通过给一个聪明的通用 AI 一份专门化的“购物小抄”，沃尔玛可以比以前更好地理解客户的真实需求，从而提供更流畅、更准确的购物体验，且不会造成巨大的成本负担。

技术摘要：利用大语言模型增强电子商务赞助搜索相关性

问题陈述
赞助搜索是电子商务平台的核心收入来源，依赖于广告商关键词与用户搜索查询之间的精准匹配。然而，由于关键词空间庞大且不断演变、用户与广告主意图具有模糊性，以及主题和语言的多样性，确保广告的相关性变得十分复杂。传统的算法方法（如关键词匹配和协同过滤）往往无法捕捉消费者查询中的细微语言特征（例如，对耐用性或价格范围的隐含偏好）。这种局限性导致搜索结果并非最优，从而对用户满意度、点击率和转化率产生负面影响。挑战在于开发一种能够在实时电子商务环境下，快速、准确且具有成本效益地理解简短且复杂的查询意图的系统。

方法论
作者提出了一种基于 LLaMA2 7B 解码器架构的大语言模型（LLM）构建的高级广告相关性模型，并针对电子商务赞助搜索场景进行了专门适配。其核心技术创新是使用 低秩自适应（LoRA） 对预训练模型进行微调。

架构： 该系统采用参数高效微调（Peft）方法。通过引入 LoRA，该方法并非重新训练整个 7B 参数模型，而是在特定组件（包括注意力机制中的查询、键、值和输出投影，以及前馈网络中的门控、上升和下降投影）的权重矩阵中引入低秩矩阵（ $A$ 和 $B$ ）。原始权重（ $W$ ）保持冻结，仅在训练期间更新 LoRA 参数。这显著降低了计算资源需求和训练时间。
任务形式化： 该模型作为一个 <查询, 广告标题> 分类器运行。它接收用户查询和广告项标题作为输入，并预测相关性得分，将这对组合归入三个类别之一：相关、部分相关 或 不相关。
训练数据： 模型在源自沃尔玛（Walmart）查询日志的数据集上进行训练，包含 25 万个“查询-项目”对用于训练，以及各 5.6 万个对用于验证和测试。数据由第三方人工评估人员按照三点量表（0：不相关，1：部分相关，2：相关）进行标注，通过多数投票决定基准真相（ground truth）。
优化： 模型使用 Adam 优化器进行训练，学习率为 1e-5，并在配备 4 张 Tesla V100 GPU 的环境下使用分类交叉熵损失函数进行了 7 个轮次（epochs）的训练。

核心贡献

LLM 在电子商务领域的适配： 本文证明了成功将开源 LLaMA2 7B 模型适配到理解电子商务查询背后的特定意图（例如，“节能型 LED 灯泡”），而无需开发独立的、复杂的查询理解系统。
通过 LoRA 实现高效微调： 作者展示了 LoRA 在微调用于赞助搜索的大语言模型方面的创新应用，在保持计算效率和运营隐私的同时实现了高性能。
新型分类系统： 开发了一种专门的 <查询, 广告标题> 分类器，能够识别跨越三个不同类别的相关性，改进了二元相关性模型。
自动标注框架： 该系统通过先进的自动标注能力促进了模型的持续训练，减少了对人工数据标注的依赖。
全面的基准测试： 与传统的 NLP 模型（基于 BERT 的双编码器 Bi-Encoder 和交叉编码器 Cross-Encoder）以及最先进的模型（使用少样本学习的 GPT-4）进行了严格的对比分析。

实验结果
经过微调的 LLaMA2 7B 模型在多个指标上表现出卓越的性能：

准确率（Accuracy）： 该模型在测试集上达到了 89.43% 的准确率，优于基于 BERT 的交叉编码器（86.27%）和基于 BERT 的双编码器（74.42%）以及 GPT-4（63.02%）。
精确率与召回率： 模型保持了 89.75% 的精确率和 89.22% 的召回率，从而实现了 89.41% 的 F1 分数。这种平衡对于在广告投放中最大限度地减少误报和漏报至终关重要。
相关性排序： 在归一化折损累计增益（NDCG）方面，该模型在 NDCG@4 达到 0.7142，在 NDCG@8 达到 0.6774，均优于两种 BERT 变体。
定性分析： 个案研究表明，虽然 GPT-4 倾向于过度泛化（例如，将“鸡肉碎碎机”归类为与“碎鸡肉”高度相关），但经过微调的 LLaMA2 模型展现出更好的辨别力，能够更好地理解间接相关性和上下文，正确识别了如“麦科森医用胶带（McKesson Medical Tape）”对应于“急救胶带”的情况，同时避免了将“玻璃清洁剂”错误识别为“蔡司（ZEISS）镜片擦拭布”等无关项目的误报。

意义与主张
本文声称，将 LoRA 与 LLaMA2 7B 模型相结合，代表了在定制化语言模型应用于电子商务领域方面迈出了重要一步。这项工作的意义在于其能够提供现代数字市场必备的三重效益：

提升搜索准确性： 通过更好地理解复杂的查询意图，该模型提高了赞助结果的相关性，直接提升了用户满意度和业务指标。
成本效益： LoRA 方法允许进行高效微调，而无需消耗进行全模型重训所需的庞大计算资源，使其能够在大规模电子商务平台中实现扩展。
运营隐私： 与使用外部 API（如 GPT-4）不同，使用开源、自托管的模型确保了数据隐私和安全性，这是企业级电子商务环境中的关键因素。

作者总结道，尽管评估重点在于赞助搜索，但该方法论具有通用性，可应用于更广泛的电子商务搜索场景，为改善在线零售体验提供了一种实用且具有影响力的解决方案。