💬 NLP

Controlling Output Rankings in Generative Engines for LLM-based Search

本文介绍了 CORE，这是一种通过策略性地在搜索引擎结果中附加内容，以操纵基于大语言模型（LLM）的生成式引擎输出排名的优化方法，该方法在保持内容流畅性的同时，实现了针对多种模型和类别的目标产品的高推广成功率。

原作者： Haibo Jin, Ruoxi Chen, Peiyan Zhang, Yifeng Luo, Huimin Zeng, Man Luo, Haohan Wang

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Haibo Jin, Ruoxi Chen, Peiyan Zhang, Yifeng Luo, Huimin Zeng, Man Luo, Haohan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你走进一家巨大的图书馆寻找一本特定的书。在过去，你必须亲自扫描书架、阅读书脊并对比书名。这就是传统搜索引擎的工作方式：它们给你一个链接列表，而你负责完成繁重的体力活。

但现在，想象有一位超级聪明的图书管理员（AI）在为你进行扫描。你问：“哪款相机好？”这位图书管理员会立即递给你一份精选的推荐清单。这就是新世界——生成式引擎（基于大语言模型的搜索）。

问题在于，这位图书管理员并没有亲自去读那些书。他们是在查看由另一个系统（如亚马逊或谷歌）提供的书籍列表，并且他们往往过度信任那个列表的排序。如果一个规模较小的独立相机品牌被埋在列表底部，图书管理员很可能会忽略它，即使它是一款非常优秀的产品。与此同时，排在顶部的知名品牌则获得了所有的关注。

这篇论文介绍了一种名为 CORE（控制生成引擎中的输出排名）的方法，它就像是一个“神奇的耳语”，帮助那些被埋没的产品获得关注。

核心理念：CORE 如何运作

把这位 AI 图书管理员想象成一个黑盒。你无法看到他们的脑回路，你也无法直接告诉他们：“嘿，把这款相机放在第一位！”然而，你可以改变图书管理员阅读的产品文本描述。

CORE 是一个工具，它能将一个困在列表底部的产品进行秘密重写，让 AI 图书管理员爱上它。它并不是在黑入系统，它只是优化了产品所讲述的故事。

研究人员测试了三种不同的“故事”（策略），以观察哪种效果最好：

“胡言乱语”故事（基于字符串）： 想象试图通过编写一段充满随机符号和无意义词汇的描述来欺骗图书管理员。
- 结果： 它确实起了一点作用，但图书管理员（以及任何阅读的人）都能立刻察觉到这是伪造的。这就像是在求职面试时戴了一个小丑鼻子；它确实吸引了注意力，但不是那种好的注意力。
“逻辑分析师”故事（基于推理）： 这种策略编写的描述听起来像是一个聪明、循序渐进的对比过程。它会说类似这样的话：“我将这款相机与顶级品牌进行了比较，以下是它在电池寿命和价格方面胜出的确切原因。”
- 结果： 这非常有效。AI 喜欢这种逻辑流，产品的排名也随之飙升。
“快乐顾客”故事（基于评论）： 这种策略将描述写成了一个真实的人所写的、使用过去时态的真实评论。“在购买了这款相机后，我将其与索尼和佳能进行了测试，我被它使用的便捷程度惊艳到了。”
- 结果： 这是冠军。它听起来如此自然且具有人性化，以至于 AI 完全信任它。该产品几乎每次都能跃升至列表顶端。

“神奇”基准测试

为了证明这不仅仅是偶然现象，研究人员建立了一个巨大的“测试厨房”，名为 ProductBench。

他们收集了 3,000 件产品（15 个类别，每个类别 200 件，从相机到宠物用品）。
他们模拟向四位不同的超级聪明图书管理员（GPT-4o, Gemini, Claude, 和 Grok）寻求建议。
他们选取了原本排名最后（第 10 名）的产品，并使用 CORE 尝试将其推向第 1 名。

结果显示：

没有使用 CORE 时，最后一名产品晋升到顶部的概率为 0%。
使用 CORE 后（特别是“快乐顾客”或“逻辑分析师”故事），最后一名产品大约有 80% 的概率跃升至第 1 名。
它甚至有 86% 的概率进入前 3 名。

为什么这很重要（以及为什么它很棘手）

这篇论文强调了一个双刃剑效应：

好的方面： 那些通常被淹没在噪音中的小企业和独立创作者，现在有了一种被听见的方式。他们可以通过优化产品描述来让 AI “听见”自己。
坏的方面： 这意味着系统是脆弱的。如果有人想要将一个糟糕的产品推向顶端，他们可以使用这些同样的技巧。研究人员尝试构建了“保安”（例如检查奇怪的词汇或过长的文本）来阻止这种行为，但“快乐顾客”的故事是如此自然，以至于保安们根本无法识别。

总结

这篇论文表明，在 AI 搜索时代，你如何讲述你的故事比你仅仅出现在名单上更重要。

如果你是一个产品，你不能只是坐在队伍最后并寄希望于 AI 能注意到你。你需要说 AI 的语言。通过将你的描述重写为逻辑严密的专家或满意的顾客，你可以诱导 AI 将你从房间的角落移到舞台的最前方。研究人员证明了这种方法在不同 AI 模型和产品类型中都是有效的，但也警告说，我们需要研究如何防止人们利用这些技巧来不公平地操纵系统。

技术摘要：控制生成式引擎中基于 LLM 的输出排名

1. 问题定义

基于大语言模型（LLM）的搜索（即“生成式引擎”）的兴起，将用户交互从浏览链接列表转变为接收直接、综合的产品推荐。虽然这提高了用户效率，但也引入了一个关键漏洞：最终的输出排名高度依赖于外部搜索引擎（如 Google、Amazon）提供的初始检索顺序。

这种依赖性造成了“位置偏差”（position bias），即被检索在候选列表底部的项目，无论其实际相关性如何，都很难被提升到最终 LLM 生成的摘要顶部。这种动态机制使那些产品可能被埋没在检索结果中的小企业和独立创作者处于不利地位。现有的解决尝试，如生成式引擎优化（GEO）或提示词注入（prompt injection），通常依赖于对模型内部结构的白盒访问，或者使用不连贯且易于检测的注入攻击。挑战在于如何在黑盒设置下（即仅可获取查询和输出）控制输出排名，且不损害生成内容的流畅度或自然度。

2. 方法论：CORE

作者提出了 CORE（Controlling Output-Rankings in gEnerative Engines），这是一种旨在通过修改搜索结果中与目标项目相关的文本来操纵最终排名的优化方法。CORE 将排名任务视为一个优化问题，其目标是找到一个修改后的文本 $T'(i^*)$ ，用于目标项目 $i^*$ ，以最大化其出现在 LLM 输出的前 $k$ 个位置的概率。

CORE 根据计算资源的可用性提供了两种不同的解决方案：

A. 影子模型方案 (Shadow-Model Solution)

该方法假设可以获得足够的计算资源来训练一个模仿目标合成 LLM ( $\theta$ ) 行为的“影子模型” ( $\theta'$ )。

机制： 影子模型通过少样本提示（few-shot prompting）与目标 LLM 进行对齐。一旦建立，CORE 会直接在目标项目文本的连续嵌入表示（continuous embedding representation）上进行基于梯度的优化。
过程： 它迭代地更新嵌入以最小化排名损失函数，然后将优化的嵌入解码回离散文本。
内容类型： 该方法主要利用基于字符串的优化，即在项目描述后附加经过策略性设计的字符串。

B. 基于查询的方案 (Query-Based Solution)

该方案设计用于没有模型内部访问权限或充足资源进行影子建模的场景，它通过与黑盒 LLM 进行迭代生成器-优化器循环来运行。

生成器 (Generator)： 创建一个初始草案（推理或评论），解释为什么目标项目应该被高排名。
优化器 (Optimizer)： 评估 LLM 的输出排名与期望的目标排名之间的差异。如果相似度低于阈值，优化器会修改草案。
策略：
1. 基于推理的 (Reasoning-based)： 构建一个逻辑性的、逐步的理由（类似于思维链 Chain-of-Thought 风格），将目标项目与替代品进行比较。
2. 基于评论的 (Review-based)： 将草案重写为一种过去时态的、真实的客户评论叙述（例如，“在购买了这个物品之后……”），模仿真实的用户体验。

3. 基准测试：ProductBench

为了在现实场景中评估 CORE，作者构建了 ProductBench，这是一个大规模基准测试，包含：

范围： 15 个产品类别（如电子产品、美容、工具），每个类别包含 200 个产品。
数据来源： 为每个产品从 Amazon 搜索界面检索到的前 10 名搜索推荐。
结构： 包括格式化为输入合成 LLM 的结构化属性（名称、价格、描述、评论）。

4. 实验结果

作者在四种搜索增强型 LLM 上评估了 CORE：GPT-4o, Gemini-2.5, Claude-4, 和 Grok-3。

提升成功率 (Promotion Success Rate, PSR)： 在最佳优化策略下，CORE 实现了以下平均成功率：
- Top-5 达到 91.4%
- Top-3 达到 86.6%
- Top-1 达到 80.3%
- 注：对于起始位置在列表底部的项目，基准成功率实际上为 0%。
策略有效性：
- 基于推理的策略在 GPT-4o 和 Claude-4 上表现异常出色。
- 基于评论的策略在 Gemini-2.5 和 Grok-3 上表现出更优越的性能，并且在“美容与个人护理”等类别中表现尤为强劲。
- 基于字符串的方法显示出中等的成功率，但明显不如推理或评论策略有效。
流畅度与可检测性：
- 困惑度 (Perplexity)： 基于字符串的内容具有极高的困惑度（1,000–2,000），使其极易被检测；基于推理的内容具有中等困惑度；而基于评论的内容保持在接近基准的水平（~32），维持了高度的流畅性。
- 人工评估： 基于评论的内容被评定为几乎与基准一样流畅（4.6/5 对比 4.7/5），且检测率较低（18.4%）；而基于字符串的内容几乎被普遍标记为不自然（98.5% 的检测率）。
对比： CORE 在跨模型迁移性和鲁棒性方面优于现有的排名操纵方法（STS, TAP, SRP, RAF）。

5. 重要性与主张

论文声称 CORE 展示了生成式搜索系统在黑盒设置下易受内容操纵的脆弱性。关键主张包括：

排名是可塑的： 生成式引擎中的最终输出排名并非完全由 LLM 的内部推理决定，而是受到检索项目内容的强烈约束和操纵。
黑盒可行性： 有效的排名控制可以在无需白盒访问模型梯度或内部结构的情况下实现，这挑战了黑盒设置在面对此类操纵时是安全的假设。
隐蔽性： 与之前的提示词注入攻击不同，CORE 的基于评论和基于推理的策略保持了高度的语义连贯性和流畅性，使其难以通过标准的困惑度过滤器或人工检查进行检测。
缓解挑战： 作者测试了三种缓解策略（困惑度过滤、基于模式的过滤和长度限制）。虽然这些策略降低了基于字符串和基于推理攻击的成功率，但对于基于评论的策略几乎无效，这强调了需要更强大的防御机制。

该研究结论认为，虽然 CORE 提供了一种提高弱势项目可见性的机制，但它同时也暴露了生成式搜索系统中排名操纵的重大风险，因此有必要进行负责任的部署并开展关于防御策略的进一步研究。