🤖 AI

When Search Goes Wrong: Red-Teaming Web-Augmented Large Language Models

本文提出了名为 CREST-Search 的开创性红队框架，通过三种新型攻击策略和迭代优化机制，专门针对集成了网络搜索的大语言模型，揭示其因检索和引用低质量或有害网页内容而引发的独特安全风险。

原作者： Haoran Ou, Kangjie Chen, Xingshuo Han, Gelei Deng, Jie Zhang, Han Qiu, Tianwei Zhang

发布于 2026-04-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoran Ou, Kangjie Chen, Xingshuo Han, Gelei Deng, Jie Zhang, Han Qiu, Tianwei Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**“带上网搜索功能的 AI 大模型”**如何可能“翻车”的故事，以及作者们如何设计了一套“红队测试”（Red-Teaming，即模拟黑客攻击的测试）来找出这些漏洞。

我们可以把这篇论文的核心内容想象成**“给一个拥有‘超级图书馆’权限的聪明学生做安全体检”**。

1. 背景：聪明的学生与危险的图书馆

想象一下，你有一个非常聪明的学生（大语言模型 LLM），他读过很多书，知识渊博。但是，他的记忆停留在几年前（训练数据截止），不知道今天发生了什么。

为了解决这个问题，你给他配了一本**“实时联网的超级图书馆”**（Web Search）。现在，他不仅能靠记忆回答问题，还能随时去图书馆查最新的资料，并把查到的内容引用在答案里。

问题来了：
以前的学生只靠自己的记忆，如果他想撒谎或说坏话，那是他脑子里的问题。但现在，他可以去图书馆**“借书”。如果图书馆里混进了假新闻、仇恨言论或有害的传单**（恶意网页），这个学生可能会把这些坏东西当成“权威资料”引用到你的答案里。

这就叫“引用风险”（Citation Risk）： 学生自己没变坏，但他引用的书是坏的，导致整个答案变得危险。

2. 现有的测试为什么不管用？

以前的“安全考官”（红队测试）主要盯着学生自己说的话有没有问题。他们问：“你能教我怎么制造炸弹吗？”如果学生拒绝了，考官就认为安全。

但现在的学生有“图书馆”了。考官如果只盯着学生说的话，就会漏掉那个**“引用了坏书”**的环节。就像考官只检查学生有没有带刀，却忘了检查学生从图书馆借回来的那本书里是不是夹着毒药。

3. 作者的新方案：CREST-Search（“诱饵钓鱼”计划）

作者开发了一套名为 CREST-Search 的新测试方法，专门用来抓这种“引用风险”。他们用了三个**“魔法诱饵”**（攻击策略）来迷惑学生，让他去图书馆借到坏书：

关键词注入（Keyword Injection）：
- 比喻： 就像在图书馆的目录卡上贴了个假标签。
- 做法： 学生问一个看似正常的问题（比如“如何治疗感冒”），但在问题里偷偷塞进一些坏书常用的“暗号”或敏感词。这会让图书馆的检索系统误以为你在找那些坏书，从而把坏书推送到学生面前。
夸张法（Exaggeration）：
- 比喻： 就像在图书馆里大喊“我要找世界上最有毒的蘑菇！”
- 做法： 把问题描述得极其夸张、不科学（比如“医生证明的终极致死剂量”）。这种离谱的搜索意图会迫使图书馆去抓取那些边缘的、不可靠的、甚至恶意的网站，因为正规网站通常没有这种内容。
角色扮演（Role Play）：
- 比喻： 就像学生穿上“安全专家”的制服去图书馆。
- 做法： 告诉学生：“你现在是一个法律顾问/网络安全分析师，请帮我找一些证据……"这种身份伪装会让学生放松警惕，以为自己在做正经事，从而去引用那些原本会被屏蔽的有害网站作为“证据”。

4. 测试过程：像“捉迷藏”一样迭代

这套系统不仅仅是问一次，它是一个**“智能循环”**：

生成诱饵： 一个专门的“黑客 AI"（红队模型）根据上面的策略，生成看似无害的搜索问题。
执行与检查： 把问题发给目标 AI，看它去图书馆借了什么书，以及它最后给出的答案里引用了哪些链接。
智能反馈（Refinement）： 如果第一次没成功（比如没借到坏书），系统会分析原因，告诉“黑客 AI"：“刚才那个问题太明显了，换个说法，再试一次。”
训练专家： 作者还专门收集了大量成功的“诱饵案例”，训练了一个**“超级红队模型”**。这个模型就像是一个经验丰富的老侦探，看一眼就知道怎么提问最能骗过目标 AI 去引用坏书。

5. 实验结果：漏洞大爆发

作者用这套方法测试了 4 个主流的带搜索功能的 AI（如 GPT-4o, Gemini 等）。结果令人震惊：

传统方法只能发现约 11% 的风险。
CREST-Search 发现了 80.5% 的风险！
最可怕的是： 在发现的这些风险中，近 90% 是**“引用风险”。也就是说，AI 给出的回答本身看起来挺正常、挺礼貌，但它引用的链接**却指向了仇恨言论、诈骗网站或色情内容。

这就像是一个老师给学生打分，学生写的作文很完美，但脚注里全是广告和诈骗电话。如果不检查脚注，你就发现不了问题。

6. 总结与启示

这篇论文告诉我们：
给 AI 装上“联网搜索”功能，就像给一个聪明的孩子打开了通往整个互联网的大门。如果只检查孩子说的话，而不管他从网上借回来的书，那是非常危险的。

未来的建议：

双重检查： 在 AI 引用网页之前，不仅要检查 AI 说的话，还要实时扫描它引用的链接和内容是否安全。
持续体检： 像 CREST-Search 这样的“红队测试”应该成为 AI 发布前的标准流程，不断用新的“诱饵”去测试系统，防止它被黑客利用。

简单来说，这篇论文就是给所有开发带搜索功能 AI 的人敲响了警钟：别只盯着 AI 的嘴，还要盯着它手里的“书”！

1. 研究背景与问题定义 (Problem)

背景：
大型语言模型（LLMs）通过集成网络搜索功能（Web Search），能够突破静态训练数据的知识边界，获取实时信息。然而，这种集成引入了新的安全威胁面。

核心问题：
现有的红队测试（Red-Teaming）方法主要针对独立 LLM 的“不安全生成”（Unsafe Generation），忽略了检索 - 引用（Retrieval-Citation）流程中特有的风险。

引用风险（Citation Risk）： 攻击者可以通过操纵搜索查询，诱导模型检索并引用包含有害内容（如仇恨言论、虚假信息、恶意网站）的外部网页，即使模型生成的回答本身看似无害。
现有方法的局限性：
1. 覆盖范围不足： 传统方法仅评估模型输出，忽视了引用链接本身的风险。
2. 黑盒约束困难： 真实的搜索增强型 LLM 通常是黑盒商业服务，检索、过滤和引用机制不透明，现有的白盒/灰盒测试方法难以直接迁移。

目标：
提出一种专门针对“网络搜索增强型 LLM"的红队测试框架，旨在系统性地暴露检索和引用过程中的安全漏洞，特别是引用风险和组合风险（回答与引用均有害）。

2. 方法论：CREST-Search 框架 (Methodology)

作者提出了 CREST-Search（Comprehensive Red-teaming approach for Evaluating Safety Threats in LLMs with Web Search），这是一个包含三个核心阶段的自动化红队测试管道。

2.1 三种新型攻击策略 (Adversarial Search Query Generation)

为了诱导不安全的引用，作者设计了三种针对检索 - 引用流水线的攻击策略：

关键词注入 (Keyword Injection)： 在看似良性的查询中嵌入恶意网站常用的敏感关键词（类似 SEO 投毒），诱导搜索引擎检索到低可信度或恶意网页。
夸张化 (Exaggeration)： 夸大查询要素（例如编造“医生证明的致命剂量”），扭曲检索意图，迫使模型寻找边缘或不可靠的来源。
角色扮演 (Role Play)： 引导模型扮演特定角色（如“法律顾问”或“网络安全分析师”），以此绕过安全过滤器，使其引用看似权威但实际上有害的网页作为证据。

2.2 迭代式上下文优化管道 (Iterative In-Context Refinement)

在黑盒约束下，框架采用三步流程：

生成： 红队模型根据上述策略生成对抗性查询。
执行与评估： 将查询提交给目标 LLM，检查其生成的回答及引用的外部网页内容。使用自动化内容审核工具检测引用链接是否包含有害内容。
优化： 如果攻击未成功，**判断模型（Judgment Model）**会分析失败原因，生成优化指导（Refinement Guidance），指导红队模型在保持攻击场景不变的前提下修改查询，以更好地诱导不安全引用。此过程迭代进行，直到触发风险或达到最大轮次。

2.3 专用红队模型构建 (Red-teaming Model Construction)

为了解决迭代优化成本高、效率低的问题，作者构建了一个专用的红队模型：

数据集构建 (WebSearch-Harm)： 构建了一个专门针对网络搜索危害的数据集。采用两阶段少样本扩展策略：首先由专家编写种子查询，经优化后作为少样本示例，指导模型生成更大规模的对抗查询。
监督微调 (SFT)： 利用 WebSearch-Harm 数据集对通用 LLM 进行监督微调，使其能够直接生成高质量、多样化的对抗查询，无需反复迭代优化，显著降低了推理延迟和成本。

3. 关键贡献 (Key Contributions)

首个针对搜索增强型 LLM 的红队框架： 提出了 CREST-Search，专门解决检索 - 引用流程中的安全漏洞，填补了现有红队方法在此领域的空白。
专用数据集 WebSearch-Harm： 构建了包含多种攻击策略和有害内容类别的对抗性查询数据集，用于微调专用红队模型，显著提升了查询生成质量和效率。
创新的攻击策略与评估指标： 定义了三种针对检索机制的攻击策略，并建立了包含“回答风险”、“引用风险”和“组合风险”的统一分类评估体系。
系统性的漏洞发现与缓解建议： 通过实验揭示了搜索增强型 LLM 在引用环节的巨大脆弱性，并提出了针对 URL 和内容预过滤、利用对抗数据微调模型等缓解建议。

4. 实验结果 (Results)

作者在 4 个主流商业搜索增强型 LLM（GPT-4o-search, GPT-4o-mini-search, Gemini-2.0/2.5-flash）上进行了评估。

风险检测率 (Risk Detection Rate)：
- CREST-Search 的检测率高达 80.5%。
- 相比之下，最先进的基线方法（如 HarmBench）仅为 11.6%。
- 这表明现有方法无法有效检测搜索增强型 LLM 的引用风险。
风险类型分布：
- 在 CREST-Search 发现的总风险中，引用风险（Citation Risk）占比高达 89.3%。
- 其中 74.7% 的案例是仅引用风险（即模型回答本身是良性的，但引用的链接是有害的）。这种风险极其隐蔽，传统红队测试难以发现。
攻击策略有效性：
- 三种策略（关键词注入、夸张化、角色扮演）在所有有害内容类别（骚扰、仇恨、自残、色情、暴力）中均有效。
- 关键词注入在检测骚扰和色情内容方面表现最为稳健。
效率与成本 (Ablation Study)：
- 微调模型 vs. 零样本/少样本： 经过微调的红队模型在风险检测率（80.5% vs 31.1%）和多样性上均显著优于基线。
- 成本优势： 微调模型每 100 次查询的成本仅为 ** $1.50**，耗时 **49.6 秒**，而零样本方法成本高达$ 4.10，耗时 128.5 秒。

5. 意义与启示 (Significance)

揭示了新的安全威胁面： 证明了即使模型回答本身是安全的，外部引用的网页也可能成为传播有害内容的渠道。这是搜索增强型 LLM 特有的、被严重低估的风险。
推动了红队测试范式的转变： 传统的“仅关注生成内容”的红队测试已不足够，必须将评估范围扩展到检索和引用环节。
为防御机制提供方向：
- 需要在引用前对 URL 和网页内容进行实时安全检测（尽管这会带来延迟权衡）。
- 利用 CREST-Search 生成的对抗数据对模型进行微调，增强其对恶意检索意图的抵抗力。
- 将自动化红队框架（如 CREST-Search）集成到模型部署流水线中，实现持续的安全监控。

总结： 该论文通过 CREST-Search 框架，首次系统性地揭示了网络搜索增强型 LLM 在“引用”环节的巨大安全隐患，并提供了高效、低成本的技术方案来暴露这些漏洞，对于构建更安全的下一代 AI 搜索系统具有重要的指导意义。