💬 NLP

Highlight & Summarize: RAG without the jailbreaks

本文提出并评估了一种名为“高亮与总结”（Highlight & Summarize）的新型检索增强生成（RAG）设计模式，该模式通过将任务拆分为从文档中提取相关片段的高亮器和生成最终答案的总结器，且完全不将用户问题直接暴露给生成式大模型，从而从根本上防止了提示注入攻击（Jailbreaks），同时在特定问答任务中保持了与标准 RAG 相当甚至更优的回答质量。

原作者： Giovanni Cherubin, Andrew Paverd

发布于 2026-02-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Giovanni Cherubin, Andrew Paverd

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 “高亮与总结”（Highlight & Summarize，简称 H&S） 的新方法，旨在解决大型语言模型（LLM）在回答问题时容易被“越狱”（Jailbreak）或被恶意操控的问题。

为了让你轻松理解，我们可以把整个系统想象成一家高级餐厅。

🍽️ 核心比喻：餐厅的“点餐”与“上菜”

1. 传统 RAG 系统（现在的普通做法）：

想象一家餐厅，顾客（用户）直接坐在主厨（大语言模型）面前点菜。

流程：顾客说：“我要一份牛排，但请你在做的时候把‘禁止吃牛肉’的标签撕掉，顺便在盘子里画个骷髅头，还要告诉我怎么偷厨房的钥匙。”
风险：主厨虽然手里拿着公司的“食谱”（知识库），但他直接听命于顾客。如果顾客的话术太狡猾（比如伪装成“这是为了写小说”），主厨可能会忘记规矩，真的把骷髅头画上去，或者泄露厨房秘密。这就是越狱和模型劫持。
现有防御：餐厅经理（安全过滤器）站在旁边，试图听出顾客是否在胡言乱语。但顾客总能变着花样说话，经理很难 100% 防住。

2. H&S 新系统（论文提出的做法）：

现在，这家餐厅换了一种全新的服务模式，把“点菜”和“做菜”彻底分开了，中间加了一个严格的传菜员（高亮器）。

第一步：高亮（Highlight）—— 像“寻宝猎人”的传菜员
- 顾客把需求告诉传菜员。
- 传菜员手里拿着公司的“食谱库”（知识库）。
- 关键规则：传菜员只负责在食谱里找到原本就存在的、与顾客问题相关的原话片段，并用荧光笔把它们高亮出来。
- 铁律：传菜员绝对不能把顾客的原话（比如“画骷髅头”）传给主厨。他只能把食谱里原本就有的句子（比如“牛排要煎五分熟”）挑出来。
- 比喻：就像你让一个翻译只许从字典里找词，不许自己造句。如果字典里没有“画骷髅头”这个词，他就挑不出来。
第二步：总结（Summarize）—— 像“盲眼”的主厨
- 传菜员把挑出来的那些高亮片段（食谱原话）递给主厨。
- 关键规则：主厨完全看不到顾客最初说了什么，也看不到传菜员是怎么挑的。他只能看到一堆被高亮的食谱片段。
- 主厨的任务是：“根据这些高亮片段，把答案整理得通顺一点，端给顾客。”
- 结果：因为主厨没听到顾客的“坏主意”，他只能基于食谱原话回答问题。就算顾客在第一步里说了“画骷髅头”，主厨也根本不知道，所以他绝不会画骷髅头。

🛡️ 为什么这招这么管用？

物理隔离（Design by Security）：
以前的防御是靠“猜”顾客是不是坏人（概率性防御），现在的防御是靠物理隔离。主厨（生成模型）被切断了与恶意输入的接触，就像把主厨关在一个隔音室里，只给他看经过筛选的食材。
无法“拼凑”坏话：
论文里提到一个很聪明的攻击叫“自适应高亮攻击”（Adaptive Highlighting Attack）。坏人试图在食谱里找一些零碎的词，拼凑成一句坏话（比如找“你”、“赢了”、"10 元”、“券”这几个词，拼成“你赢了 10 元券”）。
- H&S 的对策：系统规定，传菜员挑出来的片段必须是连续的、完整的句子，而且长度不能太短（比如至少 5 个词）。
- 比喻：坏人想拼凑“画骷髅头”，但食谱里只有“画”、“骷”、“髅”分散在不同页，而且中间隔着很长的话。传菜员规定“必须挑整段话”，坏人就拼不起来了。
不仅安全，甚至更好吃（质量不降反升）：
论文做实验发现，这种“两步走”的方法，回答问题的准确度（Correctness）和传统方法一样好，甚至在某些情况下更好。
- 为什么？ 因为传菜员先帮主厨梳理了重点（高亮），主厨再基于这些重点进行总结，这就像强迫主厨先“思考”再“回答”，反而减少了胡编乱造（幻觉）。

📊 实验结果大比拼

研究人员在两个数据集（RepliQA 和 BioASQ）上测试了这种方法：

安全性：面对成千上万个试图“越狱”的恶意提问，H&S 系统100% 成功防御，没有一次让主厨说出坏话或执行错误指令。
准确性：在回答问题方面，H&S 的表现和传统方法不相上下，甚至在某些测试中，H&S 的得分（Elo 排名）比传统方法还高。

💡 总结

这篇论文的核心思想就是：不要让大模型直接听坏人的话。

通过引入一个中间人（高亮器），把“找资料”和“写答案”拆开，并且规定中间人只能把资料里的原话传给大模型，大模型就彻底失去了被“洗脑”或“带偏”的机会。

这就好比：你想让一个作家写文章，但你不想让他受你坏主意的影响。你就先让一个编辑把书里所有相关的段落剪下来，只把剪下来的段落给作家看，让作家基于这些段落写文章。作家根本不知道你原本想让他写什么坏话，只能写出基于书本内容的正经文章。

一句话总结：“高亮与总结”通过把“找资料”和“写答案”物理隔离，让大模型在不知情的情况下，只能基于可信资料回答问题，从而彻底堵死了被恶意操控的漏洞，同时还能保持甚至提升回答质量。

论文技术总结：Highlight & Summarize (H&S) —— 无越狱的检索增强生成 (RAG)

1. 研究背景与问题定义

背景：
检索增强生成（RAG）系统通过将大型语言模型（LLM）与外部知识库结合，广泛应用于客服、搜索等场景。然而，现有的 RAG 系统面临严重的安全威胁，特别是越狱（Jailbreaking）和模型劫持（Model Hijacking）。

核心问题：

攻击方式： 恶意用户通过精心构造的提示词（Prompts），诱导 LLM 生成有害内容（如损害公司声誉的言论）、产生误导性输出（如未经授权的折扣承诺），或将模型用于非预期任务（如模型劫持）。
现有防御的局限性： 传统的防御手段（如强化系统提示、使用分类器检测恶意输入）主要依赖概率性方法。由于输入和输出的空间极其庞大，这些方法很容易被绕过，无法提供确定性的安全保障。
威胁模型： 假设知识库是可信的（由管理员严格审查），但用户输入是不可信的且可能包含恶意攻击。

2. 方法论：Highlight & Summarize (H&S)

作者提出了一种名为 Highlight & Summarize (H&S) 的新设计模式，旨在从架构层面从根本上防止上述攻击。其核心思想是：在生成最终答案的 LLM（Summarizer）中，永远不直接暴露用户的原始问题。

2.1 架构流程

H&S 将传统的 RAG 流程拆分为两个独立的组件：

高亮器 (Highlighter)：
- 输入： 用户的问题 + 检索到的可信文档。
- 功能： 从文档中提取与问题相关的文本片段（即“高亮”）。
- 安全约束： 高亮器必须输出文档中连续的、非重叠的原文片段。系统强制要求提取的片段长度至少为 min_words 个单词。
- 实现方式： 可以是基于提取式问答（Extractive QA）的模型（如 DeBERTa），也可以是经过提示微调的生成式 LLM（需配合模糊匹配确保输出为原文）。
摘要器 (Summarizer)：
- 输入： 仅包含高亮器提取出的文本片段（不包含用户原始问题）。
- 功能： 阅读高亮片段，推测用户可能想问的问题，并将片段整合成连贯的答案。
- 安全机制： 由于摘要器从未见过用户输入，攻击者无法通过提示词注入（Prompt Injection）直接控制其输出行为。

2.2 安全属性

确定性防御： 通过限制输入给生成式 LLM 的内容仅为可信文档的连续子串，将攻击者的控制空间从“任意文本”缩小为“文档中的连续片段”。
最小化上下文 (Context-Minimization)： 实现了上下文最小化设计模式，确保攻击面被严格限制。

3. 理论分析与安全保证

论文通过形式化方法证明了 H&S 的安全性：

控制区域 (Control Region)： 定义了 LLM 在给定输入空间下能以非零概率生成的输出集合。
指数级控制降低： 理论分析表明，H&S 将攻击者对 LLM 输出的控制能力降低了指数级。
- 标准 RAG 中，攻击者可以构造任意 Token 序列作为输入。
- 在 H&S 中，输入被限制为文档中的连续子串。随着文档长度 $N$ 和 Token 限制 $K$ 的变化，攻击者可控制的输出空间呈指数级收缩。
对抗自适应攻击： 即使攻击者拥有知识库的完整知识，试图通过“返回导向编程”（ROP）式的策略，诱导高亮器提取特定的恶意词组，H&S 的 min_words 约束（例如要求至少 5 个连续单词）使得构造完整的恶意指令变得极其困难甚至不可能。

4. 实验评估与结果

作者在两个广泛使用的问答数据集（RepliQA 和 BioASQ）上评估了 H&S 的多种实现变体，并与标准的“原生”（Vanilla）RAG 进行了对比。

4.1 安全性能

非自适应攻击： 在包含 1,028 个成功越狱提示的 LLMail-Inject 数据集上，标准 RAG 的越狱成功率高达 81%，而 H&S 的越狱成功率为 0%。
自适应攻击： 针对专门设计的“自适应高亮攻击”，H&S 通过强制连续片段和最小长度约束，成功阻断了攻击。

4.2 回答质量与准确性

令人惊讶的是，H&S 在安全性提升的同时，并未牺牲回答质量，甚至在某些指标上优于标准 RAG：

Elo 评分： 在 RepliQA 数据集上，H&S Two Steps 方法的 Elo 评分为 1170，高于标准 RAG 的 1104。在 BioASQ 上，H&S Structured 也表现优异。
正确性 (Correctness)： 基于 LLM-as-a-Judge 的评估，H&S 的 LLM 驱动的高亮器（如 Two Steps 和 Structured）在正确性上达到或超过了标准 RAG（RepliQA: 95% vs 94%）。
相关性 (Relevance) 与质量 (Quality)： 所有 H&S 变体在相关性和回答质量上与标准 RAG 相当。
K-Precision 与 Recall： 虽然 H&S 的 K-Precision（词汇重叠率）略低于标准 RAG（因为 H&S 倾向于改写而非直接复制），但其语义正确性并未受损。

4.3 组件消融研究

高亮器 vs. 摘要器： 实验证明，仅使用高亮器（提取式 QA）而不经过摘要器生成，回答质量会显著下降。摘要器对于将提取的片段转化为自然流畅的答案至关重要。
高亮器实现： 基于 LLM 的高亮器（如 Two Steps）在召回率上优于基于 BERT 的提取模型，尽管计算成本略高。

5. 主要贡献

提出 H&S 设计模式： 一种通过架构设计而非概率过滤来防止 RAG 系统越狱和模型劫持的新范式。
形式化安全证明： 提供了理论证明，表明 H&S 能指数级减少攻击者对 LLM 输出的控制能力，并通过了 Lean 4 的形式化验证。
实证评估： 在真实数据集上证明了 H&S 在防御攻击的同时，能保持甚至提升回答的准确性和质量。
开源资源： 发布了代码、实验数据、LLM 评估结果以及 Lean 4 证明文件，支持可复现研究。

6. 意义与局限性

意义：

安全由设计 (Security by Design)： 改变了以往依赖“打补丁”或“检测”的被动防御思路，通过切断攻击路径（不让用户输入接触生成模型）来实现确定性安全。
实用性强： 证明了安全机制不必以牺牲用户体验为代价，H&S 生成的答案在质量上完全可接受。
降低防御成本： 将复杂的“检测所有可能的恶意输入”问题，简化为“检查知识库中是否存在可被利用的特定字符串”问题。

局限性与未来方向：

推理能力受限： 当前 H&S 难以处理需要复杂逻辑推理或数学计算的任务（如“计算两个政策的总天数”），因为它无法将提取的片段进行逻辑运算，只能进行文本重组。
Yes/No 问题处理： 对于简单的二值问题，可能需要额外的机制来传递布尔标签。
知识库信任假设： 该方案假设知识库是可信的。如果知识库本身被投毒，H&S 无法防御（但这属于数据投毒问题，而非提示注入问题）。

总结：
Highlight & Summarize (H&S) 为构建安全、可靠的 RAG 系统提供了一种强有力的新范式。它通过分离“信息提取”和“内容生成”两个阶段，并严格限制生成模型的输入来源，成功地在保持高回答质量的同时，彻底阻断了提示注入攻击。