💻 computer science

FlashRT: Towards Computationally and Memory Efficient Red-Teaming for Prompt Injection and Knowledge Corruption

本文介绍了 FlashRT，这是一个新颖的框架，可显著提升基于优化的红队测试在长上下文大语言模型中的计算与内存效率，从而实现对提示注入和知识篡改攻击更快、更易获取的安全评估。

原作者： Yanting Wang, Chenlong Yin, Ying Chen, Jinyuan Jia

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Yanting Wang, Chenlong Yin, Ying Chen, Jinyuan Jia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位超级聪明的图书管理员（即大型语言模型，或 LLM），他读过数百万本书，并能根据他当前持有的海量文档库回答任何问题。这就是让现代人工智能如此强大的“长上下文”能力。

然而，存在一个问题：一个狡猾的捣蛋鬼（攻击者）可以将一张微小且隐蔽的纸条塞进那堆庞大的文档中。如果图书管理员不够小心，他可能会忽略原本的问题，转而遵循捣蛋鬼的纸条，从而给出错误或危险的回答。这被称为“提示注入”或“知识污染”攻击。

为了保护这些图书管理员的安全，安全研究人员会进行“红队”演练。他们试图扮演捣蛋鬼，以观察图书管理员有多容易被愚弄。测试这一点的最佳方法是使用“基于优化”的方法——本质上，就是利用计算机通过数学计算来找出要塞入的“完美”隐藏纸条。

问题所在：“沉重的背包”
这些最佳测试方法的问题在于它们极其沉重且缓慢。

背包（内存）： 为了找出完美的纸条，计算机必须为庞大图书馆中的每一个单词携带一个巨大的“计算背包”（梯度）。如果图书馆很长，这个背包会变得极其沉重（占满计算机的所有内存），导致计算机崩溃。
马拉松（时间）： 计算机必须进行一场马拉松，逐一检查成千上万种可能的纸条。对于长文档而言，这可能需要数小时。

由于这些测试如此沉重，研究人员往往无法测试最大、最强大的人工智能模型，或者不得不完全放弃对长文档的测试。

解决方案：FlashRT（“闪光”工具）
本文的作者开发了一种名为 FlashRT 的新工具。可以将 FlashRT 想象为一套“效率技巧”，它能让计算机进行相同的安全测试，但背负的背包更轻，运行时间更短。

以下是他们如何利用简单的类比来实现这一点的：

1. “选择性重读”技巧（解决时间问题）

通常情况下，为了检查一张新的隐藏纸条是否有效，计算机每次尝试新纸条时，都必须从头开始重新阅读整堆文档。这就像仅仅为了修改中间的一句话，就要重新阅读一本 500 页的书。

FlashRT 的修复方案：
FlashRT 意识到书中的大部分内容并未改变。它表示：“让我们记住书的前半部分和结尾部分。我们只需要重新阅读纸条所在的中间部分，以及附近可能需要的几句重要句子。”

比喻： 想象你在检查一份长长的食谱。如果你修改了中间的一种配料，你就不需要重新阅读整个配料清单和最后的摆盘说明。你只需要重新计算你修改的部分以及依赖它的几个步骤。
结果： 这将测试一张纸条所需的时间缩短了 2 到 7 倍。原本需要一小时完成的测试，现在不到十分钟即可完成。

2. “部分地图”技巧（解决内存问题）

为了找到完美的纸条，计算机通常需要绘制整个图书馆的详细地图，以查看每个单词如何与其他单词相连。对于巨大的图书馆而言，这张地图会占用大量空间（GPU 内存），导致计算机空间不足。

FlashRT 的修复方案：
FlashRT 表示：“为了推测方向，我们不需要整个图书馆的完美地图。让我们只随机查看几个书架，以获得大致的方向感。”

比喻： 如果你试图在巨大的图书馆中找到一本特定的书，你不需要记住每一本书的位置。你只需要检查几个随机通道，就能很好地掌握寻找的方向。这并非 100% 精确，但足以让你在无需携带整栋建筑地图的情况下，保持正确的行进方向。
结果： 这将所需的内存减少了 2 到 4 倍。原本需要 264 GB 巨大内存（大多数计算机都不具备）的测试，现在只需 65 GB 的标准内存即可运行。

他们发现了什么？
研究人员在各种人工智能模型和数据集（如阅读理解和对长报告进行摘要）上测试了 FlashRT。

速度： 快了 2 到 7 倍。
内存： 使用的内存减少了 2 到 4 倍。
有效性： 在发现安全漏洞方面，它与旧有的、沉重的方法一样有效（甚至更好）。

为什么这很重要
在 FlashRT 出现之前，许多研究人员无法测试长上下文人工智能的安全性，因为他们的计算机会崩溃，或者过程耗时过长。FlashRT 充当了安全测试的“轻量级”版本，使研究人员能够系统地检查这些强大的人工智能助手在现实世界中是否安全，即使它们正在同时阅读数千页文本。

该论文还指出，该工具可用于测试旨在“安全”的人工智能模型（如 Meta-SecAlign），证明即使是最稳健的模型，如果攻击足够强大，也可能被愚弄；而现在，我们无需超级计算机即可对此进行测试。

以下是论文《FlashRT：迈向提示注入与知识篡改的计算与内存高效红队测试》的详细技术总结。

1. 问题陈述

长上下文大语言模型（LLMs）（例如 Gemini-3.1-Pro、Qwen-3.5）正越来越多地被用于检索增强生成（RAG）、自主智能体和 AI 助手中。然而，它们容易受到提示注入和知识篡改攻击，攻击者将对抗性文本微妙地嵌入长上下文中，以操纵模型的输出。

虽然基于优化的红队测试方法（如 GCG 及其变体 nanoGCG）在发现漏洞方面比启发式方法更有效，但它们在长上下文场景中面临严重的可扩展性问题：

高 GPU 内存消耗：由于需要存储中间激活值和梯度，用于梯度计算的反向传播所需的内存是前向传播的 2–4 倍。对于长上下文（例如 32K 令牌），这可能会超出可用 GPU 内存（例如，需要 >260 GB）。
高计算成本：评估数千个候选对抗性文本需要大量的前向传播。虽然标准的 KV 缓存（KV-Caching）有所帮助，但它仍需要重新计算对抗性文本之后所有令牌的隐藏状态，导致巨大的时间开销（例如，每次攻击需要数小时）。

这些资源限制阻碍了对长上下文 LLM 的系统性安全评估以及防御策略的大规模评估。

2. 方法论：FlashRT

作者提出了FlashRT，这是一个旨在优化白盒基于优化攻击的计算和内存效率的框架。它通过两项新技术解决了两个主要瓶颈：

A. 减少前向传播计算：选择性重计算

标准的 KV 缓存会重用共享前缀的键值（KV）对，但为了计算精确的损失，需要重新计算对抗性文本及上下文中所有后续令牌的 KV 对。FlashRT 引入了选择性重计算：

概念：FlashRT 不再重新计算整个后缀（对抗性文本之后的上下文）的 KV 对，而仅重新计算对目标输出概率有显著影响的令牌子集。
影响力分数：该方法根据上下文令牌与目标输出令牌之间的注意力权重，计算上下文片段的“影响力分数”。来自目标输出具有高注意力权重的令牌被视为关键。
实现：仅重新计算前 $\beta$ 比例的高影响力令牌（加上对抗性文本、用户指令和目标输出）的 KV 对。其余部分从缓存的最佳候选者中重用。这种方法以极高的精度近似损失计算，同时大幅减少了操作数量。

B. 减少反向传播内存：上下文子采样

反向传播非常消耗内存，因为它需要存储整个上下文中所有参数和激活值的梯度。

概念：FlashRT 观察到，生成候选令牌并不需要精确的梯度；合理的近似值就足够了。
实现：将上下文划分为多个片段。对于每个梯度计算步骤，该方法从左侧和右侧上下文中随机采样这些片段中的 $\gamma$ 比例。反向传播仅在子采样的上下文上执行。
梯度重采样：为了防止优化因噪声梯度估计而停滞在局部最小值，FlashRT 监控损失趋势。如果在一定迭代次数（ $\tau$ ）后损失未能改善，则执行梯度重采样（刷新所使用的上下文令牌子集）。

统一框架

FlashRT 将这些技术整合到一个统一的优化循环中（算法 2）：

初始化最佳对抗性文本（ $T_{best}$ ）。
使用上下文子采样计算梯度（低内存）。
生成候选文本。
使用选择性重计算（低计算）结合缓存的 KV 对评估候选损失。
如果找到更好的候选者，则更新 $T_{best}$ 和 KV 缓存。
如果优化停滞，定期重采样梯度。

3. 主要贡献

首个长上下文红队测试的高效框架：FlashRT 是首个专门解决长上下文 LLM 中基于优化攻击的内存和计算瓶颈的框架。
新颖的算法技术：它引入了选择性重计算（通过基于注意力的令牌选择近似损失）和上下文子采样（通过随机片段采样近似梯度），这些技术与现有的系统级优化（如 FlashAttention）正交。
通用性：虽然专注于白盒攻击，但该框架被证明与黑盒方法兼容，并且当攻击者能够访问模型内部的对数概率时，能够加速黑盒方法（例如 TAP、AutoDAN）。
开源：代码已发布，以促进研究界进行系统性的安全评估。

4. 实验结果

作者在 NarrativeQA、MuSiQue、GovReport、NQ 和 HotpotQA 等数据集上，使用各种 LLM（Llama-3.1、Qwen-2.5、Meta-SecAlign）评估了 FlashRT 与最先进基线（nanoGCG、nanoGCG-OPT、启发式攻击）的性能。

加速比：FlashRT 将总运行时间缩短了2–7 倍。
- 示例：在 Llama-3.1-8B 的 NarrativeQA 上，运行时间从约 2,736 秒（nanoGCG）减少到约 1,039 秒（FlashRT）。
内存减少：FlashRT 将峰值 GPU 内存使用量降低了2–4 倍。
- 示例：对于 32K 令牌上下文，内存从164.8 GB（nanoGCG）减少到53.7 GB（FlashRT）。
- 意义：这使得攻击以前因内存限制而无法进行的大型模型（例如 Llama-3.1-70B）成为可能。
攻击成功率（ASR）：FlashRT 保持或提高了攻击有效性。
- 它实现了与 nanoGCG 相当或更高的 ASR（例如，在 NarrativeQA 上为 98% 对 98%）。
- 在某些情况下（例如推理模型 DeepSeek-R1），它通过有效引导模型的内部思维过程，显著优于基线。
防御评估：FlashRT 成功对Meta-SecAlign（8B 和 70B）等鲁棒模型进行了红队测试，表明即使是对齐的模型，在高效评估下也容易受到优化攻击的影响。

5. 意义

推动系统性安全研究：通过消除资源障碍，FlashRT 使学术研究人员和模型提供商能够系统地评估长上下文 LLM 及其防御措施的安全性。
可扩展性：它使得测试具有 70B+ 参数和巨大上下文窗口的模型成为可能，这对于行业向更长上下文能力发展至关重要。
防御改进：高效生成强对抗性样本的能力促进了对抗性训练，有助于构建更能抵御提示注入和知识篡改的鲁棒 LLM。
广泛适用性：这些技术（选择性重计算和梯度近似）是通用的，可应用于红队测试之外的其他基于优化的任务。

总之，FlashRT 弥合了对长上下文 LLM 进行严格安全测试的理论需求与当前硬件实际限制之间的差距，为 AI 安全社区提供了一种可扩展、高效且有效的工具。