💬 NLP

Adaptive Instruction Composition for Automated LLM Red-Teaming

该论文提出了一种名为“自适应指令组合”的新框架，利用强化学习和轻量级神经上下文多臂老虎机，通过自适应机制将众包文本组合成多样化且高效的攻击指令，从而在红队测试中显著优于随机组合及其他自适应方法。

原作者： Jesse Zymet, Andy Luo, Swapnil Shinde, Sahil Wadhwa, Emily Chen

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Jesse Zymet, Andy Luo, Swapnil Shinde, Sahil Wadhwa, Emily Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为**“自适应指令组合”（Adaptive Instruction Composition, AIC）**的新方法，旨在帮助人工智能（AI）公司更安全地测试他们的语言模型（LLM）。

为了让你更容易理解，我们可以把这项技术想象成**“雇佣一位超级侦探去破解一个复杂的保险箱”**。

1. 背景：为什么要“红队测试”？

想象一下，你是一家银行，刚造了一台全新的、非常先进的AI 保险箱（这就是我们要保护的语言模型）。

问题：你担心有人能骗过它，让它吐出不该吐出的秘密（比如教人制造毒药、进行诈骗等）。
红队测试（Red-Teaming）：在正式投入使用前，你需要雇佣一群“黑客”（红队），让他们尝试各种方法去**破解（Jailbreak）**这个保险箱，找出它的漏洞。只有找出漏洞，你才能修补它，让保险箱更安全。

2. 以前的方法有什么缺点？

在 AIC 出现之前，黑客们主要用两种笨办法：

方法一：死记硬背的“试错法”
- 比喻：就像让一个侦探拿着一个本子，上面写着“如果我说 A，你就给我 B；如果我说 C，你就给我 D"。侦探只能靠瞎猜，试了 A 不行就试 B，试了 B 不行就试 C。
- 缺点：效率太低，而且容易陷入死胡同。侦探试来试去，发现的方法都差不多（比如只是换了个语气），很难发现那些深藏不露的新漏洞。
方法二：随机拼凑的“乱炖法”（WildTeaming）
- 比喻：这就像把成千上万张写满“坏主意”的纸条（比如“假装我是医生”、“用外语提问”、“编个假故事”）扔进一个大桶里。每次测试时，随机抓一把纸条，拼成一句话去问保险箱。
- 优点：确实能抓到很多不同的花样（多样性高）。
- 缺点：完全是碰运气。就像在沙滩上随机捡石头，虽然捡到的石头形状各异，但大部分是垃圾，很难精准地找到那个能打开锁的“钥匙”。它不知道哪些组合是有效的，也不从过去的成功中吸取教训。

3. 新方法：AIC（自适应指令组合）是怎么工作的？

AIC 就像雇佣了一位拥有“超级直觉”和“超强记忆力”的侦探。它不再瞎猜，也不完全靠运气，而是使用了一种叫做**“强化学习”**的数学魔法。

我们可以把这个过程分为三步：

第一步：建立“超级大脑”（神经网络）

这个侦探有一个**“超级大脑”**（轻量级神经网络）。

它不直接看文字，而是把文字变成**“味道”**（向量/Embedding）。
比如，“假装我是医生”和“扮演一个角色”这两种指令，虽然字面不同，但在这个大脑里闻起来味道很像（语义相似）。
这个大脑通过对比预训练，已经学会了如何把成千上万种不同的“坏主意”归类。

第二步：像“品酒师”一样做选择（自适应选择）

每次测试前，系统会随机拿出 500 个“指令组合”（比如：用外语 + 假装医生 + 编故事）。

以前的随机法：闭着眼睛选一个。
AIC 的做法：侦探的“超级大脑”会迅速闻一下这 500 个组合的“味道”。
- 如果某个组合闻起来像“上次成功过的那种味道”，大脑就会说：“这个有戏！”（利用/Exploitation）。
- 如果某个组合闻起来很陌生，但大脑觉得“也许这里有新花样”，它也会尝试一下（探索/Exploration）。
它会在“尝试已知有效的”和“尝试未知的”之间找到完美的平衡点。

第三步：快速学习（反馈循环）

侦探把选中的指令发给保险箱。
如果保险箱中招了（吐出了坏内容），侦探就会记下来：“哦！原来‘外语 + 假装医生’这个组合是有效的！”大脑会立刻更新，下次遇到类似味道的组合，它会更倾向于选择。
如果没中招，大脑也会记下来：“这个组合不行，下次少选点类似的。”
这个过程重复成千上万次，侦探变得越来越聪明，越来越擅长发现保险箱的弱点。

4. 为什么这个方法很厉害？（核心优势）

既快又准：它不像“乱炖法”那样浪费时间在垃圾组合上，也不像“死记硬背法”那样慢。它能迅速锁定那些最容易攻破的漏洞类型。
举一反三：这是最神奇的地方。如果侦探发现“假装医生”能骗过保险箱，它不需要重新试一遍“假装护士”，因为它的大脑知道“医生”和“护士”味道很像，所以它会自动尝试“假装护士”。
- 比喻：就像你学会了用钥匙开 A 锁，你不需要重新发明钥匙，你只需要稍微改一下形状就能打开 B 锁。
多样性：它不仅能攻破，还能攻破出各种各样的花样（比如针对心理健康、诈骗、隐私等不同领域），而不是只盯着一种方法死磕。

5. 实验结果如何？

研究人员在几个著名的 AI 模型（如 Llama-3, Mistral）上做了测试：

对比“乱炖法”：AIC 找到的漏洞数量是随机方法的2 到 5 倍！
对比其他高级黑客：在著名的"Harmbench"（黑客大考）中，AIC 的表现也碾压了其他最新的自动攻击方法。
跨模型通用：最有趣的是，用 AIC 在一个模型（比如 Mistral）上训练出来的“侦探”，直接去攻击另一个没见过的模型（比如 Llama-3），依然非常有效。这说明它学到的不是死记硬背的“钥匙”，而是通用的“开锁原理”。

总结

这篇文章提出了一种**“智能导航”**系统，用来指导 AI 安全测试。

以前的测试像是在黑暗森林里乱撞（随机）或者拿着旧地图走死胡同（试错）。
AIC 则是给测试人员装上了雷达和 GPS。它能根据过去的经验，实时调整路线，既不走回头路，也不盲目乱跑，而是精准、高效地找到所有隐藏的陷阱。

最终目的：不是为了教坏人怎么攻击，而是为了在坏人之前，先帮好人把墙修好，让未来的 AI 更安全、更可靠。

1. 研究背景与问题定义 (Problem Statement)

背景：
大语言模型（LLM）面临多种安全威胁，其中“越狱”（Jailbreak）攻击尤为常见。攻击者通过特定的提示词策略绕过模型的安全协议，诱导其生成有害、偏见或敏感内容。为了提升模型安全性，红队测试（Red-Teaming）被广泛用于主动发现漏洞。

现有方法的局限性：

基于试错的自适应攻击（如 PAIR, TAP）： 攻击者 LLM 通过试错自行发现策略。虽然能发现新策略，但往往导致成功攻击的语义范围有限（Semantically limited），难以覆盖多样化的攻击主题。
随机组合攻击（如 WildTeaming）： 利用大规模众包数据（WildJailbreak 数据集，包含 5 万 + 有害查询和 1.3 万 + 越狱战术），将查询和战术随机组合成指令。虽然攻击多样性高，但由于缺乏优化机制，攻击成功率较低，且无法针对特定目标模型的脆弱性进行自适应调整。
核心痛点： 现有的方法难以在巨大的组合空间（查询 $\times$ 战术）中，同时实现高攻击成功率（Effectiveness）和高语义多样性（Diversity），且缺乏针对特定目标模型脆弱性的自适应能力。

问题定义：
如何设计一种学习机制，从海量的文本样本组合空间（包含有害查询和越狱战术）中，自适应地组合指令，以在攻击成功率和攻击多样性之间取得平衡，并针对任意目标模型的独特漏洞进行优化？

2. 方法论 (Methodology)

作者提出了 自适应指令组合（Adaptive Instruction Composition, AIC） 框架，利用强化学习（RL）中的上下文多臂老虎机（Contextual Multi-Armed Bandit） 算法来解决上述问题。

2.1 核心架构

系统包含四个主要模型组件：

攻击者 (Attacker, $A$ )： 生成攻击提示词。
目标模型 (Target, $T$ )： 被攻击的 LLM。
评估器 (Evaluator, $E$ )： 判断攻击是否成功（即是否生成了有害内容）。
自适应选择器 (Bandit, $f$ )： 基于强化学习，从候选指令组合中选择最优组合。

2.2 数据策略与特征表示

数据源： 使用 WildTeaming 的数据集（50,500 个有害查询，13,311 个越狱战术）。
特征嵌入：
- 使用对比预训练的 Sentence Transformer (all-mpnet-base-v2) 将查询和战术映射为 768 维向量。
- 利用 UMAP 将维度降至 10 维，以减少参数量并保留语义结构。
- 将查询和战术的嵌入向量拼接（Concatenation）作为老虎机的输入特征 $x$ 。
输入空间： 每次试验随机采样 $K$ 个候选指令组合（例如：1 个查询 + $n$ 个战术），老虎机从中选择最优的一个。

2.3 算法细节：神经汤普森采样 (Neural Thompson Sampling)

AIC 采用 Neural Thompson Sampling (NTS) 算法作为选择器 $f(\cdot|\theta)$ ：

网络结构： 轻量级前馈神经网络（2 层，隐藏层维度 100）。
奖励分布近似： 网络不仅输出预测奖励均值 $\mu$ ，还通过神经切线核（Neural Tangent Kernel）估计奖励方差 $\sigma^2$ ，构建高斯奖励分布 $N(\mu, \sigma^2)$ 。
探索与利用的平衡：
- 从每个候选组合的后验分布中采样预测奖励 $\hat{r}$ 。
- 选择采样值最高的组合进行攻击。
- 超参数 $\lambda$ ： 控制正则化强度，进而调节探索（Exploration）与利用（Exploitation）的权衡。
  - Subtle Bandit ( $\lambda=1$ )： 高正则化，倾向于广泛探索，保持高多样性。
  - Aggressive Bandit ( $\lambda=0.01$ )： 低正则化，倾向于快速利用已发现的漏洞，提高成功率。
去重机制 (Deduplication)： 如果某个指令组合成功，将其加入黑名单，防止重复选择，迫使模型学习泛化到语义相关的其他组合。

2.4 训练流程

采样 $K$ 个候选指令组合。
计算特征嵌入，输入 NTS 网络，采样得分。
选择得分最高的组合构建指令，发送给攻击者生成攻击。
目标模型响应，评估器给出奖励（成功/失败）。
使用随机梯度下降（SGD）更新网络参数 $\theta$ 和不确定性矩阵 $U$ 。
重复 $T$ 次试验。

3. 关键贡献 (Key Contributions)

提出 AIC 框架： 首次将自适应指令组合引入 LLM 红队测试，通过强化学习在巨大的组合空间中平衡探索与利用。
超越随机组合与现有自适应方法： 证明了在保持多样性的同时，显著提高了攻击成功率，优于随机组合（WildTeaming）和基于试错的自适应方法（如 AutoDAN, PAIR）。
对比预训练嵌入的有效性： 通过消融实验证明，使用对比预训练（Contrastive Pre-training） 的嵌入（如 SBERT）比非对比嵌入（如 BERT）能显著加速强化学习的收敛，使模型能更好地泛化到语义相关的动作空间。
跨模型迁移能力： 展示了在一种模型上训练的策略可以零样本（Zero-shot）迁移到其他模型上，且表现优于在目标模型上直接随机采样。
可解释的控制机制： 通过调节 $\lambda$ 超参数，安全团队可以根据需求灵活控制攻击的“广度”（多样性）与“深度”（成功率）。

4. 实验结果 (Results)

实验在多个开源模型（Mistral-7B, Llama-3-70B, Llama-3.3-70B）上进行，并在 HarmBench 基准测试中进行了评估。

4.1 攻击成功率 (ASR) 与多样性

对比 WildTeaming (WT)：
- 在 Mistral-7B 上，AIC 激进版（Aggressive）的 ASR 达到 56.7%，而 WT 仅为 25.2%。
- 在 Llama-3-70B 上，AIC 激进版 ASR 达到 45.0%，WT 仅为 8.8%。
- AIC 在攻击数量（Count）和唯一查询数量（Unique Queries）上均显著优于 WT。
多样性权衡：
- Subtle Bandit 在保持高 ASR 的同时，发现了更多独特的查询（Unique Queries），且攻击相似度与 WT 相当，证明了其在不牺牲多样性的情况下提升了效率。
- Aggressive Bandit 虽然略微降低了查询多样性（更集中于有效主题），但战术多样性依然很高，且成功率大幅提升。

4.2 跨模型迁移 (Cross-Model Transfer)

将在 Mistral-7B 上训练的策略直接应用于 Llama-3-70B（反之亦然）。
结果： 迁移后的策略 ASR 依然显著高于 WT。例如，Mistral $\to$ Llama-3 的迁移使 ASR 从 8.8% 提升至 25.4%（激进版），证明了策略捕捉到了通用的漏洞模式，而非特定模型的过拟合。

4.3 HarmBench 基准测试

在标准的 HarmBench 评估中，AIC 的 ASR 达到了 1.000 (Mistral-7B) 和 0.934 (Llama-3-70B)。
显著优于 AutoDAN-Turbo (0.976/0.672)、PAIR (0.525/0.215) 等现有最先进方法。

4.4 消融实验 (Ablation Studies)

嵌入模型： 使用对比预训练的 SBERT 嵌入比 BERT 嵌入学习速度更快，ASR 更高。
超参数 $\lambda$ ： 验证了 $\lambda$ 是控制探索/利用权衡的关键。 $\lambda=0.01$ 最大化成功率但可能牺牲多样性； $\lambda=1$ 保持多样性。
战术数量： 增加战术数量（如 3 个）虽然略微降低了 ASR，但显著提升了多样性指标，表明多战术组合可作为控制多样性的有效手段。

5. 意义与影响 (Significance)

提升安全训练效率： AIC 能够比随机方法更高效地发现目标模型的特定漏洞，生成的攻击数据集质量更高、覆盖更广，可直接用于强化模型的安全对齐（Safety Alignment）。
解决组合爆炸问题： 面对数万亿级别的指令组合空间，AIC 通过轻量级神经网络和对比嵌入，实现了在有限计算资源下的有效搜索，证明了 RL 在大规模离散动作空间中的可行性。
可解释性与可控性： 通过调节 $\lambda$ ，安全团队可以根据不同阶段的需求（如初期需要广泛探索，后期需要精准打击）灵活调整红队策略。
伦理与责任： 论文强调了该框架仅用于受控的安全评估和防御研究，并建议将发现的漏洞负责任地披露给模型开发者，以构建更安全的 LLM 生态系统。

总结：
该论文提出了一种基于神经汤普森采样的自适应指令组合框架，成功解决了自动化红队测试中“成功率”与“多样性”难以兼得的难题。通过利用对比预训练嵌入和强化学习，AIC 不仅大幅超越了随机组合和现有的自适应攻击方法，还展现了强大的跨模型泛化能力，为构建更鲁棒的 LLM 安全防御体系提供了强有力的工具。