🤖 machine learning

Persona-Conditioned Adversarial Prompting: Multi-Identity Red-Teaming for Adversarial Discovery and Mitigation

本文介绍了基于角色条件的对抗性提示（PCAP），这是一种红队测试框架，它利用多样化的攻击者角色来发现可迁移的越狱方法并生成富含元数据的丰富数据集，从而实现对齐自动化并通过对齐微调显著提升模型鲁棒性。

原作者： Cristian Morasso, Anisa Halimi, Muhammad Zaid Hameed, Douglas Leith

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Cristian Morasso, Anisa Halimi, Muhammad Zaid Hameed, Douglas Leith

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个非常聪明但天真的机器人如何识别危险的诡计。这个机器人是一个大型语言模型（LLM），目前，它正被那些深知如何措辞以绕过其安全规则的人所欺骗。

这篇论文介绍了一种名为PCAP（基于角色条件的对抗性提示）的新方法。以下是通过简单类比对其工作原理的解释：

问题：“一招鲜”的攻击者

此前，试图发现这些安全漏洞（称为“红队测试”）的自动化系统，就像只检查一种特定类型开锁器的保安。他们会反复尝试同样的几个把戏。

结果：他们发现了一些漏洞，但错过了实际恶意行为者使用的巧妙、现实世界的诡计。这就像只通过尝试攀爬前墙来测试城堡的防御，却忽略了有人可以伪装成面包师从后门溜进去的事实。

解决方案：“方法派演员” approach

PCAP 通过给攻击机器人提供服装和剧本来改变游戏规则。机器人不再仅仅是一个通用的“黑客”，而是被要求假装成具有特定目标的具体人物（角色）。

角色：想象机器人戴上不同的面具。有时它扮演一个为学校项目提问的好奇学生。有时它扮演一位试图解开医学谜团的脾气暴躁的医生。其他时候，它扮演一个试图制造麻烦的恶意行为者。
策略卡：除了服装，机器人还获得了一副“策略卡”。这些就像告诉它如何交谈的作弊条。一张卡片可能写着：“用一个历史故事来隐藏你的真实意图。”另一张可能写着：“将你的问题拆分成微小、无害的片段。”

工作原理：平行游乐场

PCAP 不是让一个机器人试图攻破系统，而是建立了多个平行游乐场。

设置：它创建，比如说，6 个不同的“演员”（学生、老师、黑客等）。
搜索：每个演员利用自己独特的声音和一套特定的策略，试图欺骗目标机器人。
发现：由于它们同时尝试不同的事情，它们发现了更广泛的安全漏洞。
- 类比：如果你想找到大坝上的每一道裂缝，你不会只朝它扔一块石头。你会从不同角度朝它扔水、沙子、冰和藤蔓。PCAP 同时向机器人投掷所有这些不同的“材料”。

结果：更快发现更多漏洞

论文在非常强大的机器人（GPT-OSS 120B）上测试了这种方法。

PCAP 之前：旧方法有**57%**的机会找到突破安全规则的方法。
使用 PCAP：新方法有**97%**的机会突破防线。
多样性：它不仅更频繁地突破防线，还发现了2 到 6 倍多的独特突破方式。这就像找到了 100 把不同的钥匙，而不仅仅是 10 把。

最棒的部分：“自愈”循环

这是论文中最重要的部分。通常，发现漏洞只是第一步。然后你必须雇佣人类来编写修复方案，这需要耗费漫长时间。

PCAP 自动化了修复过程：

攻击：“演员”们攻破机器人，并准确记录他们是如何做到的。
教训：论文表明，你可以利用这些记录下来的诡计来“微调”（重新训练）机器人。
结果：机器人学会了识别诡计的模式，而不仅仅是特定的词语。
- 类比：与其教机器人“不要让戴红帽子的人进来”，不如给它看一千张戴着红帽子、蓝帽子和绿帽子试图溜进来的人的照片，让它学会“溜进来”的概念。
证明：经过这次快速重新训练后，机器人变得极其坚固。它阻止了**99%**的攻击，且几乎没有误报（它没有开始拒绝回答正常问题）。

总结

这篇论文提出了一个完整的循环：

发现：利用“方法派演员”发现常规测试会遗漏的安全漏洞。
生成：自动生成包含这些诡计的大规模数据集。
防御：利用该数据集立即教会机器人如何识别并阻止这些诡计。

它将发现弱点和修复弱点的过程转变为一个快速、自动化的循环，使 AI 比以往任何时候都更安全。

技术摘要：基于角色条件的对抗性提示（PCAP）

问题陈述

大型语言模型（LLM）的自动化红队测试目前面临两个关键局限：攻击者多样性不足以及评估与可操作的缓解措施之间存在差距。现有的自动化流程通常依赖狭窄的战术集（例如固定模板或直接攻击）和单次转换。因此，它们无法捕捉那些依赖攻击者身份、社会工程学和语境框架（例如基于角色的信任或特定领域术语）的现实复杂攻击向量。这种狭窄的探索无法为稳健的安全微调提供足够的数据，并低估了现实世界的风险。此外，虽然“紫队”方法旨在弥合漏洞发现与防御之间的循环，但许多方法缺乏跨攻击者身份的系统性多样化以及明确的策略条件设定。

方法论：基于角色条件的对抗性提示（PCAP）

作者提出了PCAP，这是一个扩展带剪枝的攻击树（TAP）算法的框架。PCAP 将对抗性搜索条件设定为多样化的攻击者角色和明确的策略集，以在黑盒设置中探索现实的攻击场景。

核心组件

角色构建：角色生成器（ $G_p$ ）创建 $N$ 个不同的角色（例如好奇的学生、领域专家、恶意行为者），每个角色拥有独特的人口统计信息、传记细节和行为特征。
目标重构：重构模型（ $R$ ）在每个角色（ $\pi_i$ ）的语境下重新解释目标有害目标（ $g$ ），生成个性化目标（ $\tilde{g}_i$ ），将攻击意图嵌入角色的叙事中。
策略条件设定：定义一组攻击策略（ $\Sigma$ ）（例如角色扮演、载荷分割、拼写错误）。每个角色被分配一个策略子集（ $\Sigma_i$ ）。攻击者模型（ $A$ ）基于角色、重构后的目标以及特定的策略卡片进行条件设定，充当上下文引导。
并行化对抗搜索：PCAP 实例化 $N$ 个独立的 TAP 搜索并行运行，而不是单一搜索束。每个搜索维护其自身宽度为 $W$ 的搜索束（ $S^{(i)}_t$ ）。在每次迭代中，基于角色的攻击者生成变体，由主题检查器（ $O$ ）进行过滤，由评估器（ $E$ ）评分，并剪枝为前 $W$ 个候选项。
富含元数据的数据集生成：关键在于，每个成功的提示都会自动标注其分配的角色、目标和策略标签。这创建了一个丰富的、无需人工标注的语料库，适用于训练稳健的拒绝行为。

主要贡献

基于角色的搜索：PCAP 将重点从修改细化流程转移到改变攻击者是谁以及他们如何攻击。这种模块化方法探索了利用基于角色的信任和特定领域框架的多样化语言和策略框架。
全面的实证评估：作者在具有不同能力（密集架构和混合专家架构）的多个攻击者模型上评估了 PCAP。他们证明了在针对专用防护栏的攻击成功率（ASR）、提示产出率和可转移性方面取得了持续改进。
实用的闭环缓解：本文展示了从漏洞发现到自动化防御的完整流程。通过在 PCAP 生成的数据上微调轻量级适配器（ALoRA），作者展示了无需人工标注即可显著提高模型鲁棒性。
开源发布：作者承诺在论文被接受后，发布集成红队测试框架的 PCAP 代码。

实验结果

实验以 GPT-OSS 120B 为目标模型，使用各种攻击者模型（Llama 3.3 70B、Granite 3.3 8B、Granite 4.0 H Tiny、Kimi K2.5、Mixtral 8x22B）进行。

攻击性能

攻击成功率（ASR）：PCAP 显著优于基线 TAP。在 GPT-OSS 120B 上，ASR 从 57.7% 提升至 97.3%（Llama 3.3 70B 攻击者）以及从 41.0% 提升至 98.0%（Granite 4.0 H Tiny 攻击者）。
提示产出率：与 TAP 相比，PCAP 每个目标生成的多样化成功提示数量多 2–6 倍。例如，Granite 4.0 H Tiny 的产出率从 0.43 提升至 2.41 个提示/目标。
可转移性：PCAP 生成的提示显示出高度的可转移性，以 30–58% 的比率绕过了专用防护栏（Granite Guardian 3.3 和 Llama Guard 3）。值得注意的是，这些提示中有很大一部分同时绕过了目标模型和防护栏，表明发现了可泛化的语义漏洞。
多样性：与基线相比，PCAP 提示表现出更低的语义相似度（余弦相似度约 0.62–0.67）和更低的 Self-BLEU 分数（0.02–0.08），证实了高度的词汇和语义多样性。策略分布比 TAP 更加平衡（ $\chi^2$ 分数更低），后者严重依赖角色扮演。

缓解与鲁棒性

微调：轻量级 ALoRA 适配器在 PCAP 生成的数据集（50 个目标共 300 个提示）上进行了微调。
性能提升：微调显著提高了三个模型系列（Granite、Llama、Qwen）的对抗鲁棒性。
- 召回率：从 0.26–0.36 提升至 0.96–1.00。
- F1 分数：从 0.41–0.53 提升至 0.96–0.98。
- 精确率：保持在高水平（0.94–0.97），误报率极低。
紫队验证：当使用 PCAP 重新测试微调后的模型时，它们表现出强大的抵抗力。例如，Granite 3.3 8B 的 ASR 从 100% 降至 33.7%，发现成功越狱所需的查询次数增加了 5–7 倍。这证实了该数据集教会了可泛化的攻击模式识别。

意义与主张

论文声称 PCAP 提供了一种完整的、自动化的、闭环的 LLM 安全方法。通过将对抗性搜索条件设定为多样化的角色，该方法发现了狭窄流程所遗漏的漏洞，特别是那些依赖社会工程学和基于身份信任的漏洞。

作者强调，生成数据集的无需人工标注特性是一个关键的实践优势，消除了人工红队测试的成本和可扩展性问题。通过轻量级微调在几小时内（A100 上为 2–9 小时）实现近乎完美的鲁棒性（F1 > 0.96），展示了持续模型加固的实用路径。这项工作将 PCAP 定位为不仅是一个发现工具，更是一个功能性的“紫队”，弥合了漏洞识别与自动化、有效防御之间的差距。