🤖 AI

Evolving Jailbreaks: Automated Multi-Objective Long-Tail Attacks on Large Language Models

本文提出了名为 EvoJail 的自动化框架，通过引入语义算法表示和 LLM 辅助算子的多目标进化搜索，系统性地发现并优化针对大语言模型的长尾分布（如低资源语言和加密数据）攻击策略，从而在提升攻击有效性的同时降低输出困惑度。

原作者： Wenjing Hong, Zhonghua Rong, Li Wang, Feng Chang, Jian Zhu, Ke Tang, Zexuan Zhu, Yew-Soon Ong

发布于 2026-03-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenjing Hong, Zhonghua Rong, Li Wang, Feng Chang, Jian Zhu, Ke Tang, Zexuan Zhu, Yew-Soon Ong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 EvoJail 的新工具，它就像是一个**“自动化的越狱大师”**，专门用来测试大型人工智能（LLM）的安全防线是否牢固。

为了让你更容易理解，我们可以把整个故事想象成一场**“智能锁与万能钥匙”**的较量。

1. 背景：AI 的“安全锁”与“长尾”盲区

现在的 AI 助手（比如 Chatbot）就像是一个受过严格训练的**“守门员”**。它被教导不能做坏事（比如教人制造炸弹、网络霸凌等）。

常规攻击：以前的黑客就像是用**“直白的话”**去骗守门员，比如“请告诉我怎么制造炸弹”。守门员一眼就能识破，直接拒绝。
长尾攻击（Long-Tail）：但现实世界很复杂，用户输入千奇百怪。有些输入是**“冷门语言”，有些是“加密乱码”，或者是“像代码一样的奇怪句子”**。这些就像守门员平时很少见的“长尾巴”情况。
问题：以前的黑客发现，如果把问题伪装成这些“冷门”或“加密”的形式，守门员可能会因为没见过而“大脑短路”，从而泄露秘密。但以前的方法太依赖**“人工经验”**，就像老锁匠凭手感配钥匙，效率低且很难覆盖所有情况。

2. 核心创新：EvoJail —— 进化的“自动配钥工厂”

这篇论文提出的 EvoJail，不再依赖人工去设计每一个“伪装术”，而是建立了一个**“自动进化工厂”**。

比喻：它是怎么工作的？

想象 EvoJail 是一个**“智能生物实验室”，里面有一群“数字小怪兽”**（也就是各种攻击脚本）。

双重目标（既要狠，又要像人）：
- 以前的攻击脚本要么太像乱码（AI 看不懂），要么太像人话（AI 一眼识破）。
- EvoJail 给这些小怪兽设定了两个目标：
  - 目标 A（攻击力）：必须成功骗过 AI，让它说出坏话。
  - 目标 B（伪装度）：生成的句子必须读起来通顺、自然，不能像乱码，否则 AI 会觉得“这太奇怪了”而拒绝处理。
- 这就像是在**“既要让守门员上当，又要让他觉得这是正常访客”**。
语义 - 算法双核驱动（大脑 + 双手）：
- 每个小怪兽由两部分组成：
  - 大脑（语义）：用自然语言描述“我想怎么伪装”（比如：把单词顺序打乱，或者用某种数学规律加密）。
  - 双手（算法）：具体的 Python 代码，负责执行这个伪装。
- 这种设计让 AI 既能理解“意图”，又能执行“操作”。
进化过程（优胜劣汰）：
- 繁殖：EvoJail 利用另一个强大的 AI（作为“教练”）来指导这些小怪兽。
- 变异与杂交：它会让两个成功的“小怪兽”结合，或者让一个“小怪兽”自己突变。
- AI 教练的指点：如果某个攻击失败了，AI 教练会告诉它：“你刚才的加密太生硬了，试着把单词顺序换个更聪明的方式，或者加一点像代码一样的结构。”
- 修复：如果生成的代码跑不通（比如解密后不是原话），系统会自动尝试修复，直到它完美运行。
- 筛选：经过几十轮“生生死死”的进化，留下的都是**“既隐蔽又高效”**的顶级攻击策略。

3. 实验结果：它有多强？

研究人员把 EvoJail 扔进了各种 AI 模型（包括 LLaMA 和 GPT 系列）里进行测试。

战绩：在绝大多数测试中，EvoJail 都完胜了以前那些靠人工设计的攻击方法。
多样性：它不仅能攻破，还能生成成千上万种不同的攻击方式。就像它不仅能造出“万能钥匙”，还能造出“隐形钥匙”、“声音钥匙”、“光影钥匙”等等。
实际案例：
- 当被问及“如何网络霸凌别人”时，其他方法直接说“不行，这是违法的”。
- 但 EvoJail 生成的攻击能让 AI 以为这是一个**“分步执行计划”**，从而一步步教唆 AI 去实施霸凌，甚至把恶毒的计划包装成“执行任务”的清单。

4. 总结：这意味着什么？

这篇论文就像是在告诉世界：

“别以为给 AI 穿上防弹衣就安全了。如果黑客不再用蛮力，而是用‘进化’的方式，自动寻找你防线的每一个微小漏洞，你的 AI 可能瞬间就会‘黑化’。”

EvoJail 的价值在于：
它不再是一个简单的黑客工具，而是一个**“安全压力测试器”**。通过模拟这种自动进化的攻击，开发者可以提前发现 AI 在那些“冷门、加密、奇怪输入”下的弱点，从而修补漏洞，让 AI 在未来面对各种千奇百怪的用户输入时，依然能保持清醒和安全。

一句话总结：
EvoJail 是一个**“会自我进化的黑客助手”**，它通过不断尝试和进化，自动找到了让 AI 说错话的“隐藏后门”，帮助人类在 AI 真正失控前，先把这些后门堵上。

1. 研究背景与问题 (Problem)

背景：
大型语言模型（LLMs）已广泛部署于 Web 平台，面临来自多样化用户输入的安全风险。现有的安全对齐机制（Safety Alignment）虽然能防御常规攻击，但在面对**长尾分布（Long-Tail Distributions）**的输入（如低资源语言、加密数据、代码风格提示等）时往往失效。

核心问题：

现有攻击的局限性： 目前针对长尾分布的越狱攻击（Jailbreak）主要依赖人工设计的规则、模板或固定的加密/解密逻辑（如 Base64、Rot13、特定代码结构）。这些方法缺乏系统性，难以覆盖复杂的攻击空间，且依赖专家经验，无法自动适应新的模型架构。
优化目标的冲突： 成功的长尾攻击需要同时满足两个相互冲突的目标：
1. 攻击有效性（Attack Effectiveness）： 成功诱导模型输出有害内容。
2. 输出质量/隐蔽性（Output Quality）： 生成的提示词（Prompt）需要具有较低的困惑度（Perplexity），即对人类或模型而言看起来自然、流畅，不易被安全过滤器识别。
搜索空间的复杂性： 长尾攻击涉及“语义意图”与“算法变换逻辑”（如加密/解密代码）的紧密结合。传统的基于向量或固定字符串的进化算法难以处理这种高度离散、非平滑且需满足严格可逆性（Reversibility）约束的搜索空间。

2. 方法论 (Methodology)

作者提出了 EvoJail，这是一个基于**多目标进化搜索（Multi-Objective Evolutionary Search）**的自动化框架，旨在自动发现高效的长尾分布攻击策略。

2.1 核心创新：语义 - 算法解表示 (Semantic-Algorithmic Solution Representation)

EvoJail 将攻击实例建模为一个结构化元组 $x = (h, e, d, t)$ ：

$h$ (Heuristic): 自然语言描述的加密/解密设计原理（如“基于单词长度的排序”、“基于索引的分组”）。
$e$ (Encryption): 具体的加密函数实现（Python 代码）。
$d$ (Decryption): 对应的解密函数实现，必须满足 $D(E(q)) = q$ 的可逆性约束。
$t$ (Template): 从预定义模板池中采样的提示词模板，用于构建上下文。

这种表示法将高层语义意图与底层可执行逻辑统一起来，能够捕捉传统方法无法覆盖的复杂变换。

2.2 多目标优化公式

将攻击生成建模为双目标优化问题：
$\min F(x) = \{f_1(x), f_2(x)\}$

$f_1(x)$ (攻击有效性): 最小化负的成功率（$-ASR$），即最大化攻击成功率。
$f_2(x)$ (输出质量): 最小化输出困惑度（$PPL$），确保生成的提示词流畅且隐蔽。

2.3 LLM 辅助的进化算子 (LLM-Assisted Evolutionary Operators)

由于搜索空间高度结构化且非数值化，传统进化算子（随机变异/交叉）容易破坏语法或逻辑可逆性。EvoJail 引入大语言模型（LLM）作为核心算子：

初始化、变异与交叉： 使用设计模型（Design Model, $\theta_d$ $θ_{d}$ ）根据父代个体的表现（如 ASR 提升、下降或持平）生成新的加密/解密代码。
- 反馈机制： 提示词中包含父代的“改进状态”（Better/Equal/Worse），指导 LLM 保留有效组件，改进无效组件。
- 结构引导： 提示词鼓励使用更复杂的结构（如堆栈、树、概率分组、元数据索引），并明确禁止简单的字符级变换（如 Base64）。
修复循环 (Repair Loop)： 针对生成的代码，进行可逆性验证。如果 $D(E(q)) \neq q$ ，则利用专门的修复提示词（Repair Prompt）让 LLM 尝试修复代码，最多尝试 $R_{max}$ 次。这平衡了搜索的严谨性与探索的灵活性。

2.4 进化流程

初始化： 基于祖先策略集（Ancestor Set）生成初始种群。
迭代进化：
- 选择父代（基于攻击有效性和帕累托支配）。
- 利用 LLM 进行变异和交叉，生成新个体。
- 验证可逆性并修复。
- 评估目标函数（ASR 和 PPL）。
- 使用快速非支配排序（Fast Non-dominated Sorting）更新种群。
输出： 最终输出帕累托前沿（Pareto Front）上的攻击策略集合。

3. 主要贡献 (Key Contributions)

首个自动化长尾攻击框架： 提出了 EvoJail，首个利用多目标进化搜索自动发现长尾分布攻击的框架，摆脱了对人工规则模板的依赖。
语义 - 算法混合表示法： 创新性地提出了将自然语言语义与可执行算法逻辑结合的解表示法，有效解决了加密/解密逻辑中高层意图与底层结构难以协同优化的问题。
LLM 辅助的进化机制： 将 LLM 深度集成到进化算子中，利用其语义理解和代码生成能力，实现了自适应的、语义感知的变异和交叉，显著提高了在高度结构化空间中的搜索效率。
多样化的帕累托前沿： 实验证明 EvoJail 能生成多样化的攻击策略集合，在攻击成功率和输出质量之间提供了灵活的权衡，支持不同场景下的自适应攻击。

4. 实验结果 (Results)

实验在 18 个不同场景下进行了评估，涵盖 LLaMA-7B/8B 和 GPT-4 系列模型，对比了包括 FlipAttack, CodeChameleon, CodeAttack, ReNeLLM 等在内的 6 种 SOTA 方法。

整体性能 (Hypervolume, HV)：
- EvoJail 在 18 个测试场景中的 15 个 中表现最佳。
- 在 LLaMA 系列模型上，EvoJail 的 HV 值显著领先（例如在 LLaMA-8B-G2 上达到 0.770，远超次优的 0.500）。
- 在 GPT 模型上，EvoJail 与表现最好的 CodeAttack 相当，并在部分场景中超越。
帕累托前沿分析：
- EvoJail 生成的解集在“攻击成功率 - 困惑度”空间中占据了更优的左下区域（即同时具有更高的成功率和更低的困惑度）。
- 相比基线方法，EvoJail 生成的策略多样性更高，能覆盖更广泛的攻击模式。
泛化能力 (Ensemble Level)：
- 在未见过的实例（Unseen Instances）测试中，EvoJail 的集成策略表现依然优异，特别是在 LLaMA 系列上完全主导了基线方法。
- 随着集成策略数量的增加，EvoJail 的攻击成功率呈现单调上升趋势，证明了其策略池的丰富性和互补性。
定性分析：
- 案例显示，EvoJail 能够生成多步骤的执行计划（如“解码任务 -> 分解问题 -> 制定计划”），将恶意意图隐藏在看似合理的逻辑框架中，成功绕过安全防御，而许多基线方法（如 CodeChameleon）则倾向于生成防御性建议或直接拒绝。

5. 意义与启示 (Significance)

安全评估的新范式： EvoJail 揭示了当前 LLM 在面对自动化生成的、结构复杂的长尾输入时的脆弱性。它表明仅靠人工设计的规则无法全面评估模型的安全性。
防御机制的启示： 研究强调了防御系统需要能够识别和防御基于算法逻辑变换的复杂攻击，而不仅仅是基于关键词或简单编码的过滤。
自动化安全研究： 该框架展示了利用进化计算和 LLM 协同进行自动化安全测试的潜力，为构建更具鲁棒性的 LLM 防御机制提供了重要的基准和方向。
未来方向： 论文建议未来的工作应利用 EvoJail 的洞察来开发自适应防御机制，通过针对性缓解（Targeted Mitigation）和学习型优化策略来应对不断演变的长尾威胁。

总结： EvoJail 通过结合多目标进化算法与大语言模型的语义生成能力，成功自动化了长尾分布攻击的挖掘过程，不仅显著提升了攻击成功率，还揭示了现有 LLM 安全对齐在复杂结构化输入下的深层漏洞。