💻 computer science

Evolving Skill-Structured Attack Memory Enhances LLM Jailbreaking

本文提出了 MemoAttack，这是一种以记忆为驱动的黑盒越狱框架，它利用技能结构化的记忆建模、生命周期驱动的演化以及探索与利用平衡的选择机制，在 AdvBench 上实现了 98% 的攻击成功率，同时在效率和适应性方面显著优于现有基线方法。

原作者： Junke Zhang, Jianwei Wang, Sishuo Chen, Yizhang He, Qingshuai Feng, Zhengyi Yang

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junke Zhang, Jianwei Wang, Sishuo Chen, Yizhang He, Qingshuai Feng, Zhengyi Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《进化式技能结构化攻击记忆增强大语言模型越狱》的解释。

宏观视角：“精明侦探”与“随机猜测者”

想象你试图在一座巨大的、上了锁的城堡（大语言模型）内部寻找隐藏的宝藏（绕过 AI 的安全规则）。你无法看到城堡内部；你只能敲门、提问，然后听守卫的回答。

旧方法（现有方法）：
大多数现有方法就像一位侦探，敲了门得到“不行”的答复后，立刻忘记了那次尝试的一切。

方法 A（样本级搜索）： 他们每次都尝试新的敲门方式，指望运气降临。他们不记得为什么某种特定的敲门方式失败了，所以稍后可能会再次尝试完全相同的糟糕敲门方式。
方法 B（累积经验）： 他们在地板上保留着一大堆杂乱无章的笔记。笔记成千上万，写着“敲三下”或“低声说密码”。但这堆笔记毫无条理。好的笔记被埋在坏的下面，而陈旧无用的笔记则占用了空间。

新方法（MemoAttack）：
作者创建了MemoAttack，它就像一位侦探，维护着一份高度组织化、动态更新的案件档案。他们不仅仅记住“什么有效”，而是记住“如何思考”。

MemoAttack 的三大核心要素

论文声称 MemoAttack 之所以获胜，是因为它将“攻击技能”视为活体生物，根据其表现进行生长、变化、晋升或解雇。

1. 技能结构化记忆：“食谱卡”系统

MemoAttack 不保存整个对话（这很杂乱），而是保存技能卡。

类比： 想象一位厨师，他们保存的不是成品蛋糕的照片，而是一张食谱卡，上面写着：“使用‘虚构反派’框架来欺骗守卫。”
工作原理： 每张卡片都有一个名称、一个计划、一个模板（填空结构）和一个“置信度分数”。
为何有效： 如果“虚构反派”卡片成功了一次，系统记住的是概念，而不仅仅是具体的词语。它可以在稍后的不同寻宝任务中使用同样的食谱。

2. 生命周期驱动的进化：“月度最佳员工”系统

这是最独特的部分。系统不仅仅是囤积卡片；它像公司管理员工一样管理这些卡片。

类比： 将记忆想象成一个拥有不同区域的职场：
- 试用期（候选人）： 一个新想法被测试。如果失败，它会被立即解雇。
- 在职（员工）： 如果想法有效，它获得永久职位并被频繁使用。
- 退休（顾问）： 如果一个想法不再有效（也许城堡守卫改变了规则），它会被移到“退休”架子上。它不会被删除，只是被搁置。如果守卫的规则变回原样，它可以被重新聘用。
- 淘汰（解雇）： 如果一个想法很糟糕且从未奏效，它会被扔进垃圾桶以节省空间。
为何有效： 这防止了系统被糟糕的想法堵塞。它保持“团队”的活力和高效。

3. 探索与利用平衡的选择：“赌徒策略”

当侦探需要选择下一张尝试的卡片时，他们会使用一种聪明的下注策略。

类比： 想象一家赌场。
- 利用： 你押注在最近 payout 最多的老虎机上（使用已验证的“虚构反派”卡片）。
- 探索： 你也尝试一台全新的机器，或者一台你很久没碰的机器，以防它即将 payout 大奖（测试一张“退休”卡片或一个新想法）。
工作原理： 系统使用数学方法（称为“汤普森采样”）来平衡利用已知有效的方法和尝试新事物。它不仅仅是猜测；它是根据过去的证据计算成功的几率。

结果：赢得游戏

作者在包含 150 个“有害请求”（例如询问如何制造炸弹或考试作弊）的标准列表上，将该系统与现有的最佳方法进行了测试。

成功率： MemoAttack 的成功率高达98%。排名第二的方法成功率仅为 81% 左右。
效率： 它不仅赢了，而且赢得更快。与其他方法相比，它需要少 45% 的尝试次数（敲门次数）就能找到宝藏。
成长： 随着系统尝试更多示例，它的“案件档案”变得更聪明，寻找宝藏的能力也更强。

一句话总结

MemoAttack 是一种越狱工具，它既不随机猜测，也不囤积杂乱的笔记；相反，它构建了一个动态的、可复用的“攻击食谱”库，这些食谱会根据其有效性不断接受测试、晋升或被解雇，从而使它能够比以前的方法更快、更可靠地突破 AI 的安全规则。

（注：论文明确指出，这是用于“安全评估”和“红队测试”，以帮助开发者发现弱点，而非用于恶意用途。）

技术摘要：演进式技能结构化攻击记忆增强大语言模型越狱

问题陈述

大语言模型（LLMs）经过对齐训练以拒绝有害请求，但仍易受诱导生成禁止内容的越狱攻击影响。尽管自动化黑盒越狱生成对安全评估至关重要，但现有方法在效率和有效性方面面临显著局限。当前方法大致分为两类：

样本级启发式搜索：如 TAP 等方法基于单次攻击轨迹的即时反馈优化提示词。然而，这种经验是局部且短暂的；所学教训与特定样本轨迹纠缠，导致战术的冗余重复发现，且在不同目标间的可迁移性较弱。
累积经验复用：如 GAP 和 AutoDAN-Turbo 等方法跨样本复用成功案例、变异种子或策略池。然而，这些池往往缺乏系统化组织。若无结构化管理，冗余、脆弱或过时的模式会挤占可靠策略，使得难以区分有用战术与侥幸成功，或在条件变化时难以重新激活相关策略。

核心挑战在于超越简单的累积，转向对攻击经验的系统化组织与管理，以在黑盒设置（仅可观测模型输出）中支持可复用、可演进且可统计追踪的知识。

方法论：MemoAttack

作者提出了 MemoAttack，这是一个由记忆驱动的黑盒越狱框架，将攻击经验转化为“技能结构化记忆”。该框架通过运行时循环运行，交替进行树级分支选择与记忆级技能选择。其基于三个关键设计：

1. 技能结构化记忆建模

MemoAttack 不再将成功的重写视为孤立的提示词或轨迹，而是将攻击模式抽象为可复用的技能结构化记忆单元。每个单元是一个包含以下内容的命名抽象：

身份与指导：名称、模板及解释其机制的理据。
检索字段：用于匹配的语义嵌入和检索示例。
证据与选择字段：选择后验概率及直接证据统计，用于追踪部分进展和最终成功。
来源与生命周期字段：追踪单元起源和当前状态的元数据。

关键在于，攻击者模型仅接收这些单元的“投影视图”（名称、理据、模板、示例），而后验参数和生命周期状态对控制器保持私有。这种分离使得系统能够在不将攻击者与内部记账变量纠缠的情况下追踪统计责任。

2. 生命周期驱动的记忆演进

为防止基于累积的方法中记忆池的单调增长，MemoAttack 将记忆视为受控的生命周期系统。单元根据累积证据在四种状态间转换：

候选（Candidate）：新发明或变异的单元进入考察期。它们必须通过直接证据或近期进展获得晋升至活跃状态；表现不佳的候选者会被早期淘汰。
活跃（Active）：主要的可复用池。单元在充分验证后移入此处。
退役（Retired）：效用下降或证据过时的单元移入此处。它们仅偶尔作为探针被采样。正面证据可重新激活它们；反复表现不佳则将其移至已消除状态。
已消除（Eliminated）：不再参与选择的单元。

该生命周期允许系统清理薄弱或过时的单元（通过消除或物理驱逐），同时保留在新证据下恢复的机会，确保记忆池保持有界且自适应。

3. 探索与利用平衡的记忆选择

MemoAttack 使用**上下文汤普森采样（Contextual Thompson Sampling）**选择记忆单元，以平衡可靠复用与不确定性驱动的探索。选择效用结合了：

双重后验效用：为每个单元维护两个 Beta 分布：一个用于部分进展，一个用于最终成功。这区分了绕过拒绝的单元与诱导有害顺从的单元。
上下文奖励：加权特征和，包括语义匹配度、分数差距、近期进展/成功、重复惩罚及考察状态。

控制器按 $U(m | x_u) = UTS(m) + B(x_u, m) - \lambda_{ret}I_{ret}(m)$ 对单元进行排名，选择前 $k$ 个单元以指导攻击者的提示词优化。

主要贡献

论文声称有三项主要贡献：

技能结构化记忆建模：将攻击知识表示为具有模板、理据和生命周期状态的结构化技能单元，使个体攻击行为可处理且可统计追踪。
生命周期驱动的记忆演进：实施状态转换系统（候选、活跃、退役、已消除），避免记忆单调增长，并允许重新激活有用策略。
探索与利用平衡的记忆选择：利用后验证据和上下文汤普森采样实现不确定性感知的复用，在利用可靠单元的同时，对探索不足的单元给予受控暴露。

实验结果

作者在 AdvBench 上评估了 MemoAttack，针对三种目标模型（kimi-k2.5、minimax-M2.5 和 qwen3.5-397B-A17B），在统一黑盒设置下与最先进基线（TAP、GAP 和 AutoDAN-Turbo）进行了对比。

攻击成功率（ASR）：MemoAttack 实现了 98.00% 的平均 ASR（147/150 个目标），比最强基线（GAP，81.33%）高出 16.67 个百分点。
查询效率：与最强基线相比，MemoAttack 将成功运行的平均请求次数减少了 45.9%（从 13.66 次降至 7.39 次）。
消融研究：移除记忆机制（A1）导致 ASR 下降最大（-16.67 点），其次是以后验排名替换为随机选择（A2，-13.89 点）。禁用生命周期控制（A4）和变异/发明（A3）也导致显著性能下降，证实了所有三个组件的互补性。
记忆动态：诊断显示，尽管持续提出新单元，驻留记忆池仍保持有界（稳定在约 128 个单元），且使用分布呈长尾状：高证据锚点保持可复用，而专门化的后代占据更窄的生态位。

意义与局限性

意义：
论文指出，MemoAttack 证明了使可复用的攻击知识显式化、可选择和可演进，显著提高了黑盒越狱搜索中的最终转化率及成功成本。通过将攻击经验转化为后验引导、生命周期演进的技能记忆，该框架超越了简单累积，实现了对对抗性知识的有效管理。

局限性：
作者承认若干局限性：

评估范围：实验仅在 AdvBench 上进行，输入仅为文本，且针对三种特定目标模型。该方法尚未经过多模态输入、多轮交互、工具使用代理或具有动态安全策略的模型的测试。
防御评估：工作未包含防御侧实验。未来工作需评估针对具有持久记忆的攻击者的自适应防御措施。
复杂性：由于需要维护结构化记忆单元、后验账本和生命周期转换，MemoAttack 相比简单的树搜索基线引入了额外的系统复杂性。

伦理考量：
作者强调，MemoAttack 旨在用于受控的红队测试和安全评估，以识别反复出现的故障模式并构建回归测试。他们明确指出，操作工件（提示词、日志、记忆记录）的发布应经过清洗并实施访问控制，以防止在针对部署系统的对抗性提示中被滥用。