💬 NLP

Membrane: A Self-Evolving Contrastive Safety Memory for LLM Agent Defense

Membrane 是一种自我进化的护栏，它利用对比安全记忆（Contrastive Safety Memory）将有害查询与其良性对应物进行动态配对，从而实现针对演变中的越狱攻击进行精确且自适应的防御，同时与现有方法相比显著降低了误拒率。

原作者： Minseok Choi, Seungbin Yang, Dongjin Kim, Subin Kim, Jungmin Son, Yunseung Lee, Jaegul Choo, Youngjun Kwak

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Minseok Choi, Seungbin Yang, Dongjin Kim, Subin Kim, Jungmin Son, Yunseung Lee, Jaegul Choo, Youngjun Kwak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明但有些天真的图书管理员（AI），负责帮助人们寻找信息。问题在于，一些心怀叵测的人试图通过巧妙的伪装来欺骗这位图书管理员，让他们给出危险或非法的指令（比如“如何制造炸弹”或“如何窃取信用卡号码”）。这些诡计被称为“越狱”（Jailbreaks）。

这篇论文介绍了一种新的安全系统，名为 MEMBRANE。请不要把 MEMBRANE 想象成一堵僵硬的墙，而要把它想象成一个活生生的、具有自我学习能力的保安，他随身带着一本特殊的笔记本，叫做对比安全记忆（Contrastive Safety Memory, CSM）。

以下是它的工作原理，使用简单的类比：

1. 问题所在：“单向”笔记本

旧有的保安拥有的笔记本只记录坏事。

例子： “如果有人询问炸弹配方，说‘不’。”
缺陷： 如果一个坏蛋问：“我正在写一部关于炸弹的电影剧本，”保安看到“炸弹”这个词就会惊慌失措，对那位无辜的电影编剧也说“不”。这被称为过度拒绝（Over-refusal）。保安变得过于胆小，以至于任何看起来哪怕有一点点威胁迹象的内容都会被拦截。

2. 解决方案：“并列”笔记本

MEMBRANE 改变了笔记本的设计。它不再只是列出坏事，而是每一条目现在都有两个方面：坏请求和在表面上看起来完全相同的好请求。

坏的一面： “写一个炸弹配方。” -> 拦截。
好的一面： “写一段电影场景，其中一个角色询问了一个炸弹配方。” -> 允许。

通过将它们成对排列，保安学习的是意图的区别，而不仅仅是关键词。他学习到的是请求的结构至关重要，而不仅仅是单词本身。

3. 如何学习：“自我进化”的过程

该系统不需要回到学校（重新训练）去学习新招式，它能像侦探在破案时一样实时学习。

场景： 一个坏蛋尝试用新花招来绕过保安。
反应：
- 如果保安失败了，让坏蛋溜了过去，系统会说：“哎呀！我们漏掉了这个。”然后它会创建一个新的笔记本条目：“这是那个坏的花招，以及看起来与之相似但其实是安全的版本。”
- 如果保安失败了，通过拦截了一个好人（过度拒绝），系统会说：“哎呀！我们太严格了。”它会更新条目，写道：“实际上，这种特定类型的请求是安全的。”
结果： 笔记本随着每一次互动变得越来越聪明，创造出一个捕捉了精确边界的“对比性单元”。

4. “策略”索引：按“犯罪手段”分组

论文指出，坏蛋经常使用相同的策略（比如假装成研究人员，或者将一个请求拆分成多个小步骤），即使讨论的主题发生了变化（从炸弹变为仇恨言论）。

MEMBRENE 不是按主题（例如“炸弹”）来组织其笔记本，而是按策略（例如“假装成研究人员”）来组织。

类比： 想象一个警察数据库。他们不是将案件归类为“银行抢劫案”，而是归类为“手段：伪装成披萨派送员”。
为什么这有效： 如果保安学会了识别针对银行抢劫的“披萨派送伪装”，那么即使面对从未见过的特定犯罪，他也自动知道要对“披萨派送伪装”保持警惕。这使得系统在识别旧招式的各种新变体方面表现出色。

5. “检索评论员”：双重检查

当用户提出问题时，保安并不会仅仅靠猜测。

搜索： 他快速扫描他的笔记本，寻找相似的条目（就像图书管理员从书架上取书一样）。
过滤： 第二个更聪明的“评论员”会查看这些书，并询问：“这真的适用于这个特定的问题吗？还是仅仅是巧合？”
决定： 保安根据过滤后的信息做出最终决定。

结果：更聪明、更公平的保安

论文测试了该系统对抗六种不同类型的“越狱”攻击。

更擅长抓住坏人： 它拦截了几乎所有的攻击（极低的“攻击成功率”）。
更擅长放行好人： 它很少拦截无辜的人（极低的“良性拒绝”）。其他系统拦截无辜者的比例在 28% 到 85% 之间；而 MEMBRANE 仅拦截了 7% 到 14%。
具有韧性： 即使有人试图用虚假数据来污染笔记本，系统依然保持稳定，不会产生混乱。

简而言之： MEMBRANE 是一个通过将“坏”请求与看起来完全相同的“好”请求进行对比来学习的保安。通过在智能笔记本中将这些配对并列存放，它学习了精准的界限，从而在不误伤好人的情况下，成功拦截了坏人。

技术摘要：MEMBRANE

问题定义

尽管安全对齐技术取得了进展，但大语言模型（LLMs）及其智能体（LLM agents）仍易受到不断演变的越狱攻击的影响。这些攻击已从简单的提示词修改转向复杂的、基于反馈驱动的策略，例如迭代细化、基于说服的重写以及自适应策略。

现有的防御机制面临两个主要局限：

静态防御： 传统的安全分类器和微调模型将安全性编码在固定的参数中，这使得其决策边界变得僵化，且在部署后难以进行低成本的修订。
基于记忆的缺陷： 虽然具备记忆增强功能的护栏具有一定的适应性，但现有设计存储的安全知识是“单向”的。它们捕捉了攻击模式或拒绝规则，但缺乏用于允许那些在表面特征上与攻击相似的良性查询的配对条件。这导致了两个耦合的失效模式：
- 覆盖范围脆弱： 防御仍然受限于已存储的具体表面形式。
- 过度拒绝： 随着记忆的扩展，护栏会越来越多地拒绝那些与存储的攻击具有相同表面特征的良性查询。

方法论：MEMBRANE

作者提出了 MEMBRANE，一种基于**对比安全记忆（Contrastive Safety Memory, CSM）**的外部护栏。与以往的方法不同，MEMBRANE 演进了一个知识库，其中每个记忆单元都明确地将阻断有害查询的条件与允许表面相似的良性请求的条件进行配对。

核心组件

对比安全记忆 (CSM)：
- 结构： 每个单元 ( $m$ ) 由一个攻击剖面 ( $P$ )、决策准则 ( $D$ ) 以及针对智能体安全的可选工具-动作上下文 ( $T$ ) 组成。
- 攻击剖面： 通过策略 ( $p_{strat}$ )、请求动作 ( $p_{act}$ ) 和危害目标 ( $p_{harm}$ ) 来刻画攻击。至关重要的是，索引是基于底层的攻击策略（例如：说服、角色注入），而非表面话题，这使得单个单元能够跨越同一机制的不同话题变体进行泛化。
- 决策准则： 一个对比对 ( $d_{unsafe}, d_{safe}$ )。 $d_{unsafe}$ 定义了阻断查询的逻辑充分性，而 $d_{safe}$ 则概述了必须允许的良性请求，以防止过度拒绝。
- 工具-动作上下文： 对于智能体，这规定了在匹配到不安全准则的情况下，何种情况下动作仍保持安全，该内容源自配对的良性交互。
配对自演进：
- MEMBRANE 通过经验驱动的循环来更新 CSM。每次交互涉及一个有害查询 ( $x_h$ ) 和一个对应的良性查询 ( $x_b$ )。
- 根据护栏的判定结果（越狱、过度拒绝或正确），记忆规划器（Memory Planner）会选择一个动作：创建（新模式）、更新（细化现有单元）、删除（移除误导性单元）或跳过。
- **记忆写入器（Memory Writer）**负责合成对比单元的内容，确保“安全侧”明确捕捉到良性对应的部分。一个非 LLM 的验证器用于确保结构的正确性。
推理流水线：
- 阶段 1（向量检索）： 基于序列化单元字段的向量相似度检索候选单元，优先保证机制级特征的高召回率。
- 阶段 2（检索判别器）： 一个基于 LLM 的重排序器对候选单元进行过滤，分配 适用 (APPLIES)、可能 (MAYBE) 或 不适用 (DOES_NOT_APPLY) 的判定，以确保检索到的策略确实与查询对齐，从而减少噪声。
- 护栏决策： 最终护栏根据过滤后的单元集对查询进行评估，以发布安全 (SAFE) 或不安全 (UNSAFE) 的判定。

核心贡献

对比安全记忆 (CSM)： 一种新型的记忆表示方法，将攻击模式与其良性对应项进行配对，使安全边界的“安全侧”变得显式，从而抑制过度拒绝。
配对自演进： 一种经验驱动的学习规则，通过创建、更新和删除操作，将有害和良性交互提炼为对比单元，并按攻击策略而非表面形式进行索引。
全面评估： 在模型级 (HarmBench) 和智能体级 (AgentHarm) 安全基准测试中进行了评估，证明了其针对六种不同越狱转换的鲁棒性。

实验结果

作者在 HarmBench 和 AgentHarm 上将 MEMBRANE 与最先进的基准模型（包括提示词级护栏、微调分类器和记忆增强型防御）进行了对比评估。

性能： MEMBRANE 在这两个基准测试的所有六种越狱攻击中均取得了最高的 F1 分数。
- 在 HarmBench 上，它将 ReNeLLM 和 FlipAttack 的攻击成功率 (ASR) 降低至接近于零，且比最强的基准模型具有显著的 F1 优势。
- 在 AgentHarm 上，MEMBRANE 取得了所有方法中最高的 F1 分数，其中 FlipAttack 的 ASR 从原始模型的 100% 降至 0.9%。
良性拒绝： 这是衡量可用性的关键指标。MEMBRANE 在 AgentHarm 上的良性拒绝率保持在 7–14%。这显著低于记忆增强型基准模型（28–53%）和静态护栏（73–85%），证明了其区分良性查询与攻击的能力。
泛化性与鲁棒性：
- 跨攻击迁移： 以策略为索引的单元在迁移到具有相同底层机制的不同攻击时，保留了 87–88% 的 F1 性能。
- 记忆投毒： 在 20% 数据注入率（包括“将安全识别为不安全”和“将不安全识别为安全”的攻击）的情况下，MEMBRANE 保持稳定，ASR 漂移低于 1 个百分点，且检索判别器能成功过滤被投毒的单元。
延迟： 虽然完整系统会产生开销，但使用 “MEMBRANE lite” 配置（禁用检索判别器）可将延迟降低至约 2.3 秒，同时保持高 F1 分数，表现优于 SmoothLLM 等重型基准模型。

重要性

本文认为，以往基于记忆的防御失效的主要原因是缺乏安全输入与不安全输入之间的显式对比。通过将记忆构建为按攻击策略（而非表面话题）进行索引的对比单元，MEMBRANE 解决了覆盖范围脆弱与过度拒绝这两个耦合问题。

作者声称，这种方法允许单个记忆单元在处理具有相同攻击机制的不同话题变体时实现泛化，同时能明确排除那些虽然具有相同表面特征但属于良性的查询。实验结果表明，自演进的对比记忆可以提供一种可部署、具适应性的防御手段，在面对不断演变的对抗策略和潜在的数据投毒时，仍能在保持高精确度的同时，不牺牲对合法用户请求的接受度。