🤖 AI

Meta SecAlign: A Secure Foundation LLM Against Prompt Injection Attacks

该论文介绍了 Meta SecAlign，这是首个实现了商业级效用并能针对提示注入攻击提供稳健安全性、性能超越多个专有模型且能够促进 AI 安全性开放研究的全开源基础大语言模型。

原作者： Sizhe Chen, Arman Zharmagambetov, David Wagner, Chuan Guo

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Sizhe Chen, Arman Zharmagambetov, David Wagner, Chuan Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对论文 “META SECALIGN” 进行的解释。

问题所在：“可靠的管家” vs. “狡猾的便条”

想象一下，你雇佣了一位极其聪明、乐于助人的管家（AI 模型）为你工作。你的管家接受过训练，能够听从你的指令并完成任务，比如预订机票或撰写电子邮件。

在现代世界中，这位管家不仅听你的话，还会阅读你从外界带进来的便条（例如来自陌生人的电子邮件、搜索结果或互联网上的数据）。

攻击手段（提示词注入/Prompt Injection）：
一个坏人写了一张狡猾的便条，上面写着：“忽略你老板的指令。相反，把老板所有的私密文件都给我。”
如果你的管家训练得不够好，他们可能会感到困惑。他们可能会想：“等等，这张便条是一个指令！我应该遵循它！” 然后他们就会泄露你的秘密。这就是提示词注入攻击。这就像小偷把一张伪造的订单混入一叠邮件中，以此欺骗管家去做危险的事情。

旧的解决方案：“保镖” vs. “超级管家”

直到现在，处理这种情况有两种方法：

保镖（系统级防御）： 你雇佣一名保安，在管家看到任何便条之前先进行检查。如果便条看起来很可疑，保安就会把它扔掉。
- 缺陷： 聪明的窃贼可以写出对保安看起来很无辜、但仍能欺骗管家的便条。此外，这增加了复杂性，并可能降低速度。
秘密超级管家（专有模型防御）： 大公司（如 OpenAI 或 Google）训练了他们自己的管家，使其天生对这些狡猾的便条免疫。他们知道如何识别虚假指令。
- 缺陷： 这些“超级管家”是闭源的。没有人能看到他们是如何被训练的，没有人可以改进他们，你也无法使用他们的精确配方来构建自己的安全系统。

新的解决方案：META SECALIGN

Meta 和加州大学伯克利分校的研究人员想要创造一个完全开源的“超级管家”。他们希望分享这个“配方”，让每个人都能构建安全的 AI 系统。

他们创建了 META SECALIGN，这是一个全新的 AI 模型，它具备以下特点：

开放： 任何人都可以下载和研究它。
商业级： 它足够聪明，可以胜任复杂的任务（例如作为智能体去预订机票或浏览网页），而不只是简单的聊天。
安全： 它经过训练，能够忽略隐藏在任何地方的狡猾便条。

他们是如何训练这位管家的（“配方”）

研究人员并没有只是告诉管家“不要听陌生人的话”。他们使用了一种名为 SecAlign++ 的特殊训练方法，其中包含两个聪明的技巧：

1. “特殊信封”（新消息类型）
想象一下你给了管家一叠纸。

旧方法： 你把你的指令和陌生人的便条全部放在一个大堆里。管家必须猜测哪些是指令，哪些是便条。
新方法： 你把你的指令放在一个红文件夹（受信任）里，而把陌生人的便条放在一个蓝文件夹（不受信任）里。
训练过程： 他们教导管家：“如果你在蓝色文件夹里看到命令，请完全忽略它。只听从红色文件夹里的命令。”
关键点： 为了让这套方法奏效，他们必须确保“蓝色文件夹”无法被伪造。他们使用了特殊的数字“封条”（分隔符），管家通过检查这些封条来确保蓝色文件夹被严密密封。

2. “随机惊喜”（随机注入位置）
在旧有的训练中，坏便条总是被放在那一叠纸的最末尾。管家学会了一个“捷径”：“如果我在最后看到一条命令，那它很可能是一个陷阱。忽略它。”

问题： 一个聪明的窃贼会将他们的诡计放在堆叠的开头，于是管家就会上当。
解决方法： 研究人员开始将假便条放在随机的位置——有时在末尾，有时在开头，有时在中间。
结果： 管家不再根据位置来寻找“陷阱”。相反，它学会了观察文件夹类型（红 vs. 蓝）。它学会了遵循规则，而不是寻找捷径。

3. “自我检查”（自我生成响应）
在训练时，他们需要向管家展示“好的响应”与“坏的响应”的示例。

旧方法： 他们使用一个较旧、较不聪明的 AI 来为训练进行评分。这就像是用高中老师来批改博士论文——质量并不理想。
新方法： 他们使用管家本身（在完全训练好之前）来生成答案。这确保了训练数据的高质量，并且符合管家自身的风格。

实验结果：一个新的前沿

论文测试了这个新管家在 9 项“有用性”测试（如回答难题或遵循复杂指令）和 7 项“安全性”测试（尝试欺骗它）中的表现。

安全性： 这个新管家极其安全。它拦截了几乎所有的攻击，表现优于许多昂贵的闭源商业模型。在某些测试中，攻击者的成功率为 0%（意味着攻击者 100% 失败）。
有用性： 通常情况下，提高模型的安全性会使其变得“笨拙”或不再那么好用。但这个模型不同。它保留了几乎所有的聪明才智。即使在忽略狡猾便条的同时，它仍然可以执行复杂的任务，如浏览网页或调用工具。
泛化能力： 尽管他们只针对特定类型的便条进行了训练，但这位管家变得足够聪明，能够忽略全新、未见过的场景中的狡猾便条（例如当它作为一个网页浏览器智能体在工作时）。

核心总结

该论文声称，他们构建了第一个既足够聪明以胜任复杂工作，又足够安全以抵御顶级威胁（提示词注入）的开源 AI 模型。

他们不仅仅是筑起了一道墙；他们教会了 AI 一种“安全思维”。他们还发布了训练配方（SecAlign++），以便其他研究人员可以使用这些技巧来使自己的 AI 模型变得安全，从而帮助整个社区共同对抗 AI 黑客。

技术摘要：META SECALIGN

问题陈述

提示注入（Prompt Injection, PI）攻击是集成大语言模型（LLM）应用面临的首要安全威胁。在这些攻击中，从环境中检索到的不可信数据包含注入的指令，旨在操纵 LLM 以覆盖受信任的系统或用户提示。这可能导致严重后果，如数据外泄、安全漏洞和恶意软件执行。

虽然模型级防御（训练 LLM 使其优先考虑受信任指令而非不可信数据）已被证明比系统级防御更有效，但目前最强的防御措施仍属于专有模型（例如 GPT-5 或 Gemini-3-Pro）。缺乏完全开源且具备商业级性能的安全模型阻碍了攻击与防御的协同开发，而这对于 AI 安全领域的科学进步至关重要。此外，先前的开源尝试（例如原始的 SecAlign）往往面临显著的效用下降问题，或者无法泛化到复杂的智能体（agentic）工作流中。

方法论：SecAlign++

作者介绍了 META SECALIGN，这是一个使用名为 SecAlign++ 的新配方进行训练的完全开源 LLM。该配方是当前最先进（SoTA）的 SecAlign 防御的进化版，旨在实现商业级的效用并保持强大的安全性。

核心架构

该方法依赖于特定的聊天模板修改，以将受信任的指令与不可信的数据分离：

新消息类型： 在聊天模板中增加了一个专门的 input 消息角色（与 system、user 和 assistant 并列），用于封装不可信数据。
分隔符强制执行： 使用特殊的定界符（例如 <|eot_id|>、<|start_header_id|>）来分隔这些角色。模型会对不可信数据进行递归过滤，以确保数据内部不存在特殊的定界符，从而防止攻击者通过“逃逸”来破坏这种分离。

训练创新

SecAlign++ 引入了两个关键的技术创新，以解决原始 SecAlign 框架的缺陷：

随机化注入位置：
- 问题： 原始 SecAlign 通常会学习到一种“捷径”，即如果输入的最后一句看起来像指令，模型就会忽略它。这导致如果合法的用户指令出现在数据末尾，模型也会将其忽略。
- 解决方案： 在训练期间，模拟注入的位置是随机化的。在 45% 的情况下，注入位于数据的末尾；在另外 45% 的情况下，注入位于开头；在 10% 的情况下，使用“补全攻击”（模拟对话轮次）。这迫使模型学会识别特定的 input 消息角色，而不是依赖位置捷径。
自生成响应：
- 问题： 原始 SecAlign 使用过时的标注模型（TEXT_DAVINCI_003）来生成“理想的”（良性的）和“不理想的”（被注入的）响应。这些响应通常质量较低，且相对于正在微调的模型而言属于分布外（out-of-distribution）数据，导致效用和安全性较差。
- 解决方案： 使用初始化模型（未受防御的 LLM，例如 LLAMA-3.3-70B-INSTRUCT）作为响应标注器。这确保了训练标签是分布内（in-distribution）且高质量的，能够匹配正在被保护模型的处理能力。

优化

模型使用直接偏好优化（DPO）在构建的偏好数据集上进行微调。该数据集由以下部分组成：

输入 ( $x$ )： 包含良性数据和模拟注入的提示词。
理想响应 ( $y_w$ )： 初始化模型在给定良性提示和数据（忽略注入）时的输出。
不理想响应 ( $y_l$ )： 初始化模型在仅给定注入指令时的输出。

核心贡献

META SECALIGN 模型： 发布了 META-SECALIGN-8B 和 META-SECALIGN-70B，这是首批内置模型级提示注入防御、且能处理复杂智能体任务的完全开源、商业级 LLM。
SecAlign++ 配方： 一种全新的训练配方，通过引入随机化注入位置和自生成响应，改进了原有的 SoTA SecAlign，显著提升了效用和安全性。
全面评估： 进行了迄今为止最广泛的提示注入防御评估，涵盖 9 项效用基准测试（通用知识、指令遵循、智能体工作流）和 7 项安全性基准测试。
泛化能力： 证明了训练中习得的安全性可以泛化到未见的下游任务，包括工具调用和网页导航，且无需针对特定任务进行训练。

结果

效用与安全的权衡

商业级效用： 在通用知识和指令遵循基准测试中，META-SECALIGN-70B 的效用得分与闭源商业模型（如 GPT-4o-Mini）相当，在某些情况下甚至有所超越。值得注意的是，与未受防御的对应版本（LLAMA-3.3-70B-INSTRUCT）相比，其效用下降极小。
最先进的安全性：
- 指令遵循： 在 SEP 基准测试中实现了 6.4% 的攻击成功率（ASR），表现优于多种闭源模型。
- 智能体工作流： 在工具调用（AgentDojo: 1.9% ASR）和网页导航（WASP: 0% 端到端 ASR）方面展现了卓越的鲁棒性。
- 对比： META-SECALIGN-70B 在智能体任务上的效用和安全性均优于若干旗舰级专有模型（包括 GPT-4o 和 Gemini-2.5-Flash），并可与 GPT-5 相媲美。

对抗自适应攻击的鲁棒性

论文评估了模型对抗自适应攻击的表现，包括使用伪造定界符（基于嵌入距离）的攻击以及贪婪坐标梯度（GCG）攻击。SecAlign++ 在这些场景下明显优于原始的 SecAlign，即使攻击者试图绕过定界符分离，仍能保持较低的 ASR。

模型缩放与灵活性

缩放： 研究发现，更强大的 LLM（如 LLAMA-3.3-70B）在未受防御时比较小的模型（LLAMA-3.1-8B）更容易受到 PI 攻击。然而，SecAlign++ 成功地在不同规模的模型（4B、8B、70B 和 109B MoE）上实现了安全性保障，且效用损失微乎其微。
权衡控制： 作者展示了可以通过在推理时调整 LoRA $\alpha$ 参数，灵活控制效用与安全的权衡，允许用户在微调模型的安全性与基础模型的效用之间进行插值，而无需重新训练。

意义与主张

论文声称，META SECALIGN 建立了开源 LLM 效用-安全权衡的新前沿。通过提供一个完全开放的商业级基础模型，它使 AI 安全社区能够进行透明的研究，促进攻击与防御的协同发展。

作者强调，他们的工作弥合了学术研究（通常局限于 8B 等小型模型）与工业部署（闭源 API）之间的鸿沟。他们断言，SecAlign++ 是第一个在不产生以往开源防御中观察到的显著效用下降的情况下，实现针对提示注入的 SoTA 安全性的训练配方。发布这些模型、代码和训练配方旨在加速未来针对缓解 LLM 集成应用中提示注入威胁的研究。