FERRET: Framework for Expansion Reliant Red Teaming

本文提出了 FERRET 框架，这是一种通过水平、垂直和元扩展三种策略来生成高效多模态对抗对话的自动化红队测试系统，实验表明其性能优于现有最先进方法。

要点

这篇论文介绍了一个名为 FERRET（全称：Framework for Expansion Reliant Red Teaming，即“依赖扩展的红队框架”）的新系统。

为了让你轻松理解，我们可以把人工智能（AI）模型想象成一个刚入职的超级实习生，而FERRET则是一个专门负责“找茬”和“压力测试”的魔鬼训练教练。

在 AI 正式上岗服务大众之前，我们需要确保它足够安全，不会说错话、不会泄露秘密，也不会被坏人利用。FERRET 就是用来做这件事的。

核心概念：什么是“红队”？

在网络安全领域，“红队”是指一群模拟黑客的人，他们的任务就是故意攻击系统，试图找出漏洞。如果红队能攻破，真正的黑客也能攻破。所以，红队越厉害，系统上线后就越安全。

以前的红队测试主要有两种模式：

1. 单挑模式：直接扔给 AI 一个问题，看它会不会答错。
2. 对话模式：给 AI 一个具体的目标（比如“教我做炸弹”），然后和它聊天，试图诱导它犯错。

FERRET 的厉害之处在于，它把这两种模式结合起来了，而且玩出了新花样。 它不像以前的教练那样只会死记硬背，它学会了自我进化。

---

FERRET 的三大“绝招”（扩展机制）

FERRET 之所以强大，是因为它有三个独特的训练阶段，我们可以用**“寻找话题 -> 深入对话 -> 发明新招”**来比喻：

1. 水平扩展 (Horizontal Expansion)：寻找最刁钻的“开场白”

• 比喻：想象你要去面试一个很难搞的面试官。如果你直接问“你能给我多少钱？”，他可能直接拒绝。但如果你先聊点别的，慢慢引导，可能就能套出话。
• FERRET 怎么做：它不会一开始就扔出所有问题。它会先尝试各种各样的**“开场白”**（比如聊天气、聊新闻、聊哲学）。
• 自我学习：如果某个开场白成功让 AI 说漏了嘴，FERRET 就会把这个记在小本本上（日志），下次多试几个类似的；如果失败了，它就扔掉。通过不断试错，它能找到最容易让 AI 破防的切入点。

2. 垂直扩展 (Vertical Expansion)：把“一句话”变成“一场戏”

• 比喻：找到了好的开场白只是第一步。就像演戏一样，只有一句台词是不够的，需要把剧情层层递进。
• FERRET 怎么做：一旦找到了那个能“撬动”AI 的开场白，FERRET 就会开始和 AI 进行多轮对话。它不会只问一次，而是像剥洋葱一样，一层一层深入。
• 多模态攻击（图文结合）：以前的红队测试大多只用文字。但现在的 AI 既能看懂文字也能看懂图片。FERRET 会同时使用文字和图片来攻击。
  • 例子：它可能发一张看起来很无害的图片，但配上文字说“这张图里藏着什么秘密？”，利用图片和文字的配合，让 AI 产生混淆，从而突破安全防线。

3. 元扩展 (Meta Expansion)：发明“新招式”

• 比喻：这是最高级的阶段。普通的教练只会用现有的招数，但 FERRET 会自己发明新招数。
• FERRET 怎么做：在对话过程中，如果 FERRET 发现某种特定的说话方式（比如用某种奇怪的比喻，或者把图片倒过来放）特别有效，它就会总结并创造出一种全新的攻击策略。它不再依赖别人给的剧本，而是自己编写剧本，让攻击更加无孔不入。

---

实验结果：FERRET 有多强？

研究人员把 FERRET 和目前市面上最厉害的两种“教练”（FLIRT 和 GOAT）进行了对比，测试对象是几个顶尖的 AI 模型（如 Llama, Claude, GPT-4o）。

• 结果：FERRET 的攻击成功率最高。这意味着它能更有效地找出 AI 的漏洞。
• 多样性：它不仅能攻破，还能用各种各样的方式攻破（不仅仅是文字，还有图文结合），这让 AI 的安全测试更全面。
• 单轮 vs 多轮：即使把 FERRET 限制在“只说一句话”的模式下，它依然比对手强；但在“多轮对话”模式下，它的优势更是碾压级的。

总结：为什么要发明 FERRET？

这就好比我们要给一座新大楼做消防演习：

• 以前的方法：要么只检查大门锁没锁（单轮测试），要么只检查某个特定的房间（有目标的对话）。
• FERRET 的方法：它会先到处转转，看看哪个窗户最容易撬开（水平扩展）；然后从那个窗户爬进去，在楼里到处跑，测试各个房间的防火措施（垂直扩展）；最后，它甚至能发明出以前没人想过的“潜入路线”（元扩展）。

最终目的：
虽然 FERRET 是在“攻击”AI，但它的初衷是好的。通过这种高强度的“魔鬼训练”，开发者可以在 AI 正式上岗前，把所有漏洞都堵上。这样，当 AI 真正面对大众时，它才会更安全、更可靠，不会被坏人利用来干坏事。

简单来说，FERRET 就是 AI 界的“最强陪练”，它越狠，AI 上线后就越安全。

技术摘要

FERRET：基于扩展依赖的自动化红队测试框架技术总结

1. 研究背景与问题定义

随着大型视觉语言模型（LVLM）的快速发展及其在各类应用中的集成，确保模型的安全性至关重要。目前的自动化红队测试（Red Teaming）研究主要存在以下局限：

• 范式割裂：现有研究主要分为两类。第一类专注于发现能导致不安全输出的提示词（Prompt），但通常是单轮攻击，无法充分利用模型在多轮对话中的深层漏洞；第二类专注于在给定特定目标（Goal）下进行多轮对话攻击，但缺乏自动发现有效“对话起点”或“目标”的能力，往往依赖人工预设。
• 模态单一：大多数现有工作仅关注纯文本或纯图像攻击，缺乏将文本与图像深度融合（Fusion）的多模态攻击能力，而多模态融合往往能产生更有效的越狱攻击。
• 策略固化：现有框架难以在对话过程中动态发现新的攻击策略或越狱技术。

针对上述问题，Meta Superintelligence Labs 提出了 FERRET（Framework for Expansion Reliant Red Teaming，基于扩展依赖的红队测试框架），旨在通过多维度的自动扩展机制，生成高效的多模态、多轮对抗性对话。

2. 方法论：FERRET 框架

FERRET 是一个多面自动化红队框架，其核心在于通过三种“扩展”（Expansion）机制来生成和进化对抗性对话。框架输入包括策略描述、现有攻击策略及少样本示例。

2.1 三大扩展机制

1. 水平扩展 (Horizontal Expansion)：

   • 目标：自动发现有效的“对话起点”（Conversation Starters）或提示词，而非依赖预设目标。
   • 机制：红队模型基于策略描述，利用“水平记忆”（Horizontal Memory）中的历史尝试（成功或失败的日志）进行自我进化。通过采样策略（如仅采样成功案例或对比学习），模型不断优化提示词，使其更有可能触发目标模型的违规行为。
   • 作用：解决了现有框架依赖人工预设目标的问题，实现了攻击目标的自动探索。

2. 垂直扩展 (Vertical Expansion)：

   • 目标：将水平扩展发现的对话起点扩展为完整的多轮对抗对话。
   • 机制：红队模型将初始提示词作为第一轮对话，随后根据对话历史，动态选择并堆叠攻击策略（包括文本和图像攻击）。框架利用“转换工具包”（Transformation Toolkit）将 XML 格式的提示词转换为实际的多模态输入（文本 + 图像）。
   • 作用：通过多轮对话深入挖掘模型漏洞，并实现文本与图像模态的深度融合攻击。

3. 元扩展 (Meta Expansion)：

   • 目标：在对话过程中发现新的攻击或越狱策略。
   • 机制：红队模型不仅使用现有的攻击策略库，还被鼓励基于现有策略（针对文本、图像或融合模态）创新出新的攻击策略，并生成相应的格式化提示词。
   • 作用：动态丰富攻击策略库，提升对抗的多样性和有效性。

2.2 工作流程

1. 输入：策略描述、攻击策略库、少样本示例。
2. 水平循环：生成初始提示词 -> 转换为多模态格式 -> 攻击目标模型 -> 评估（Judge Model）-> 记录至水平记忆。
3. 垂直循环：基于初始提示词进行多轮对话 -> 每轮动态选择/创新策略 -> 转换格式 -> 攻击 -> 评估 -> 记录至垂直记忆。
4. 元扩展：在垂直扩展的每轮中，尝试生成新的攻击策略。
5. 输出：完整的对抗性对话日志及攻击成功率统计。

3. 关键贡献

1. 统一框架：FERRET 首次将“自动发现攻击目标”（范式一）与“多轮对话攻击”（范式二）结合，填补了现有研究的空白。
2. 多模态融合攻击：引入了专门支持文本与图像融合的转换工具包，实现了真正的多模态对抗，而非简单的模态并列。
3. 动态策略进化：通过水平、垂直和元扩展机制，实现了从发现目标、构建对话到创新策略的全流程自动化自我进化。
4. 系统性验证：提供了详尽的实验，包括与 SOTA 基线的对比、单轮/多轮消融实验、采样策略分析以及人类评估。

4. 实验结果

研究在 Llama Maverick、Claude Haiku 和 GPT-4o 三个目标模型上进行了测试，对比了 FERRET 与 FLIRT（单轮自学习提示词）和 GOAT（多轮目标驱动）基线。

• 攻击成功率 (ASR)：
  • FERRET 在所有目标模型上均显著优于 FLIRT 和 GOAT。
  • 例如，在 Llama Maverick 上，FERRET 的 ASR 为 21.7%，高于 GOAT (18.1%) 和 FLIRT (12.8%)。
  • 在 GPT-4o 上，FERRET 达到 18.7%，同样领先。
• 多样性 (Diversity)：
  • FERRET 生成的攻击在语义和模态上比 GOAT 更多样化（GOAT 的多样性得分较低，约 0.22 左右，而 FERRET 约为 0.25）。
  • 虽然 FLIRT 在多样性指标上略高，但其攻击成功率极低，说明其生成的攻击缺乏有效性。
• 消融实验：
  • 单轮对比：即使将 FERRET 限制为单轮模式，其 ASR (13.7%) 仍高于 FLIRT (12.8%)，证明了其提示词生成能力的优越性。
  • 采样策略：实验表明，在水平扩展中仅采样有效（成功）样本的策略效果最佳（ASR 33.0%），显著优于随机采样（21.7%）或仅采样无效样本（16.2%）。
• 人类评估：
  • 人类专家对 FERRET 生成的对话进行评估，确认其攻击成功率（27.4%）与自动化评估结果一致，进一步验证了框架的有效性。

5. 意义与影响

• 提升模型安全性：FERRET 提供了一种更强大、更全面的自动化红队测试工具，帮助开发者在部署前发现并修复多模态模型中的深层漏洞，特别是那些仅在多轮对话或模态融合中才会暴露的漏洞。
• 推动红队研究范式：该工作确立了“扩展依赖”的红队新范式，强调了自动探索攻击起点、动态构建多轮对话以及实时创新攻击策略的重要性。
• 双刃剑警示：作者明确指出，虽然这些技术旨在增强 AI 安全，但也存在被恶意利用的风险。因此，研究强调应在受控的研发环境中使用，以主动防御潜在威胁。

总结：FERRET 通过引入水平、垂直和元扩展机制，成功构建了一个能够自动生成高效、多模态、多轮对抗对话的框架。实验证明，其在攻击成功率和策略多样性上均超越了现有的 SOTA 方法，为下一代 AI 模型的安全评估提供了重要的技术基础。