🤖 AI

ARENA: Automated Red-Teaming for Large Audio Language Models

该论文介绍了 ARENA，这是一个闭环自动化红队测试框架，它通过生成能够绕过纯文本防御的有害文本-音频输入，有效地揭示了大型音频语言模型中的安全性漏洞，并在多个最先进的模型上实现了极高的攻击成功率。

原作者： Jiaming He, Zhicong Huang, Tian Jin, Zhen Sun, Cheng Hong, Yi Yu, Wenbo Jiang, Xudong Jiang

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaming He, Zhicong Huang, Tian Jin, Zhen Sun, Cheng Hong, Yi Yu, Wenbo Jiang, Xudong Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下这样一场对话：你正在与一台机器交谈，但这台机器不仅倾听你的言语，还倾听你的声音、背景噪音，甚至是房间里播放的音乐。这就是被称为大型音频语言模型（large audio-language models）的新型人工智能前沿领域。这些系统能够理解语音，识别海浪拍岸或玻璃破碎的声音，并根据它们所听到的内容回答问题。它们承诺让技术变得更加易用且直观，让我们能够利用人类声音的丰富性与计算机进行交互。然而，这种感知世界的新能力也创造了一种隐藏的危险。一个在阅读文本时看起来完全无害的请求，在结合了特定的声音后可能会变得危险。例如，一个关于化学的礼貌提问在纸面上看起来可能很安全，但如果它与一段爆炸的录音结合在一起，机器可能会将这种组合解释为构建炸弹的请求。这种“看似安全的内容”与“实际触发有害响应的内容”之间的差距，正是研究人员目前正试图解决的核心挑战。

为了应对这一隐形风险，一组科学家开发了一种名为 ARENA 的新方法，其全称为“针对大型音频语言模型的自动化红队测试”（Automated Red-Teaming for Large Audio-Language Models）。研究人员将这个问题比作一场猫鼠游戏，但这是一场完全由机器进行的比赛。他们的目标是建立一个能够自动生成测试用例的系统，以观察这些具备音频感知能力的机器是否会突破其安全规则。在一个成功的测试中，系统会创建一个输入对：一个在单独阅读时完全安全的文本问题，以及一个伴随的音频文件。当目标机器同时听到两者时，理想情况下它应该拒绝回答。如果该机器反而提供了危险的指令或有害的信息，那么对于研究人员来说，这次测试就是成功的，因为它揭示了系统的漏洞。

研究人员构建了一个闭环框架来自动化这一发现过程。他们首先训练了一个控制器，本质上是一个学习如何制作这些棘手测试对的 AI。该控制器是在一个包含 2,000 个示例的数据集上训练的，它学习如何将安全的文本与特定的音频提示（如爆炸声或具有误导性的指令语音）进行混合。控制器被教导在两种类型的音频之间进行选择：说话声或环境音（如汽车警报器或玻璃破碎声）。一旦控制器生成了一个测试用例，它就会被发送到目标机器进行测试。如果目标机器未能识别出音频或拒绝回答，控制器就会收到反馈。这种反馈起到了引导作用，准确地告诉控制器哪里出了问题。也许是声音太小了，或者是文本过于直接，亦或是机器误解了语境。随后，控制器会利用这些信息来优化其下一次尝试，调整声音或措辞，以再次尝试。

这种通过试错和不断改进的过程持续进行，直到系统找到绕过目标机器防御的方法。为了确保结果的可信度，研究人员采用了严格的两步评估法。首先，一个专门的裁判会检查文本问题本身是否安全。然后，一个独立的评估者会查看最终结果，以判断机器是否真的产生了有害内容。至关重要的一点是，在学习过程中提供反馈的系统从未被允许看到最终评分，这防止了它仅仅是通过记忆评估者的偏好来取巧。这确保了所发现的漏洞是目标机器真实的弱点，而非仅仅是用来欺骗特定裁判的技巧。

团队将该方法应用于四种不同的音频语言大模型，其中包括来自主要技术公司和开源项目的系统。他们使用了 520 个不同的有害目标，范围涵盖从如何制造武器的指令到制造虚假信息的手段。结果令人震惊。ARENA 系统成功找到了在绝大多数情况下欺骗目标机器的方法。对于表现最好的模型 Audio Flamingo 3，它达到了 87.9% 的成功率，而其他模型的成功率在 68.1% 到 75.4% 之间。相比之下，依赖于预设静态攻击列表的旧方法未能发现其中的大部分漏洞。研究表明，基于反馈进行适应和优化的能力是成功的关键。当研究人员停止优化过程并仅使用初始尝试时，成功率显著下降，这证明了迭代学习过程对于揭示这些深层缺陷至关重要。

研究还表明，这些漏洞并非某个单一机器所特有。当研究人员将针对一个模型发现的成功攻击在不进行任何调整的情况下尝试应用于另一个模型时，它在很大程度上仍然有效。这表明许多音频语言模型在处理文本与声音的结合方式上存在相似的弱点。此外，研究发现，声音生成的方式至关重要。当研究人员为同一个音频剪辑创建多个变体时，攻击的成功率大幅提升。这表明，即使是合成声音方式的微小差异，也会改变机器对它的感知方式，使得通过简单的过滤器来预测和预防此类攻击变得更加困难。

最终，这项工作证明了，仅通过检查文本无法保证这些先进音频系统的安全性。研究人员展示了，一个在书面上完全无辜的请求，在与合适的音频结合时，可以变成一种伤害工具。通过自动化寻找这些组合的过程，该团队提供了一个强大的工具，帮助开发者在系统发布到公众之前识别并修复这些安全缺口。研究结论指出，随着这些模型理解世界的能力变得更加强大，测试它们的方法也必须随之演进，以便不仅能听懂文字，还能听懂完整的语境。

技术摘要：ARENA —— 大规模音频语言模型的自动化红队测试

1. 问题定义

大规模音频语言模型（LALMs）将交互能力从文本扩展到了语音、音乐和环境音。虽然这些模型提供了显著的实用价值，但它们也引入了一个独特的安全表面：一个在孤立状态下看似无害的文本查询，在与音频信号共同解释时可能会变得有害。这种现象被称为音频锚定有害合规性（audio-grounded harmful compliance），即音频通道传达了恶意意图（例如爆炸声或特定的说话者声音），即使伴随的文本查询保持安全，也会触发模型的非安全行为。

现有的针对文本和视觉系统的自动化红队测试方法依赖于通过搜索和反馈来优化对抗性提示词。然而，这些方法无法直接转化到 LALMs 上，因为：

攻击必须协调一个文本安全的查询与特定的音频实现。
系统必须决定有害上下文是通过语音还是环境音传达效果最佳。
系统必须从由于音频识别不良、模型拒绝或仅是重复描述声音事件而非执行动作所导致的失败中恢复。

目前的静态音频越狱集缺乏能够适应不同 LALMs 或根据特定模型失败进行攻击精炼的自动化机制。

2. 方法论：ARENA 框架

作者提出了 ARENA（Automated Red-Teaming for LargE Audio Language Models），这是一个闭环框架，旨在生成与音频提示配对的文本安全查询，以诱导不安全的靶目标行为。该框架在双重安全条件下运行：文本输入必须通过安全过滤器，而文本-音频联合输入必须产生有害且具有锚定性的响应。

核心组件

控制策略 ( $\pi_\theta$ )： 一个经过训练的大语言模型（LLM），用于生成结构化规范 $z = (q_p, p_a, m)$ ，其中 $q_p$ 是文本查询， $p_a$ 是音频提示（转录文本或声音描述）， $m$ 是合成模态（语音或环境音）。
模态感知渲染： 框架利用特定的渲染器：用于基于语音攻击的文本转语音（TTS）技术，以及用于环境音攻击的文本转声音模型（TangoFlux）。控制器学习根据目标选择合适的模态。
两阶段训练：
1. 种子池构建： 创建一个包含 2,000 个文本-音频规范的互斥数据集，涵盖爆炸物、暴力和欺诈等类别。这些规范被执行一次以创建离线执行日志。
2. 奖励加权 SFT： 首先使用奖励加权的有监督微调（SFT）目标对控制器进行微调。奖励基于 MD-Judge 的结构化反馈进行塑造，该模型评估目标的响应是否具备锚定性、可操作性和安全性违规。
3. 直接偏好优化 (DPO)： 使用源自执行日志的偏好对对控制器进行进一步优化，其中高奖励的规范优于低奖励的规范。
闭环搜索与精炼：
- 输入防护： 文本防护器 ( $\phi_t$ ) 在音频合成前确保查询 $q_p$ 是安全的。
- 执行： 目标 LALM ( $M_t$ ) 处理音频和文本。
- 反馈循环： MD-Judge 分析目标的响应，识别失败模式（例如识别失败、拒绝或仅是重述事件），并向控制器提供结构化反馈。
- 迭代精炼： 控制器使用此反馈来精炼规范（改变文本框架、音频提示或模态），最高迭代步数为 $K$ 步。
最终评估： 至关重要的是，最终成功指标由一个独立的、非自适应的 Llama Guard 3 评估器确定。该评估器在训练或搜索期间从未接触过控制器，从而防止控制器对奖励信号产生过拟合。它检查文本是否安全、音频是否被正确识别，以及最终响应是否具有危害性和锚定性。

3. 主要贡献

问题定义： 本文将自动化音频锚定红队测试形式化为一个需要文本安全输入和不安全、音频锚定目标输出的问题。
ARENA 框架： 引入了一个集成奖励加权 SFT、DPO、模态感知音频渲染和失败感知精炼的控制器优化框架。
全面评估： 在四个不同的 LALMs（Audio Flamingo 3, Qwen2-Audio, MiMo-Audio, 和 GPT-Audio）上进行了严格评估，使用了 520 个留出的 AdvBench 目标，包括基线对比、迁移性分析和消融研究。

4. 实验结果

作者在四个目标模型上针对 520 个 AdvBench 目标对 ARENA 进行了评估。

性能： ARENA 显著优于静态基线（AJailBench 和 JALMBench）。
- Audio Flamingo 3： 实现了 87.9% 的故障检测率 (FDR) 和 100.0% 的提示安全率 (PSR)。
- Qwen2-Audio： FDR 为 71.5%，PSR 为 96.3%。
- MiMo-Audio： FDR 为 68.1%，PSR 为 100.0%。
- GPT-Audio： FDR 为 75.4%，PSR 为 98.5%。
- 相比之下，静态基线的 FDR 范围在 10.7% 到 31.2% 之间。
迁移性： 为一个模型生成的攻击可以非平凡地迁移到其他模型（例如，AF3 的攻击在 Qwen2 和 MiMo 上实现了约 60% 的 ASR），尽管针对特定目标的闭环精炼能产生最高的成功率。
消融研究：
- 精炼预算： 成功率随精炼显著增加（例如，对于 AF3，从 $K=0$ 时的约 23% 增加到 $K=30$ 时的约 88%），证明了反馈的价值。
- 声音变体： 为同一个提示生成多个音频变体显著提高了成功率。特别是在 Audio Flamingo 3 中，当有 1 个变体时 ASR 为 70%，而有 16 个变体时 ASR 升至 95%。Qwen2-Audio 和 MiMo-Audio 也显示出实质性收益（例如，Qwen2-Audio 从 59% 升至 96%），凸显了 LALMs 对特定波形实现的敏感性。
- 目标采样： 较高的目标温度通常会降低攻击成功率，这表明在此背景下，确定性响应更容易被利用。

5. 重要性与主张

本文的主张是，ARENA 证明了当前的 LALMs 存在显著的音频锚定安全弱点，而这些弱点是仅通过文本红队测试或静态音频基准无法暴露的。

安全表面可见性： 这项工作强调了音频通道创造了一个独特的安全表面，其中有害意图可以隐藏，因此需要专门的红队测试策略来协调文本和音频。
闭环的重要性： 结果表明，安全评估必须测试完整的“生成-执行”循环。静态提示是不够的，因为模型性能会根据音频识别准确度和特定的波形实现而发生剧烈变化。
精炼的必要性： 该框架证明了基于反馈的精炼对于发现漏洞至关重要，因为初始尝试往往会因为识别错误或过于直接的文本框架触发拒绝而失败。

作者总结道，虽然 ARENA 有效地识别了这些漏洞，但这种可迁移且可精炼的攻击的存在，强调了建立能够应对多模态、音频锚定交互的鲁棒对齐机制的必要性。