From Inaudible Inputs to Model Failures: Low-Frequency Safety Risks in LALMs
本文介绍了一种名为间歇性低频锁定（Intermittent Low-Frequency Lockout, ILL）的不可听红队攻击方法，该方法利用低频信号显著降低大型音频语言模型（LALMs）的性能，同时提出了一种分布重询防护（Distributional Requery Guard, DRG）机制来检测此类攻击并恢复语义准确性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在与一个超级聪明的机器人交谈，它能听到一切：你的声音、树叶的沙沙声、冰箱的嗡嗡声，甚至背景中播放的音乐。科学家们称这些为“大型音频语言模型”（Large Audio-Language Models，简称 LALMs）。它们就像是数字化的耳朵和大脑的结合体，旨在通过声音来理解世界。但问题在于：这些机器人能听到人类耳朵无法捕捉到的声音。就像狗能听到人类听不到的高频哨声一样，这些 AI 模型可以处理那些对我们来说过于低频或高频的声音波。这创造了一种奇特的差距：你可能认为自己正在进行一场正常的对话，但机器人实际上正在听到隐藏在你言语之下的一个隐形的、秘密的噪声层。这篇论文探讨了当有人刻意利用这个隐形层来欺骗机器人时会发生什么。
由 Yuanhe Zhang 及其团队领导的研究人员决定玩一场“红队测试”（red teaming）的游戏，这基本上是一种高级说法，意思是通过尝试破坏系统来观察其弱点。他们发现了一种利用**间歇性低频锁定（Intermittent Low-Frequency Lockout，简称 ILL）**来迷惑这些音频机器人的巧妙方法。可以这样理解：想象你正试图听朋友讲故事，但有人在桌子底下敲击着一种非常微弱且有节奏的沉闷声。你完全听不到这种敲击声，但它产生的振动足以让坐在你对面的人觉得你朋友的声音变得模糊不清。这本质上就是 ILL 所做的。它使用一种“通用波形”——一种特定的低频声音模式（介于 5 到 20 Hz 之间，低于人类的听觉范围）——被注入到机器人接收到的音频中。
研究小组发现，这种隐形噪声在干扰机器人的大脑方面极其有效。当他们在六个不同的音频语言模型上进行测试时，这些机器人在理解语音、翻译语言或识别情绪方面的能力大幅下降。在某些情况下，其准确率下降了多达 67 个百分点。最可怕的是什么？听音频的人根本察觉不到区别。研究人员要求人类对音频的嘈杂程度进行 1 到 7 分的评分。干净的音频得分为 1.17，而带有秘密攻击的音频得分为 1.33。这仅仅比“完全无法察觉”高出了一点点，但足以让 AI 踉跄并给出错误的答案。
该论文还反驳了那种认为需要大声、明显的噪声才能破坏这些系统的观点。他们证明了你不需要用静电或大声的音乐来轰炸机器人；一个微小的、隐藏的低频脉冲就足以引发混乱。他们将此方法与其他类型的噪声攻击进行了对比，发现虽然他们的这种方法并不总是在每种场景下都是最差的，但它始终表现得非常强劲，并且至关重要的一点是，它更难被人类察觉。
但研究人员不仅仅是为了破坏，他们也想修复问题。他们提出了一种名为**分布重查询防护（Distributional Requery Guard，简称 DRG）**的防御机制。想象一下，每当你对机器人说话且它显得有些困惑时，机器人会礼貌地问：“嘿，刚才听起来有点奇怪。你能再说一遍吗？”DRG 系统就像是夜店里的保安。它倾听音频并检查“频谱指纹”（频率模式）看起来是否可疑。如果它检测到音频中隐藏着低频干扰，它会要求用户重新录制一遍句子。通过比较第一份录音（可能被干扰了）和第二份录音（希望是干净的），系统可以弄清楚用户实际想表达的意思。这种防御机制效果很好，在有干净的第二次录音可用时，将机器人的准确率从低至 28.5% 提升到了 46.1%。
最后，这篇论文提出了 AI 未来的一种新型安全风险。它表明，由于这些模型的听觉范围比我们更广，因此它们容易受到对我们而言隐形的攻击。作者建议，我们需要为我们的 AI 构建更好的“耳朵”，使其能够识别这些隐藏的频率并请求澄清，从而确保机器人听到的内容与我们想要表达的内容一致。虽然这些实验是在受控的模拟环境中而非现实野外进行的，但结果凸显了人类感知与机器听觉之间存在的真实差距，在我们这些音频助手成为日常生活的一部分之前，我们需要解决这个问题。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。