FASDP: Frequency-Aware Scale-Diverse Purification against Pixel-Space Visual Jailbreaks
该论文提出了 FASDP，一种无需训练且具备频率感知能力的净化框架，该框架能够跨图像尺度自适应地分配防御强度，从而在有效缓解视觉语言模型中像素空间视觉越狱攻击的同时，保持其在良性任务上的性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，出现了一类能够同时进行视觉观察与语言表达的新型系统。这些视觉-语言模型充当着数字观察者的角色，能够描述照片、回答有关图表的问题，或者在观察图像的同时进行对话。它们已成为从医学影像到自动驾驶等各个领域的强大工具。然而，正如人类会被视觉错觉所欺骗一样，这些系统也可以被操纵。研究人员发现，通过对图像像素进行微小的、通常是肉眼不可见的修改，攻击者可以迫使这些经过安全对齐的模型忽略其伦理准则，从而生成有害或危险的响应。这种被称为“视觉越狱”的漏洞构成了重大威胁，因为它不需要破解软件本身，只需要发送一张受损的图像即可。对于防御者而言，挑战在于如何在清除这些受损图像的同时，不至于将图像模糊到让模型无法理解其所见内容的地步。
来自成都信息工程大学和成都理工大学的一个研究小组提出了一种新方法来解决这一微妙的平衡难题。他们将这种方法称为 FASDP，这是一个旨在作为过滤器，在保留原始场景的同时去除图像中恶意噪声的系统。与以往对每张图像都应用固定清洗程度的方法不同，这个新系统会根据其正在检查的图像的具体特征来调整其强度。其核心思想是，并非所有图像都受到相同方式的攻击，也并非所有图像都需要相同程度的清洗。通过测量图像的高频细节（如精细纹理和锐利边缘）在图像轻微缩放时发生的变化，该系统可以确定可能存在的“噪声”量。这一测量结果作为一个指南，告诉系统是应该采取温和的处理方式，还是进行更强力的擦拭。
该过程的工作原理是创建同一图像的多个版本，每个版本都在不同的尺度或细节水平上进行处理。有些版本处理得较轻，以保留精细细节；而另一些版本则被更大幅度地平滑处理，以消除潜在的攻击。随后，系统使用一种特殊的数学规则将这些版本融合在一起。它倾向于那些与原始图像的低频、宏观形状保持最一致的版本，同时利用频率测量值来决定给予平滑版本多少权重。如果系统检测到图像已被攻击显著改变，它会更多地依赖平滑版本来消除威胁。如果图像看起来是干净的，它则会保留精细细节。至关重要的是，整个过程无需重新训练人工智能模型，也无需访问其内部机制，这使其成为一种可以应用于任何现有系统的灵活防御手段。
当研究人员针对三种流行的视觉-语言模型上的三种不同类型的视觉攻击测试该方法时，结果令人信服。该系统成功降低了这些模型产生有害响应的概率，且通常优于现有的防御手段，如标准图像压缩或更复杂的扩散模型滤波器。或许更重要的一点是，该方法并没有破坏图像质量。在要求模型描述干净、未受攻击图像的测试中，该系统保持了它们回答问题和生成标题的高准确度。这表明该过滤器足够精确，能够只针对恶意的改动，而不模糊合法的图像内容。研究人员发现，该系统在广泛的攻击强度范围内（从微妙的操纵到更激进的像素级扭曲）都能有效工作。
研究还探讨了当面对已知该防御机制并试图调整策略的攻击者时，该系统的表现如何。即使攻击者试图通过针对该过滤器优化其攻击手段来绕过防御，该系统仍然比其他方法更具鲁棒性。研究人员指出，虽然该防御在应对基于像素的攻击方面非常有效，但它并不是解决所有类型安全风险的通用方案。它无法阻止依赖于有害文本提示或图像内可见内容的攻击，因为这些并不涉及同类的像素级噪声。然而，针对特定的“隐形像素操纵”问题，这些发现提供了一个强大且实用的解决方案。通过根据每张图像的需求调整清洗强度，研究人员展示了一种既能保持这些强大的视觉人工智能系统安全，又不会牺牲其清晰观察世界能力的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。