💻 computer science

SPFM-Net: Semantic-Prior-Guided Frequency-Constrained Mamba for Invisible Watermark Attack

本文提出了 SPFM-Net，一种语义先验引导且频率受限的 Mamba 框架，该框架通过结合高比例掩码、微调的掩码自编码器以及全局状态空间建模单元，在实现去除有效性与视觉保真度之间卓越权衡的同时，有效地攻击隐形水印。

原作者： Chunpeng Wang, Yanan Shi, Zhiqiu Xia, Jidong Yang, Suo Gao, Qi Li

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Chunpeng Wang, Yanan Shi, Zhiqiu Xia, Jidong Yang, Suo Gao, Qi Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网就像一座巨大且繁忙的图书馆，每个人都在不断地分享照片。为了保护自己的作品，艺术家和公司经常在这些图片中隐藏“隐形水印”。要把这些水印想象成不是可见的印章，而像是编织在图像结构中的微小、无形的代码细语。这是一个数字指纹，它在不改变人类肉眼所见图像外观的情况下，低声诉说着：“这属于我！”

然而，正如图书馆需要知道书本是否被盗一样，研究人员也需要测试这些水印是否足够强大。这就是“水印攻击”出现的地方。攻击的目标不是试图窃取图像，而是试图让这声“无形的细语”沉默。其目标是在不破坏图片本身的情况下，将秘密代码从照片中擦除。这是一个微妙的平衡：如果你擦得太用力，你会抹掉水印，但也会让照片变成一片模糊的混沌；如果你擦得太轻，水印依然会存在，照片也就无法被彻底“净化”。多年来，科学家们一直致力于寻找一种完美的“橡皮擦”，既能移除秘密信息，又能保持图像清晰真实。

于是，SPFM-Net 诞生了——这是一个旨在解决这一复杂难题的新型数字工具。该项目的研究人员意识到，以往去除水印的尝试就像是试图通过只观察一个齿轮来修理坏掉的时钟。它们过于关注局部的小细节，而忽略了大局。SPFM-Net 通过将照片视为一个某些碎片缺失的巨大拼图，改变了游戏规则。

以下是它的工作原理，分步骤讲解：

1. “蒙眼”策略
首先，SPFM-Net 给带水印的图像戴上一个数字“眼罩”，遮住其中 90% 的内容。它随机隐藏了图像的大部分，只留下一些零星散布的区块。这听起来可能违反直觉——为什么要隐藏更多的图像？诀窍在于，隐形水印通常依赖于连续的模式来隐藏。通过将图像分解成微小的、不连续的碎片，网络迫使自己停止观察水印的“细语”，转而开始关注图像本身的“声音”。这就像是在只能看到几个随机帧的情况下去猜一部电影的剧情；你的大脑必须依靠故事（语义含义）而非演员的面部细节来进行推理。

2. “智能猜测”引擎
接下来，系统使用一个预训练的“大脑”（称为掩码自编码器，Masked Autoencoder），这个大脑已经学习过什么是自然真实的图像。因为网络之前见过数百万张照片，它知道天空应该是蓝色的，脸部应该有两个眼睛。当它看到带水印图像中剩余的少量区块时，它会利用这些知识来“幻觉”或重建缺失的部分。至关重要的一点是，它重建的是“自然”图像，从而有效地忽略了水印带来的异常、人工痕型。这就像一位顶级大厨，在仅有少量食材的情况下，能够重新还原出一整道菜品，而不会不小心加入了敌人试图隐藏的秘密香料。

3. “频率侦探”
一旦图像大致重建完成，SPFM-Net 会变得更加精准。它拥有一个名为 MRFFI 的特殊模块，充当“频率侦探”。它会在不同的“缩放层级”（从微小的纹理到宏大的形状）观察图像，以寻找残留的水印痕迹。由于水印通常隐藏在特定的频率模式中（就像一个特定的音符），该模块会搜寻并消除这些音符，同时保持其他音乐（图像细节）不受干扰。

4. “远距离”扫描仪
最后，系统使用了一个名为 Mamba 的尖端组件（属于 GSFM 模块）。你可以把它想象成一个可以同时扫描整幅图像、从一角到另一角的扫描仪。水印通常分布在整张图片的各个角落，就像一张网。旧工具只能观察微小的局部区域，因此会错过这张“大网”。Mamba 连接了整个图像中的各个点，确保即使是最微弱、最遥远的水印信号也能被捕捉并移除。

结果
研究人员针对各种现代水印技巧（包括使用先进人工智能来隐藏代码的技术）对 SPFM-Net 进行了测试。结果令人印象深刻。在许多情况下，该系统成功地将水印搅乱到了无法读取的程度（达到了接近 0.5 的“比特错误率”，这基本上等同于随机猜测）。

但真正的魔力在于照片的质量。虽然其他方法往往会将图像变成模糊、像素化的噩梦，但 SPFM-Net 保持了图片的锐利与自然。在测试中，对于某些类型的水印，它实现的 PSNR（衡量图像质量的分数）高达 42.76，这显著高于以往的方法。它在摧毁水印的同时，保持了极高的视觉保真度，以至于肉眼几乎察觉不到差异。

它做不到的事
需要注意的是，SPFM-Net 并不是一个能在任何情况下都能完美应对所有类型水印的“魔法棒”。对于某些与图像纹理深度结合的特定简单水印，系统会表现得稍微没那么激进，以避免破坏画面。在这种情况下，它选择优先保证图像看起来完美，而不是冒着破坏画面的风险去彻底清除每一个微小的水印痕迹。作者认为，这种权衡实际上是一个特性而非缺陷，因为在现实世界中，保留照片的视觉质量往往与去除水印同样重要。

简而言之，SPFM-Net 表明，通过将水印去除视为一个“重建”问题——即从头开始重建自然的图像，而不是仅仅尝试擦除坏的部分——我们可以让那声“无形的细语”消失，却不破坏整首乐曲。这是一种看待旧问题的巧妙新视角，证明了有时，为了看清真相，你必须忽略大部分就在眼前的东西。

技术摘要：SPFM-Net

问题陈述
现有的不可见水印攻击面临着去除有效性与视觉保真度之间的关键权衡。从信号处理操作到局部约束深度学习网络（如 CNN）的传统方法，在捕捉全局分布的水印信号的长程依赖关系方面表现不佳。这些方法通常将水印去除视为局部扰动或像素级恢复任务，无法区分水印相关信号与重建的图像细节。因此，能够有效去除水印的强力攻击往往会通过纹理丢失和伪影降低图像质量，而较弱的攻击虽然保留了保真度，却使水印仍可被提取。此外，当前架构缺乏足够的语义引导来分离水印特征与自然图像内容，并受限于有限的感受野。

方法论：SPFM-Net
作者提出了 SPFM-Net（语义先验引导的频率约束 Mamba），该框架将不可见水印攻击重新定义为语义引导的图像恢复问题，而非直接的扰动抑制。其架构通过以下流程运行：

高比例掩码与语义先验提取：
- 输入的含水印图像被划分为不重叠的补丁，并采用高比例随机掩码策略（90% 的掩码比例）。这破坏了水印信号的空间相干性和联合分布，防止网络依赖局部去噪捷径。
- 一个部分解冻的掩码自编码器 (MAE) 作为语义骨干网络。该编码器在大型自然场景数据集上进行了预训练。在微调期间，前 21 个 Transformer 块保持冻结以保留宏观层面的语义先验，仅更新最后三个块和归一化层，以适应细微的水印残差。这迫使模型基于全局上下文而非表层局部细节来重建内在图像内容。
多尺度残差频率特征交互 (MRFFI)：
- 该模块聚合跨越多个感受野的水印相关残差特征。它采用三个具有不同步长（ $s \in \{1, 2, 4\}$ ）的并行卷积分支，以捕捉来自局部纹理、中间结构和全局语义的特征。
- 特征经过拼接后通过 $1 \times 1$ 卷积进行处理。通道注意力机制生成自适应权重图，以抑制来自水印无关区域的响应，同时增强水印相关区域的响应。
基于 Mamba 的全局状态空间特征建模 (GSFM)：
- 为了解决局部感受野的局限性，一个轻量级的基于 Mamba 的单元对全局分布的水印信号进行长程依赖建模。
- 它利用级联的双残差序列建模块，结合 1D 深度可分离卷积和前馈网络。该单元通过扫描全局序列，将水印相关特征从自然图像内容中分离出来，并抑制剩余痕迹。
解码器与多级优化：
- 轻量级解码器使用转置卷积和跨层跳跃连接重建无水印图像，以保留来自浅层编码器的高频细节。
- 网络使用由三个部分组成的联合损失函数进行优化：
  - 像素损失 ( $L_{pixel}$ )：用于空间色调一致性的 $L_1$ 范数。
  - 频率损失 ( $L_{fft}$ )：针对 2D 快速傅里叶变换 (FFT) 幅度的 $L_1$ 范数，用以抑制异常的水印诱导频率变化。
  - 边缘损失 ( $L_{edge}$ )：针对 Sobel 梯度的 $L_1$ 范数，用以保持结构边界并减少伪影。

核心贡献

框架重构： 本文引入了 SPFM-Net，它将范式从直接的扰动抑制转向语义引导的图像恢复，利用高比例掩码来切断水印信号的相干性。
语义先验引导的频率建模： 通过结合部分冻结的 MAE 与 MRFFI 模块，该方法有效地将水印特征从自然内容中分离出来，捕捉多尺度频率差异，从而在减少视觉失真的同时抑制水印。
长程依赖建模： 基于 Mamba 的 GSFM 模块的设计使得捕获空间分布水印模式的长程依赖成为可能，解决了传统 CNN 的感受野限制问题。
零样本泛化： 该方法展示了对未见过的深度水印进行零样本去除的能力，无需针对特定目标的微调，验证了语义引导重建的可行性。

实验结果
研究人员在空间域、变换域、正交矩基以及基于深度学习的水印方案（包括 HiDDeN、Stable Signature 和 Yu）上进行了广泛实验。

攻击有效性： SPFM-Net 在 Stable Signature 上实现了 0.48 的比特错误率 (BER)，在 HiD デN 上实现了 0.55 的 BER，接近二进制随机猜测水平 (0.5)。这表明水印提取过程几乎被完全破坏。
视觉保真度： 该方法保持了极高的感知质量，在 Stable Signature 数据集上达到了 42.76 dB PSNR 和 0.99 SSIM，显著优于 UnMarker (18.23 dB PSNR) 和 DiffusionAttack 等基准方法。
泛化能力： 尽管仅在传统水印（LSB、DCT、QPHFMs）上进行训练，SPFM-Net 仍成功实现了对先进深度生成式水印的破坏，证实了语义先验强制模型将嵌入的水印视为高频异常值的特性。
消融实验： 结果证实，MRFFI 和 GSFM 模块的逐步集成显著提高了 BER，而多级联合损失（像素、频率和边缘）对于保持高 PSNR 并防止感知退化至关重要。

意义与主张
本文声称 SPFM-Net 在水印攻击有效性与感知保真度之间提供了理想的权衡，性能优于现有的最先进方法。通过利用语义先验引导恢复过程，并利用频率约束强化结构完整性，该方法为数字水印攻击提供了一个新颖的“语义解耦”视角。作者将这项工作定位为评估现有水印方法安全边界的一步，特别是针对生成式水印和对抗性隐写术的快速迭代。该方法被呈现为一种实用的折衷方案，在实现强力去除的同时优先保证高视觉质量，适用于现实的安全评估场景。

技术摘要：SPFM-Net

类似论文