Why Neural Structural Obfuscation Can't Kill White-Box Watermarks for Good!

这是一份关于论文《Why Neural Structural Obfuscation Can't Kill White-Box Watermarks for Good!》（为什么神经结构混淆无法彻底终结白盒水印）的详细技术总结。

1. 研究背景与问题定义

背景：
神经结构混淆（Neural Structural Obfuscation, NSO）是 USENIX Security '23 提出的一种攻击技术。它通过注入“零成本”的虚拟神经元（dummy neurons）来修改神经网络的结构和参数，同时严格保持网络的功能等价性（即输入输出行为不变）。NSO 包含三种主要策略：

• nso_zero：注入全零权重的通道。
• nso_clique：注入相互抵消的通道组（权重和为零）。
• nso_split：将原始通道分裂为多个成比例的副本。

核心问题：
现有的白盒水印（White-Box Watermarking）方案通常依赖于固定的参数索引顺序或特定的层结构来提取水印。NSO 通过打乱通道索引和结构布局，使得水印提取器无法定位到正确的参数位置，从而导致水印验证失败。尽管模型功能未受损，但水印的“可验证性”被破坏。之前的防御手段大多针对简单的顺序架构，无法处理现代图结构网络（如 ResNet, DenseNet 等）中的复杂依赖关系。

研究目标：
本文旨在证明 NSO 并非不可逆转的“零成本”移除手段。作者提出了一种新的威胁模型和恢复框架，能够在不依赖攻击者构造细节或原始干净模型的情况下，完全恢复被 NSO 混淆的水印模型，使其重新具备可验证性。

---

2. 方法论：CANON 框架

作者提出了 CANON（Canonicalization），这是一个基于图一致性（Graph-Consistent）的恢复框架。其核心思想是将 NSO 视为一种在计算图上的通道基变换（Channel-basis transformation），并利用功能等价性所强制的“生产者 - 消费者”一致性约束来逆向还原。

2.1 威胁模型重构：生产者 - 消费者视角

作者将 NSO 重新定义为一种图一致的生产者 - 消费者威胁模型：

• 生产者（Producer）：注入虚拟神经元的层（如 Conv/Linear 层）。
• 消费者（Consumer）：接收生产者输出并进行运算的下游操作（如残差相加 add、通道拼接 cat、扇出 fan-out）。
• 一致性约束：为了保持功能等价，生产者的任何通道布局变更（如注入 dummy 通道）必须在所有下游消费者中得到一致的吸收和重写。例如，在残差连接中，两条分支的通道布局必须完全对齐；在拼接操作中，各分支的通道变换必须组合成块对角矩阵。

2.2 核心恢复流程

CANON 通过以下步骤恢复模型：

1. 激活探测与冗余推断 (Probe & Inference)：

   • 使用一组探测输入（Probe inputs）运行被攻击的模型。
   • 记录每个通道的激活状态（二值化活动位）和标量摘要（如均值）。
   • 利用**签名哈希（Signature Hashing）**将具有相同激活模式的通道聚类。
   • 通过比例性细化（Proportionality Refinement），计算通道间的缩放系数，区分真正的虚拟通道（nso_clique 的抵消组、nso_split 的副本）和原始通道。

2. 通道变换合成 (Transform Synthesis)：

   • 根据聚类结果，为每个生产者边构建一个稀疏的线性变换矩阵 $M$，将混淆后的宽通道映射回紧凑的原始通道基。
   • 对于 nso_clique，如果合并后的权重贡献接近零，则直接丢弃；否则保留代表通道并合并权重。

3. 全局消费者重写 (Global Consumer Rewrites)：

   • 这是 CANON 的关键创新。一旦推断出生产者的变换 $M$，框架会立即重写所有下游线性消费者的权重 $W$，遵循规则 $W_{new} = W_{old} \times M$。
   • 结构同步：
     • 对于残差相加（Residual Add）：强制两条分支的恢复布局完全一致，确保相加操作合法。
     • 对于通道拼接（Channel Concat）：将各分支的变换组合成块对角矩阵，并传播给后续层。
   • 这种全局重写确保了整个计算图的通道布局在恢复后是同步且紧凑的。

4. 验证与证书：

   • 恢复后的模型 $\hat{\theta}$ 与原始模型在功能上等价。
   • 作者提出了两级验证协议：
     • Tier 1：参考等价证书（Reference-Equivalence Certificate）。如果有原始模型，检查恢复的水印权重是否与原始权重在允许的重排和缩放对称性下匹配。
     • Tier 2：攻击感知相似度检查。若无原始模型，检查恢复后的水印相似度是否显著高于攻击后的相似度。

---

3. 主要贡献

1. 重新定义 NSO 威胁模型：
   将 NSO 从简单的层局部编辑扩展为图一致的生产者 - 消费者模型。揭示了在现代架构（ResNet, Inception, DenseNet）中，为了保持功能等价，攻击者必须满足的全局信号一致性约束。

2. 证明了 NSO 的可恢复性：
   从构造上证明了 NSO 引入的是受全局约束的结构化冗余。利用这些约束，可以在不知道攻击细节的情况下，识别虚拟通道并逆转布局混淆。

3. 提出了 CANON 框架：
   首个端到端的规范化恢复框架。它通过激活探测推断冗余，并通过全局消费者重写强制布局同步，无需原始模型即可恢复水印的可验证性。

4. 实证证伪“零成本移除”论：
   在多种现代 CNN 架构和 9 种主流白盒水印方案上进行了广泛实验。结果表明，即使在强组合式 NSO 攻击下，CANON 也能实现 100% 的恢复成功率，且不损失任务精度。

---

4. 实验结果

• 实验设置：

  • 模型：ResNet-18, EfficientNet, InceptionV3, DenseNet。
  • 数据集：MNIST, CIFAR-100。
  • 攻击：5 种 NSO 变体（包括单一原语和组合攻击 mix-opseq），攻击比例 $\rho$ 高达 0.5 甚至 1.0。
  • 水印：9 种白盒方案（包括基于权重、激活和护照的方法）。

• 关键指标：

  • 任务精度：攻击后和恢复后的精度与原始模型相比，误差均为 0.0000（$\Delta acc = 0$）。
  • 水印恢复：
    • 在所有测试配置下，Tier-1 参考等价证书通过率均为 100%。这意味着恢复后的水印权重与原始权重在数学上是等价的（仅存在允许的重排和缩放）。
    • 水印相似度从攻击后的低值（约 0.4-0.6）完全恢复到 1.0（或原始水平）。
  • 误报率（False Positives）：在未被攻击的干净模型上运行 CANON，结构误报率为 0（未进行任何不必要的剪枝或形状修改），精度和水印相似度保持不变。
  • 效率：恢复过程是一次性的，耗时通常在 10 秒到 1 分钟之间，主要取决于攻击的复杂度（组合攻击最耗时），对于验证场景是可接受的。

---

5. 意义与结论

• 理论意义：打破了"NSO 可以以零成本彻底破坏白盒水印”的迷思。论文证明了只要攻击者必须保持功能等价，其引入的结构冗余就必然留下可被探测和逆转的数学指纹。
• 实践意义：
  • 为白盒水印提供了一种强有力的防御机制，使得水印技术在面对结构混淆攻击时依然可靠。
  • CANON 框架不仅适用于防御，还展示了如何从被混淆的模型中“清洗”出紧凑、规范化的表示，这对于模型压缩和去混淆也有潜在价值。
• 结论：神经结构混淆（NSO）虽然能暂时破坏基于索引的水印提取，但无法从根本上消除水印信号。通过利用图一致性约束，CANON 能够完全恢复水印的可验证性，证明了白盒水印在结构攻击下的鲁棒性。

总结：这篇论文通过引入图一致性的视角，成功地将 NSO 从一种“不可逆”的攻击转化为一种“可恢复”的结构变换，极大地增强了白盒水印在现实部署中的生存能力。