🤖 machine learning

MeMark: Membrane-Space Watermarking for Spiking Neural Networks

MeMark 引入了一种鲁棒的脉冲神经网络水印技术，该技术将多比特标识符直接嵌入到神经元的内部膜电位状态中，从而即使在输出头替换、微调、剪枝和量化之后，也能实现可靠的所有权验证。

原作者： Roberto Riaño, Gorka Abad, Stjepan Picek, Aitor Urbieta

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Roberto Riaño, Gorka Abad, Stjepan Picek, Aitor Urbieta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，一种显著的转变正在发生：计算机大脑正朝着比传统模型更接近人类神经系统的方向演进。这些被称为脉冲神经网络（spiking neural networks）的系统，并不以持续的数字流形式处理信息。相反，它们通过短暂、离散的活动爆发进行通信，就像大脑中的神经元放电一样。在特定的信号触发之前，它们保持静默，这使得它们在能量利用上极其高效。由于训练这些先进系统需要海量的数据、强大的计算机和大量的时间，最终训练出的模型成为了珍贵的资产。公司和研究人员经常将这些模型作为预训练的起点发布，以便他人可以在其基础上构建新的任务。然而，这种做法也产生了一个漏洞：如果有人拿走一个发布的模型，对其进行微小的调整，并替换掉产生最终答案的部分，他们就能有效地抹除任何关于原作者构建了该系统核心部分的证据。

为了解决这个问题，一组研究人员开发了一种名为 MeMark 的新方法，它像是一个嵌入在这些脉冲网络内部运作深处的隐藏签名。与以往保护人工智能模型的方法不同（那些方法依赖于检查最终输出或可见结果），MeMark 将其证据隐藏在神经元本身之中。研究人员专注于一种维持内部电荷的特定类型神经元，即膜电位（membrane potential）。这种电荷随时间积累，直到达到一个临界极限，从而导致神经元发出信号并随后重置。团队意识到，他们可以将这种自然的放电阈值作为一把秘密锁。通过仔细调整训练过程，他们可以让特定的神经元在接收到秘密、隐藏的输入时，将电荷保持在略高于或略低于这个放电极限的状态。这创造了一种“放电”与“不放电”状态的模式，与一个秘密代码相对应，有效地将一个多位数的密码写入了网络的电学状态中。

这种方法的精妙之处在于其读取方式以及它如何抵御变化。为了验证模型的所有权，所有者不需要训练一个单独的解码器或学习一种新的数据解释方式。他们只需呈现秘密输入，并检查选定神经元的内部电荷。如果电荷高于极限，则计为 1；如果低于极限，则计为 0。由于阈值是神经元设计中内置的一部分，验证过程是即时的且不需要额外的学习。这种方法被证明具有极强的韧性。在涉及一个拥有超过 2 亿参数的大型语言模型的测试中，研究人员嵌入了二十个不同的秘密密钥。即使模型经过了大幅度的修改——例如移除 90% 的连接、压缩数据或完全替换生成文本的最终层——隐藏的签名依然完好无损。内部证据在这些剧烈的变化中幸存了下来，而旧方法中使用的可见输出标记则很容易被抹除。

研究人员还应对了一个不诚实索赔者可能尝试的聪明手段：通过检查模型，然后设计出一个恰好符合模型现有内部状态的伪造密钥。为了防止这种情况，该系统要求创建一个在模型发布之前生成的带有时间戳的记录。这一记录将秘密密钥与该时刻特定版本的模型绑定在一起。如果有人试图通过逆向工程构建密钥来声称所有权，他们无法提供这一先前的记录，从而证明其主张是虚假的。研究表明，如果允许攻击者在先期观察模型内部情况后，攻击者确实可以创建一个匹配模型的密钥，但他们无法绕过对原始时间戳承诺的要求。此外，系统针对数千个随机密钥进行了测试，没有任何一个密钥意外匹配了受保护的模型，确保了证据的特异性和可靠性。

这项工作表明，即使在模型被重新利用或修改时，复杂的智能人工智能的所有权也能得到保护。通过将证明直接嵌入神经元的基础电学行为中，而非最终输出，研究人员创造了一种难以在不破坏模型功能的情况下被移除的签名。该方法适用于不同的网络架构，从简单的重复结构到用于语言的复杂 Transformer 系统。虽然该系统非常稳健，但研究人员指出，如果攻击者知道确切的秘密输入和隐藏神经元的特定位置，他们有可能针对并移除它们。然而，在没有这些秘密知识的情况下，水印仍然是一种持久且可靠的证据形式，确保原作者即使在模型经过多次转手并被修改用于新用途后，仍能证明其作品。

技术摘要：MeMark —— 用于脉冲神经网络的膜空间水印技术

1. 问题陈述

脉冲神经网络（SNNs）正越来越多地以预训练检查点（checkpoints）的形式进行分发，并被重新用作新任务的骨干网络。虽然模型水印是保护深度神经网络（DNNs）的标准技术，但现有的 SNN 水印方法在“检查点重用”场景下面临着关键的脆弱性。目前的 SNN 水印主要针对模型的输出进行验证（例如，通过时间响应或依赖触发器的输出）。因此，如果攻击者替换了输出头（即最后的任务特定层），可以在保留原始网络绝大部分权重和内部结构的同时，移除水印证据。此外，现有方法通常依赖于学习到的解码器或基于输出的验证，当输出接口被更改或白盒访问允许攻击者事后构建与模型内部状态相匹配的密钥时，这些方法是不充分的。

2. 方法论：MeMark

MeMark 是一种挑战-响应式水印方案，旨在将多比特标识符直接嵌入到 Leaky Integrate-and-Fire (LIF) 神经元的内部膜电位中，从而确保即使在输出头被替换后依然具有持久性。

2.1 核心机制

MeMark 不将水印存储在权重或输出激活值中，而是将比特嵌入到选定 LIF 神经元在特定时间步的预发放膜电位（ $v_i(t)$ ）中。

嵌入： 对于秘密输入（挑战） $x_{wm}$ $x_{w m}$ ，系统选择一组坐标 $C = \{(l_k, n_k, t_k)\}$ $C = {(l_{k}, n_{k}, t_{k})}$ ，分别对应层、神经元和时间步。训练目标是将选定神经元的膜电位推向其固有发放阈值（ $v_{th}$ $v_{t h}$ ）的一侧，基于负载比特 $W_k$ $W_{k}$ ：
- 如果 $W_k = 1$ ，则训练使电位 $> v_{th}$ 。
- 如果 $W_k = 0$ ，则训练使电位 $< v_{th}$ 。
损失函数： 该方法利用符号距离度量 $m_k = (v_k - v_{th,k}) / \tau_{wm}$ 并优化二元交叉熵（BCE）损失。这使得优化器能够接收关于距离阈值远近的梯度信号，即使在二进制脉冲决策发生变化之前，从而避免了脉冲操作的不可微问题。
保真度： 为了保持任务性能，训练目标除了包含任务损失外，还包括水带有水印的模型与原始检查点冻结副本之间的保真度项（KL 散度）。

2.2 验证

验证需要对可疑模型进行白盒访问，以检查内部状态。

硬读取（Hard Read）： 验证者呈现秘密挑战，并检查特定坐标处的膜电位是在神经元发放阈值之上还是之下。这可以在不需要学习型解码器的情况下恢复比特，因为阈值是神经元的固有属性。
连续得分（Continuous Score）： 一个可选的连续得分（ $S_{mem}$ ）测量膜电位距离阈值的距离，提供置信度指标。
输出载体（Output Carrier）： MeMark 包含一个可选的基于输出的响应，用于输出接口不可访问的情景，尽管这被认为是可以通过更换输出头来移除的。

2.3 反伪造与承诺

为了防止“拟合索赔”（即不诚实的参与者通过检查模型并生成一个与当前内部状态匹配的密钥），MeMark 要求所有者在发布检查点之前发布一个带时间戳的加密承诺。该承诺将特定的密钥、所有者和检查点哈希绑定在一起。有效的权属主张必须证明该密钥是在可疑模型发布之前提交的。

3. 核心贡献

膜空间嵌入： 引入了 MeMark，它将水印嵌入到 LIF 神经元的内部膜电位中，使证据在输出头替换后仍具有韧性。
无解码器验证： 该方法利用神经元的固有发放阈值进行解码，消除了对学习型投影层（不同于基于 DNN 激活值的水印）的需求，并降低了存储开销。
鲁棒性评估： 在包括 215.4M 参数的 SpikeGPT 在内的多种循环、卷积、残差和 Transformer SNN 架构上进行了全面的评估。
承诺协议： 集成了带时间戳的承诺机制，以减轻由于白盒模型检查而导致的虚假权属主张。

4. 实验结果

作者在八个 SNN 测试平台上评估了 MeMark，包括一个 215.4M 参数的 SpikeGPT 模型和各种视觉模型（SEW-ResNet, Spikformer, QKformer）。

验证准确率： 在 SpikeGPT 检查点上，嵌入了 20 个独立的 64 位密钥。所有 20 个真实密钥都通过了 51/64 比特匹配的固定验证规则。相反，在所有受保护的检查点和干净模型中，30,000 个全新的随机密钥均未通过此规则，导致误报率（FPR）为 0.000%（95% 置信区间上限为 0.010%）。
对修改的鲁棒性：
- 更换输出头： 在输出头被重置并重新训练后，膜水印仍然可验证（BER $\approx$ 0.00），而输出载体已被移除。
- 微调： 在经过 200 步微调后，所有 20 个密钥仍满足 51/64 的阈值（平均匹配比特从 59.4 略降至 58.3）。
- 剪枝与量化： 90% 的剪枝和 int8 量化并未改变任何 20 个密钥的膜比特。
- 结构变化： 水印在通道排列（channel permutations）和层拆分中得以存续，前提是执行了通道匹配的恢复步骤以重新对齐坐标。
选择性： 水印对秘密挑战具有高度选择性。脱离触发（使用随机输入）的协议一致性为 0.516（接近随机概率），显著低于学习型投影解码器（0.715），表明负载在正常运行期间不会泄露。
拟合索赔： 实验证实，如果没有预发布承诺，拥有白盒访问权限的攻击者可以通过拟合密钥来匹配模型的内部状态（达到 32/32 比特）。承诺协议通过要求提供先前的注册证明，有效地缓解了这一问题。

5. 重要性与声明

论文声称，MeMark 提供了一种稳健的解决方案，用于在输出接口不再可信的重用场景下证明 SNN 检查点的所有权。通过将水印从输出层转移到内部膜动力学，MeMark 确保了即使在模型被重新利用或其最终层被剥离时，所有权证据依然存在。

作者强调，MeMark 为依赖学习型解码器的 DNN 水印技术提供了一个实用的替代方案，因为它利用了脉冲神经元的现有物理特性（发放阈值）进行验证。结果表明，MeMark 可以提供检查点衍生版本的证据，同时能够抵御自适应攻击、模型修改（剪枝、量化、微调）以及完整的输出头替换。论文总结道，虽然自适应攻击可能会削弱水印，但在测试设置中它们无法完全移除所有权证据，且该方法保持了对原始任务性能的高保真度。