💻 computer science

LineageMark: Multi-user White-box Watermarking for Contribution Tracing in Model Derivation Chains

LineageMark 是一个多用户白盒水印框架，通过将水印编码为稳定参数上的投影统计量，实现了在大语言模型衍生链中稳健的贡献追踪，并确保在增量更新、微调及其他模型扰动过程中的持久性与完整性。

原作者： Bingxue Zhang, Xiaofeng Xu, Feida Zhu

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Bingxue Zhang, Xiaofeng Xu, Feida Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，人工智能的世界就像一个巨大的、开放式的建筑工地。在这个工地中，“基础模型”（Base Model）就像一座巨大的、预建好的摩天大楼框架。不同于只有一个建筑师完成整栋建筑，数十个不同的团队（贡献者）轮流为它增添楼层、粉刷墙壁并安装新的系统。每个团队都会根据自己的特定需求对建筑进行修改，从而创造出一条由衍生模型组成的漫长“链条”。

问题在于？随着建筑的所有权更迭和不断的翻修，很难证明到底是谁做了什么。是 A 团队建造了地基？还是 B 团队安装了电梯？如果这栋建筑在后期被出售或使用，我们如何知道哪个团队应该获得应有的荣誉（或报酬）？

这正是 LineageMark 所解决的问题。它是一个全新的“数字标签”系统，允许多个团队在模型不断被他人翻修的过程中，依然能在其上盖上独特的签名印记。

以下是它的工作原理，通过简单的类比来解释：

1. 问题所在：褪色的墨水与冲突的签名

现有的水印方法就像是在笔记本的单页上用铅笔写下名字。

褪色问题： 如果你把笔记本传给别人，而对方为了写自己的笔记而擦掉部分页面，你的名字可能会变得模糊甚至完全消失。
冲突问题： 如果两个人试图同时在同一页上书写，他们的墨水可能会混合在一起，导致无法辨认出任何一方的签名。

在 AI 世界中，当一个新的团队对模型进行微调（更新其“大脑”）时，他们会无意中擦除或扰乱之前团队留下的数字签名。

2. 解决方案：“稳固石块”地基

LineageMark 改变了策略。它不再是在单页纸上书写，而是将签名刻入建筑的地基石块之中。

寻找稳固的石块： 在刻字之前，系统会对模型进行分析，以找到其“大脑”（参数）中非常稳定的特定部分。这些部分就像沉重的、承重的石块，即使建筑在翻修时也不会移动。系统会忽略模型中那些轻飘飘、易变动的部分。
刻字方法（投影）： 系统并不是刻出一个很深、很明显的坑（因为那会破坏石块），而是对一组这些稳固石块进行细微且隐蔽的调整。这就像是排列一组小石子，使得如果你从特定的角度观察，它们会形成一个隐藏的“X”或“O”。
- 关键点： 每个团队都有一把秘密的“手电筒”（私钥）。当他们从正确的角度将手电筒光照向这些石子时，就能看到自己隐藏的形状。如果没有这把手电筒，这些石子看起来就像普通的碎石堆。

3. 如何处理多个团队

这是 LineageMark 脱颖而出的地方。想象一段漫长的翻修链条：

A 团队将他们的签名刻入稳固的石块中。
B 团队随后到来，对建筑进行了翻修，并刻下了他们的签名。
C 团队也进行了同样的操作。

由于 LineageMark 使用了“投票”机制：

即使 B 团队的翻修稍微移动了 A 团队触碰过的一些石子，但由于这一组石子数量众多，A 团队签名的整体形状依然清晰可见。
B 团队的签名是以一种不会与 A 团队产生冲突的方式刻下的；这就像是在不同的石块上刻字，或者使用不同的角度，从而不会干扰第一个图案。
结果： 在链条的末端，A 团队可以照亮他们的手电筒并看到他们的“X”，B 团队也可以照亮他们的手电筒并看到他们的“O”。他们不需要互相交流，也不需要看到原始蓝图；他们只需要拥有各自的秘密钥匙。

4. 测试耐用性

研究人员通过模拟一个混乱的建筑工地测试了这个系统：

翻修（微调）： 他们不断用新数据更新模型。水印始终保持 100% 可见，即使经过多轮更新也是如此。
压缩（量化）： 他们压缩了模型以使其体积更小（类似于压缩文件）。水印依然存活，即使文件大小被减半。
剪枝（Pruning）： 他们移除了模型的部分内容（例如拆除一面墙）。水印依然存活，除非他们拆掉了太多的建筑结构。
假密钥： 他们尝试用假密钥来欺骗系统。系统能正确识别并表示：“不，那不是你的签名”，而旧的方法有时会被搞混，误认为“是的”属于某人。

5. 权衡

论文指出了一项小小的代价：为了找到那些“稳固的石块”（最佳刻字位置），系统在前期需要进行大量的数学运算。这就像是在第一块砖铺设之前，测量员需要花费大量时间绘制地基地图。然而，一旦地图绘制完成，添加或检查签名就会非常迅速。

总结

LineageMark 是一种保护所有参与构建 AI 的人的知识产权的方法。它确保了即使在一个由许多人修改同一个模型的拥挤且不断变化的环境中，每个贡献者的独特数字签名依然清晰可见、可验证，并且与其他人的签名截然不同。它将一个混乱的建筑工地变成了一座拥有清晰、永久记录来追踪“谁建造了什么”的建筑。

技术摘要：LineageMark

问题陈述

在开放的大型语言模型（LLM）生态系统中，模型经常经历多阶段的衍生链，不同的贡献者会对基础模型进行针对特定任务、领域或应用的适配。这创造了复杂的谱系结构，使得最终的衍生模型包含了来自多个历史阶段的贡献。目前的数字水印方法在此背景下面临两个关键限制：

谱系衰减（Lineage Decay）： 由早期贡献者嵌入的历史水印往往会因为后续全参数微调和模型更新导致的参数漂移而变得模糊或无法提取。
多用户干扰（Multi-User Interference）： 当新的贡献者试图在已带有水印的模型中插入自己的水印时，现有方法往往无法保护先前水印的完整性，或者新的插入会破坏先前贡献者的信号。

现有的白盒方法主要针对单用户、单次嵌入设计，缺乏支持增量式、多用户验证的机制，即每个贡献者必须能够在不接触原始模型或其他用户密钥的情况下，独立验证其自身的存在。

方法论：LineageMark

LineageMark 是一个多用户白盒水印框架，旨在追踪模型衍生链中的贡献。它通过三个核心阶段运行：

1. 稳定载体选择 (Stable Carrier Selection)

为了减轻后续衍生过程中水印漂移的风险，LineageMark 选择“稳定”的参数坐标进行嵌入。

功能相关性： 它使用校准数据计算经验隐空间费雪矩阵 ( $F_\ell$ )，以识别与模型行为强相关的方向，从而避开非活跃参数区域。
扰动稳定性： 它使用扰动算子（随机投影、高斯量化噪声、结构化 Dropout）构建压缩二阶矩矩阵 ( $C_\ell$ )，以衡量对常见模型修改的敏感度。
选择标准： 通过求解广义特征值问题 ( $F_\ell u = \lambda(C_\ell + \epsilon I)u$ ) 来选择稳定方向，以最大化单位扰动下的功能相关性。采用谱截断策略选择特定范围内的特征向量，以平衡稳定性和效用。
映射： 这些稳定子空间被映射回线性矩阵中的特定权重坐标，从而创建一个候选载体掩码 ( $\Omega$ )。

2. 符号投影水印嵌入 (Sign-Projection Watermark Embedding)

LineageMark 并非修改单个权重的具体数值，而是将每个水印比特编码为一组权重的符号投影统计量。

密钥驱动的分组： 使用私钥，每个贡献者生成伪随机映射，以定义不相交的坐标组和投影系数 ( $\phi_{ij} \in \{-1, +1\}$ )。
冗余性： 水印负载被拆分为多个块，并循环分配到多个线性矩阵中。这确保了即使微调削弱了某些矩阵中的信号，整体信号仍保持可恢复性。
边界约束： 嵌入过程强制执行决策边界 ( $\mu$ )。如果当前的投影统计量未能在足够的边界内满足目标符号，则会对稳定坐标应用局部闭式解更新，以将统计量推向目标方向。这为未来的参数扰动创建了一个缓冲带。

3. 密钥驱动的水印提取 (Key-Driven Watermark Extraction)

验证过程由每个候选贡献者独立执行，无需原始模型、校准数据或其他用户的信息。

检测器重建： 验证者使用其私钥重建在嵌入阶段使用的完全相同的坐标组和投影系数。
加权投票： 验证者在当前模型参数上计算投影统计量。LineageMark 不使用简单的多数投票，而是利用投影的幅度作为置信度权重。
聚合： 来自多个矩阵的局部决策会被聚合。根据累积的正向或负向加权票数是否占优来解码比特。这种机制允许系统即使在某些矩阵已被后续衍生阶段破坏的情况下，仍能恢复比特。

核心贡献

形式化多用户水印： 本文定义了模型衍生链的要求，特别是谱系保留（历史水印保持可提取性）、增量嵌入（新水印不会破坏旧水印）以及仅凭密钥的独立验证。
稳定载体选择： 一种利用费雪信息和扰动敏感性分析来识别对全参数微调和压缩具有鲁棒性的参数区域的新方法。
边界约束的符号投影： 一种将比特表示为聚合投影符号并强制执行边界的嵌入策略，增强了对参数漂移和多用户干扰的鲁棒性。
全面的评估： 该框架在多种模型规模（从 OPT-125M 到 OPT-1.3B）和领域（医疗、法律、数学推理）上进行了评估，证明了其在对抗微调、重水印、量化和剪枝方面的鲁棒性。

实验结果

谱系保留： 在涉及全参数微调的多阶段衍生链中，LineageMark 在所有阶段和领域中均实现了所有历史水印的 100% 水印提取率 (WER)。相比之下，基准方法（ELLMark, EmMark）表现出明显的衰减（历史标记的 WER 下降至约 40-60%）和干扰问题。
增量嵌入： 新的贡献者可以成功嵌入水印，而不会降低现有水印的可提取性。
鲁棒性：
- 微调： 针对参数高效微调攻击（LoRA、Prefix-tuning 等）和标准的全参数微调，保持了 100% 的 WER。
- 量化： 在 8-bit 量化下实现了 100% 的 WER，在激进的 4-bit 量化下实现了 >90% 的 WER。
- 剪枝： 即使在 60% 随机剪枝的情况下，仍保持了 >96% 的 WER。
假阳性抵抗力： LineageMark 在正确密钥与无效密钥提取得分之间表现出巨大的差距。在验证阈值为 0.75 时，它实现了 0.50% 的假阳性率 (FPR) 和 0% 的假阴性率 (FNR)，显著优于因提取得分模糊而导致高 FPR 的基准方法（例如 ELLMark 的 FPR 为 88%）。
效用保持： 在通用基准测试（PIQA, HellaSwag, WinoGrande）上的零样本性能保持稳定，与原始模型相比几乎没有性能下降。

意义与主张

本文声称 LineageMark 通过实现可验证的多贡献者溯源，解决了开放 LLM 生态系统中的关键空白。与以往侧重于单所有者验证的方法不同，LineageMark 允许衍生模型作为一个数字资产，其中多个历史贡献者的贡献可以被独立审计。

作者强调，该框架的目的不是为了恢复完整的衍生拓扑结构或插入的先后顺序，而是为了验证下游模型中特定贡献者水印的存在。这项工作证明，通过稳定载体选择和统计投影编码，将水印技术从单用户场景扩展到多用户衍生链是可行的，这为不断演进的模型生态系统中的知识产权保护和贡献追踪提供了实用的机制。

论文也客观地承认了局限性，指出预处理成本（费雪信息估计）是主要的计算瓶颈，且该方法无法免疫于足够激进的微调（例如极高的学习率）或超出设计稳定性边界的极端压缩。