🤖 AI

Functional Subspace Watermarking for Large Language Models

本文提出了功能子空间水印（FSW）框架，通过将所有权信号锚定在低维功能子空间中，并采用自适应谱截断与向量一致性约束，有效解决了现有大模型水印方法在微调、量化等参数级扰动下鲁棒性不足的问题，实现了在保持模型效用同时显著提升检测准确率与统计可验证性。

原作者： Zikang Ding, Junhao Li, Suling Wu, Junchi Yao, Hongbo Liu, Lijie Hu

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zikang Ding, Junhao Li, Suling Wu, Junchi Yao, Hongbo Liu, Lijie Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为**FSW（功能子空间水印）**的新技术，旨在给大型语言模型（LLM）打上“防伪标签”，证明模型的所有权。

为了让你更容易理解，我们可以把整个故事想象成给一座宏伟的“知识城堡”（大模型）安装隐形防盗门和指纹锁。

1. 背景：为什么需要这个？

现在的 AI 模型（如 Llama、Qwen 等）就像珍贵的知识城堡。开发者花了很多钱和精力建造它们。但是，坏人（竞争对手或黑客）可以偷偷下载这些城堡，稍微修改一下（比如“微调”、“量化”或“蒸馏”），然后声称这是他们自己的，或者把里面的知识偷走。

以前的方法（内容水印）： 就像在城堡里生成的每句话里都藏一个隐形的“签名”。但这有个大问题：如果坏人把城堡拆了重盖（蒸馏），或者把城堡里的家具换了一遍（微调），这些藏在句子里的签名就消失了。
以前的方法（模型水印）： 就像在城堡的墙壁里塞进一些特殊的砖块。但问题是，坏人只要把墙壁重新粉刷、甚至把墙拆了重建，这些砖块就找不到了。

这篇论文的核心问题： 如何在坏人把城堡“大改特改”之后，依然能证明“这城堡原本是我的”？

2. 核心创意：找到“承重墙”

作者发现，无论城堡怎么装修、怎么缩小（压缩），总有一些最核心的“承重墙”（Functional Subspace，功能子空间）是绝对不能动的。如果动了这些墙，城堡就会塌（模型就变笨了，没法回答问题了）。

比喻： 想象城堡里有一根根钢筋。有些钢筋只是装饰，剪断了没事；但有些钢筋是支撑屋顶的，剪断了房子就塌了。
FSW 的做法： 他们不往装饰砖里藏水印，而是把水印刻在那些最关键的“承重墙”钢筋上。
- 因为坏人不敢动这些钢筋（否则模型就废了），所以水印就永远留在了那里。
- 即使坏人把城堡刷了漆（量化）、换了窗户（微调），甚至把城堡缩小了一半（蒸馏），只要“承重墙”还在，水印就能被检测出来。

3. 具体怎么做？（三步走）

第一步：寻找“最稳的钢筋” (广义特征值问题)

作者用一种数学方法（广义特征值问题），在模型里扫描，找出那些**既重要（动了就塌）又稳定（怎么压缩都不变）**的方向。

比喻： 就像用 X 光扫描城堡，找出哪些是“绝对不可触碰”的承重结构。

第二步：聪明的“雕刻” (自适应谱截断)

他们发现，如果把水印刻在太重要的地方，模型会变笨；刻在不重要的地方，水印容易被擦掉。

比喻： 就像在承重墙上刻字，不能刻太深（否则墙会断），也不能刻太浅（否则洗个澡就没了）。他们发明了一种“自适应”策略，找到一个完美的平衡点：既能刻得够深让坏人擦不掉，又不会把墙刻坏。

第三步：确保“不伤和气” (向量一致性约束)

在刻水印的时候，他们加了一个“保险锁”，确保刻完水印后，城堡的整体结构和原来的样子几乎一模一样。

比喻： 就像你在墙上刻字时，会时刻拿尺子量，确保墙没有歪，房子还能住人，不会让模型“变傻”。

4. 效果如何？

论文做了很多实验，让坏人用各种手段攻击模型：

微调 (Fine-tuning)： 让模型学习新东西。
量化 (Quantization)： 把模型变小、精度降低。
蒸馏 (Distillation)： 把大模型的知识“蒸馏”给一个小模型。

结果：

以前的水印： 一打就碎，检测不到。
FSW 水印： 即使模型被改得面目全非，只要它还能正常回答问题，水印就依然清晰可见，检测准确率接近 100%。

5. 总结

这篇论文就像给大模型发明了一种**“基于建筑结构的隐形纹身”**。

以前： 纹身是画在皮肤表面的，洗个澡（微调）就掉了。
现在 (FSW)： 纹身是刻在骨骼（功能子空间）里的。只要人还活着（模型还能用），骨骼就在，纹身就永远在。

这项技术让模型开发者可以更有底气地说：“这个模型虽然被修改过，但它的‘灵魂’（核心功能结构）里依然刻着我的名字，它是我的！”这为保护 AI 知识产权提供了一把非常坚固的“金钥匙”。

这是一份关于论文《Functional Subspace Watermarking for Large Language Models》（大语言模型的功能子空间水印）的详细技术总结。

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）的快速发展，模型所有权和来源追踪变得至关重要。现有的模型水印技术主要分为两类：

内容水印 (Content Watermarking)： 在生成的文本中嵌入统计信号。缺点是容易受到后处理（如改写、蒸馏）的影响，且无法直接保护模型参数本身。
模型水印 (Model Watermarking)： 将所有权信息嵌入模型权重或内部表示中。
- 核心挑战： 现有的模型水印方法在面对参数级扰动（如微调 Fine-tuning、量化 Quantization、知识蒸馏 Knowledge Distillation、剪枝 Pruning）时，鲁棒性不足。攻击者可以通过这些操作轻易擦除或破坏嵌入的水印信号，导致所有权验证失败。

本文旨在解决： 如何在保证模型原有功能（语义性能）不受损的前提下，构建一种能够抵抗微调、量化和蒸馏等常见攻击的鲁棒性模型水印框架。

2. 方法论 (Methodology)

作者提出了功能子空间水印 (Functional Subspace Watermarking, FSW) 框架。其核心思想是将所有权信号锚定在模型中既对任务关键又对压缩变换稳定的低维功能骨干（Functional Backbone）上。

整个流程分为五个阶段：

2.1 表示提取 (Representation Extraction)

从预训练模型 $f_\theta$ 的中间层提取最后一个 token 的隐藏状态 $r(x)$ ，作为语义级水印的载体。

2.2 几何分析 (Geometry Analysis)

为了找到稳定的子空间，从两个维度分析表示方向：

功能敏感性 (Functional Sensitivity)： 利用费雪信息矩阵 (Fisher Information Matrix, $F$ ) 量化表示方向对任务的重要性。 $F$ 的特征向量方向编码了模型的核心知识，扰动这些方向会显著改变输出分布，因此它们难以被剪枝移除。
压缩不变性 (Invariance to Compression)： 定义了一组压缩算子族 $\mathcal{A}$ （包括线性投影、量化噪声、结构 Dropout），模拟蒸馏和量化过程。构建变换不变矩阵 $C_\mathcal{A}$ ，表示这些操作引起的方差。目标是寻找在 $C_\mathcal{A}$ 下方差小（即稳定）的方向。

2.3 子空间构建与优化 (Subspace Construction & Optimization)

通过求解广义特征值问题 (Generalized Eigenvalue Problem, GEVP) 来寻找最佳子空间：
$F u_i = \lambda_i C_\mathcal{A} u_i$

$\lambda_i$ 代表第 $i$ 个方向的鲁棒性得分（信噪比）。
自适应谱截断 (Adaptive Spectral Truncation)： 为了避免使用高特征值方向（可能破坏模型性能）或低特征值方向（容易被移除），作者设定阈值 $\tau_{lower}, \tau_{upper}$ ，选取中间范围的特征向量构成子空间 $U^*$ 。这平衡了鲁棒性和模型效用。

2.4 投影与一致性约束 (Projection and Consistency)

锚定投影： 将表示投影到稳定子空间 $U^*$ 中。
向量一致性约束 (Vector Consistency Constraint)： 引入损失函数 $L_{con}$ ，强制水印注入后的表示 $z(x)$ 与原始模型表示 $z_{\theta_0}(x)$ 保持接近，确保水印不破坏模型的原始语义分布。

2.5 水印嵌入与验证 (Embedding and Verification)

嵌入： 使用基于间隔 (Margin-based) 的目标函数，将正交密钥向量嵌入到功能子空间中。
验证： 通过统计检验计算检测分数 $S$ 。如果 $S$ 显著高于零假设下的阈值，则验证所有权。

3. 主要贡献 (Key Contributions)

FSW 框架： 提出了一种基于功能骨干的水印嵌入方法，利用广义特征值问题解耦“任务关键敏感性”与“压缩引起的方差”，有效防御蒸馏和压缩攻击。
正交密钥多比特验证方案： 设计了基于正交密钥的统计验证机制，将所有权验证转化为严格的统计检验，在不影响模型生成性能的前提下实现可靠注入和验证。
广泛的实验验证： 在多种 LLM 架构（LLaMA, Qwen, Mistral, DeepSeek 等）和数据集上进行了测试，证明了 FSW 在微调、量化和知识蒸馏攻击下，仍能保持极高的检测准确率和极低的误报率。

4. 实验结果 (Results)

功能保持 (Functional Preservation)：
- 在多个模型上，FSW 注入后的困惑度 (PPL) 增加极小（例如 LLaMA-3-8B 仅增加 0.37），在 HellaSwag 和 ARC 等下游任务上的准确率与未水印模型几乎持平。
- 证明了水印嵌入未破坏模型的核心功能。
鲁棒性 (Robustness)：
- 对抗攻击： 在 LoRA 微调、量化 (INT4/INT8)、剪枝和骨干蒸馏 (Backbone Distillation) 等攻击下，FSW 的检测分数 $S$ 和比特准确率 (Bit Accuracy) 依然保持高位。
- 对比 SOTA： 相比 EmMark、加权量化等现有方法，FSW 在蒸馏攻击下的表现显著更优（例如 DeepSeek-7B 在蒸馏后仍保持 100% 比特准确率）。
统计显著性：
- 检测分数 $S$ 显著高于理论阈值，即使在极严格的显著性水平 ( $\alpha = 10^{-8}$ ) 下，也能以极低的误报率拒绝零假设，提供不可辩驳的所有权证明。
消融实验：
- 移除了“自适应谱截断”或“一致性约束”等组件会导致性能大幅下降（如误报率上升或检测分数变为负值），证明了各模块的必要性。
- 确定了最佳比特容量（约 16 bits），超过此容量会导致模型性能下降。

5. 意义与影响 (Significance)

技术突破： 解决了大模型水印在强对抗环境（特别是知识蒸馏）下失效的难题，首次将水印锚定在“功能子空间”而非简单的参数空间。
实用价值： 为模型开发者提供了一种在模型发布、微调或分发过程中保护知识产权的有效工具，能够应对模型窃取和未授权重分发。
理论贡献： 提出了基于费雪信息矩阵和压缩不变性的子空间选择理论，为理解模型表示的鲁棒性提供了新视角。
社会影响： 有助于建立大模型的可信生态，明确模型归属，减少 AI 生成内容的版权纠纷，且未预见到显著的负面社会影响。

总结： FSW 通过数学优化（广义特征值问题）找到了模型中“既重要又稳定”的隐藏层方向，将水印“藏”在这些方向中，使得即使模型被大幅修改（如蒸馏），只要其核心功能逻辑未变，水印就能被提取出来。这是一种兼顾鲁棒性、隐蔽性和功能完整性的创新方案。