技术摘要：SLAM（结构语言激活标记）

问题陈述

大型语言模型（LLM）的广泛部署 necessitates 可靠的来源归属，以区分 AI 生成文本与人类创作内容。当前的水印方案在可检测性、文本质量和鲁棒性之间面临根本性的权衡。

主流范式（如 KGW、EWD、Unigram）通过偏置模型的下一个 token 分布（例如，通过绿色列表 token 选择）来运作。虽然高效，但这种方法会导致可衡量的质量损失：在 Gemma-2 模型上，这些方法损失了 7.5–11.5 个奖励分数，并表现出坍塌的条件困惑度比率（0.30–0.42），表明输出具有重复性和不自然性。相反，最近的基于稀疏自编码器（SAE）的方法（如 SAEMark）实现了近乎无损的质量，但遭受高计算开销（每一步采样 $N=50$ 个候选项）以及对语义偏移和简单文本编辑的脆弱性。

方法论：SLAM

SLAM（结构语言激活标记）提出了一种白盒水印方案，将检测与 token 频率偏置解耦。SLAM 不是改变采样的 token，而是将水印写入模型残差流的结构几何中。

核心机制

1. 结构特征挖掘：

   • 作者构建了一个包含 46,579 个句子对的对比数据集，涵盖 104 种语言现象（句法交替、时态、形态、语篇）。这些句子对保持语义内容不变，同时改变结构形式（例如，主动语态与被动语态）。
   • 利用在残差流上训练的稀疏自编码器（SAE），该方法识别出编码这些结构特征的特定、局部子空间。
   • 一种复合评分机制（对比幅度 $\times$ 纯度 $\times$ 跨域一致性）隔离出对结构变化而非语义内容具有稳健响应的 SAE 方向。

2. 方向构建（SVD）：

   • 对于结构概念分布在多个弱判别特征中的现象（在 Gemma-2 9B 等较大模型中很常见），SLAM 对对比差异矩阵执行奇异值分解（SVD）。
   • 这产生了 $k$ 个正交结构模式。该方法支持单特征引导（$k=1$）和复合子空间引导（$k>1$），使其能够有效地扩展到更大的模型。
   • 双向挖掘： 系统为目标结构及其逆结构挖掘方向，将可引导方向的池扩大一倍，以减少选择过程中的碰撞率。

3. 因果引导与注入：

   • 在生成时，SLAM 在特定层（由现象的峰值激活层确定）钩入残差流。
   • 它将一个缩放向量（$\alpha \cdot v_{structure}$）添加到新生成 token 的残差流中。这使模型倾向于产生特定的句法变体（例如，被动语态），而不限制单个 token 的词法选择。
   • 特征选择： 通过 HMAC 密钥加权的采样为每篇文档选择特征子集，以确保唯一性和安全性。
   • 早停生成： 系统生成最多 $N=4$ 个候选项，并返回第一个通过校准检测阈值（$\hat{z} \ge 2.0$）的候选项，与候选评分方法相比显著降低了开销。

4. 检测：

   • 检测需要模型的一次前向传播。残差流激活被投影到预计算的结构方向上，以计算 Stouffer $z$-分数。
   • 检测时不需要 SAE 前向传播，使该过程具有计算效率。

主要贡献

1. 对比挖掘流程： 一个流程通过 104 种现象和 5 个语义领域的复合分数隔离结构 SAE 方向，确保域不变性。
2. PCA 双向结构方向： 一种基于 SVD 的方法，用于构建正交复合方向（$k>1$），使 SLAM 能够处理较大模型（9B+）中分布式的结构表示，并提供可调节的质量 - 检测权衡。
3. 高效白盒方案： 一个完整的水印系统，具有 HMAC 密钥选择和早停生成循环。它所需的 LLM 调用次数比 SAEMark 少一个数量级（$N \le 4$ 对比 $N=50$），并以适度的开销（约 $1.6\times$ 生成时间）运行。
4. 实证验证： 在 Gemma-2 2B 和 9B 上进行了全面评估，针对六个基线方法，涵盖四个质量指标族和七种鲁棒性攻击。

实验结果

在 Gemma-2 2B 和 9B 预训练模型上评估：

• 检测性能： SLAM 在两种模型规模上均实现了 100% 真阳性率（TPR），假阳性率（FPR）为 2.3%。
• 质量保持：
  • 奖励差距： SLAM 仅造成 $\Delta$Reward = -1.3 (2B) 和 -1.9 (9B) 的奖励惩罚。这显著低于 token 分布基线（KGW、EWD、Unigram），后者损失 7.5–11.5 分。
  • 自然度： SLAM 保留的输出分布指标（distinct-n、Self-BLEU、MAUVE）和条件困惑度比率（1.24/1.36）比其他方法更接近未水印基线。与 token 分布方法不同，它不会导致重复文本（PPL 比率坍塌）。
  • 语法： 语法错误率保持在接近基线水平。
• 鲁棒性概况：
  • 词级攻击： SLAM 对同义词替换、词删除、词替换和句子重排具有 100% 的鲁棒性。
  • 改写攻击： SLAM 对句法重构改写（如 DIPPER）脆弱，TPR 降至约 10–12%。然而，论文指出，此类攻击会对攻击者施加质量成本（降低文本质量），并且这种脆弱性是 token 分布方法的反面（后者对改写具有鲁棒性，但对词级编辑脆弱）。

意义与主张

论文声称，SLAM 证明了当水印编码在适当的语言抽象级别（结构几何对比 token 频率）时，质量和检测无需权衡。

• 机制洞察： 通过引导模型产生哪种结构变体而不是采样哪些 token，SLAM 使词法表面和语义意义基本不受约束。这解释了其在奖励模型、困惑度和多样性指标上的优越表现。
• 互补鲁棒性： 论文将 SLAM 对句法重构改写的脆弱性定位为获得近乎无损生成质量的计算性、可接受的成本，这与 token 偏置方法的“重复文本”特征形成对比。
• 可扩展性： 使用复合子空间（$k>1$）被确定为将结构水印扩展到特征分布的更大模型的关键推动因素。

作者总结道，虽然 SLAM 需要白盒访问并且对严重的结构重写敏感，但与现有的 token 分布和语义评分方法相比，它为来源归属提供了可检测性和质量保持的更优平衡。