🤖 machine learning

Training Leaves Traces: Centered Residual Signatures for Language Model Lineage Verification

本文介绍了一种名为“中心残差签名”（Centered Residual Signatures）的无数据、白盒方法，该方法通过分析残差块中独特的结构痕迹来验证开源权重语言模型的谱系，从而无论经过微调、合并还是量化，都能实现对相关检查点与无关检查点的准确区分。

原作者： Aman Singh Thakur, Rayan Khoury

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aman Singh Thakur, Rayan Khoury

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代数字景观中，人工智能模型很少是静态且孤立的创造物。它们是随着复杂的供应链不断演进的生命体。一个基于海量文本训练的基础模型，往往会在开发者之间流转。在此过程中，它会被微调以执行特定任务，被压缩以在更小的设备上运行，或者与其他模型结合以创造出全新的事物。这些操作改变了模型的内部数值，即其权重，但却极少留下清晰的纸质痕迹。一旦一个模型以新的名称发布，人们很难判断它是一个著名原型的真实后裔，还是仅仅是一个为了表现得相似而从头构建的仿制品。这种透明度的缺失在开源智能生态系统中造成了一个盲点，使得验证起源或保护知识产权变得困难。

核心挑战在于区分两种截然不同的场景。第一种情况，模型是另一个模型的真正子嗣，通过微调或合并过程继承了其特定的数学结构。第二种情况，模型是一个独立的创造物，只是恰好产生了相似的结果。传统的验证方法，例如检查数字指纹或观察其行为，在这里往往会失效。数字签名在单个数字发生变化时就会失效，而行为测试则无法区分共享的历史与共享的结果。研究人员需要一种方法来观察模型的“大脑”内部，并找到一个能在这些变换中存续的痕迹——一种无需原始训练数据或运行模型能力即可证明共享血缘关系的信号。

一个研究团队开发出了一种方法来解决这个问题，通过检查模型层中所留下的独特几何结构。他们专注于许多现代语言模型中常见的特定架构特征：残差块（residual block）。在这些结构中，信息流经一条主路径，同时也会跳过一条侧边路径，这使得模型能够学习微小的修正，而不是每次都从零开始。研究人员发现，当一个模型进行训练时，这些侧边路径中的数学运算会产生一种非常特定的、共享的对齐方式。这就像是模型学会了以某种特定的方式组织其内部组件，以实现高效的修正。然而，这种对齐方式非常普遍，几乎出现在任何经过训练的模型中，因此仅凭这一点无法证明血缘关系。

突破在于研究人员意识到，他们可以分离出那个对特定检查点（checkpoint）而言独特的结构部分。通过在数学上移除所有训练模型都具备的通用、共享的对齐方式，他们留下了一个“残差签名”。这个剩余的部分就像是一个独特的指纹，专门针对该模型训练的确切历史。它捕捉了模型内部数值在创建过程中被调整的具体方式。随后，团队创建了一个评分系统来比较两个不同模型的这些签名。如果模型拥有共同的父辈，它们的独特签名即使在一个模型经过大量修改、压缩或与其他模型合并后，也会紧密对齐。如果它们互不相关，那么在对比时，这些签名看起来就像随机噪声。

为了测试这一想法，研究人员使用不同规模和复杂度的模型进行了一系列严格的实验。他们提取基础模型，并使其经历常见的现实世界变换，例如在数据上进行微调、通过剪枝减少其规模，或通过压缩使其运行更快。他们还创建了从头开始训练以模仿原始模型行为的独立模型。结果令人震惊。新的评分方法成功识别出了每一个真正的后裔，无论该模型经过了多少种改变。它能以完美的准确度将它们与独立模型区分开来，即便那些独立模型在行为上设计得几乎完全一致。该方法适用于不同的语言模型家族，包括用于编程和通用对话的模型，证明了这种信号是这些网络学习过程中的一种基本属性。

研究人员还针对一种更具攻击性的场景测试了该方法，即在对手试图隐藏模型起源的情况下。他们尝试通过打乱模型的内部组件或重新缩放其数值，在保持模型功能的同时，破坏其在传统检测工具面前的外观。虽然旧的方法在这些条件下完全失效，但新的签名依然保持稳定。这是因为该方法并不依赖于组件的顺序或其绝对大小，而是依赖于它们之间的特定几何关系。研究人员发现，他们的这种方法比最接近的竞争技术要快得多，在处理大型模型时速度快了数十倍。这种速度优势，结合其无需任何训练数据或运行模型能力的特性，使其成为审计开源人工智能供应链的实用工具。

在一次现实世界的演示中，团队将该方法应用于一组声称与某个著名原创模型相关的公开语言模型。测试正确识别了三个真正的后裔，并赋予了它们高相似度评分。与此同时，它也正确地标记了另外七个虽然具有相同架构但经过独立训练的模型，并赋予了它们接近于零的评分。这证实了该方法可以区分真实的血缘关系与单纯的架构克隆。这项研究表明，这种被动的、无需数据的信号是验证开源权重模型历史的可靠方式。它提供了一种观察模型间不可见联系的方法，确保人工智能的谱系可以被追踪、验证和理解，即使在原始创造者已经离去之后。

技术摘要：用于语言模型谱系验证的中心化残差签名

问题定义

本文解决了开源权重语言模型的**无数据白盒谱系验证（data-free white-box lineage verification）**挑战。随着模型通过涉及微调、量化、剪枝、合并（如 LoRA）以及更名后重新分发的复杂供应链进行分发，其溯源过程往往变得缺乏记录或被刻意隐瞒。

核心任务定义如下：给定两个兼容的模型检查点（A 和 B），且具有相同的残差架构（相同的层数 $L$ 和隐藏维度 $d$ ），验证器必须仅凭权重判断它们是否共享权重级的祖先关系（weight-level ancestry）。

相关（Related）： 通过后训练操作（微调、RLHF、剪枝、量化、合并）继承自共同祖先的检查点。
不相关（Unrelated）： 即使共享架构、训练数据或行为输出，也是独立初始化的检查点（例如，从头开始训练的蒸馏学生模型与其教师模型是不相关的）。

现有方法在此场景下表现不佳：加密哈希在任何权重变化时都会失效；元数据需要信任基础；水印必须主动插入；而行为相似性指标（CKA, SVCCA）需要数据/前向传播，且衡量的是功能相似性而非权重继承。

方法论：中心化残差签名

所提方法利用了训练好的残差网络的一个结构特性：分支乘积中的迹集中（trace concentration）。

1. 分支乘积中的迹集中

在残差块 $x_{\ell+1} = x_\ell + F_\ell(x_\ell)$ 中，残差分支 $F_\ell$ 通常由交错非线性层的线性层组成。通过组合线性因子并舍弃非线性项，可以得到分支乘积矩阵 $M_\ell = W_K \dots W_1 \in \mathbb{R}^{d \times d}$ 。
在 Frobenius 内积下，任何矩阵都可以分解为一个与单位矩阵对齐的分量和一个无迹余项：
$M_\ell = \frac{\text{tr}(M_\ell)}{d}I + E_\ell$
其中 $\text{tr}(E_\ell) = 0$ 。
训练诱导了正确配对的分支乘积中存在强烈的单位矩阵对齐（identity alignment），这意味着迹集中得分 $s(M) = |\text{tr}(M)| / \|M\|_F$ 会变得很高。然而，这种性质是通用的；独立训练的模型也会表现出高迹集中度。因此，仅靠迹集中度本身无法建立谱系关系。

2. 中心化残速签名

为了隔离祖先关系，该方法移除了通用的单位矩阵对齐分量，并专注于特定于检查点的余项 $E_\ell$ （在论文中记作 $R_\ell$ ）。

签名提取： 对于每个块 $\ell$ ，将无迹余项归一化为单位向量 $\phi_\ell$ 。
对齐： 在参考模型 $A$ 和怀疑对象 $B$ 之间构建相似度矩阵 $G_{ij} = \langle \phi^A_i, \phi^B_j \rangle$ 。使用匈牙利算法恢复最优块排列 $\pi^*$ ，从而以极高的准确度（在规范 MLP 路径上为 100%）恢复块对应关系。
谱系得分： 最终的对称得分 $L(A, B)$ 是对齐块之间中心化签名的平均余弦相似度：
$L(A, B) = \frac{1}{L} \sum_{\ell=1}^L \langle \phi^A_\ell, \phi^B_{\pi^*(\ell)} \rangle$
验证： 将得分针对由独立训练模型生成的经验零分布进行校准。如果 $L(A, B)$ 超过了在独立模型中观察到的最大得分，则判定该检查点为“相关”。

3. 理论机制

论文提出了一个基于**梯度耦合（gradient-coupling）**的解释来阐述观察到的单位矩阵对齐现象。在残差网络中，跳跃连接迫使分支学习围绕单位路径的修正。因此，分支的输入权重和输出权重（ $W_{in}$ 和 $W_{out}$ ）通过相关的梯度进行更新，这些梯度沿对角线累积。这种耦合是特定于特定检查点的训练动力学的，它在函数保持变换（如神经元排列或倒数缩放）中得以存续，但会被重新初始化破坏。

核心贡献

问题定义： 定义了无数据的成对权重谱系验证，并引入了中心化残差签名，用以从通用的训练伪影中分离出特定于检查点的结构。
模型级得分： 构建了一个具有经验零分布校准和对 MLP 块内隐藏单元排列及倒数缩放之代数不变性的对称得分。
鲁棒性评估： 证明了该方法能将后代（微调、LoRA 合并、剪枝、量化）与独立及蒸馏模型区分开，AUROC=1.0。至关重要的是，该方法在函数保持型洗钱（function-preserving laundering）（即排列和缩放）下保持不变，而标准的权重空间基准（余弦相似度、Frobenius 距离）则会失效或显著降低边际。
泛化性： 展示了底层迹集中信号出现在六个语言模型家族（GPT-2, BERT, LLaMA-2, Mistral, Qwen2.5, DeepSeek-R1）中，并可扩展至视觉（ViT, ResNet）和语音（Whisper）架构。

实验结果

基准测试： 在残差-MLP 和 30M 参数量的 GPT-2 基准上进行了评估。
- 谱系检测： 在区分相关与不相关检查点方面实现了 AUROC=1.0 和高 Gap-Z 边际（例如 GPT-2 上为 +31.0）。
- 抗洗钱能力： 在函数保持型洗钱（排列和缩放）下，该方法维持了 AUROC=1.0。相比之下，权重余弦相似度降至 AUROC=0.80（且 Gap-Z 边际塌陷），而对齐 Frobenius 距离在强缩放下失效。
- 效率： 该方法比最近的鲁棒基准（Re-Basin+scale）快 76 倍（在 GPT-2 上为 5ms vs 388ms），因为它避免了迭代对齐搜索，而是直接计算分支乘积。
公开案例研究： 应用于 LLaMA-2 公开检查点。该方法正确识别了 3 个有记录的后代（Chat, Vicuna, CodeLlama），得分较高（ $L \ge 0.33$ ），并正确将 7 个独立训练的架构克隆（OpenLLaMA, Amber, Baichuan 等）分类为不相关（ $|L| < 5 \times 10^{-5}$ ）。
与行为的区别： 该方法成功区分了权重谱系与行为相似性。蒸馏学生虽然模仿教师的输出，但得分接近于零（ $L \approx 0.002$ ），这证实了该方法检测的是共享参数，而非仅仅是功能模拟。

重要性与局限性

重要性：
本文为兼容的开源权重语言模型建立了一种被动的、无数据的溯源信号。它能够审计模型供应链，以检测未记录的谱系，区分真正的权重后代与仅在行为上相似或共享架构的模型。该方法在应对通过重排内部结构而不改变模型行为的“洗钱”尝试时，具有显著的鲁棒性。

局限性（根据作者所述）：

白盒要求： 需要访问权重；仅通过 API 访问的模型无法进行验证。
架构约束： 仅限于残差架构（如 Transformer, ResNet）。普通的前馈网络、RNN 和状态空间模型不在讨论范围内。
兼容性： 要求深度和隐藏维度匹配；不支持跨架构验证。
对称性： 得分是对称的，在没有外部元数据的情况下，无法确定下降方向（是祖先还是后代）。
部分继承： 虽然得分反映了在线性合并或层嫁接中共享块的比例，但它无法重建多跳谱系或家族树。
校准： 需要来自相同架构的独立训练模型的零分布。由于受限于独立根模型的数量而非成对比较的数量，其统计保证的有效样本量是有限的。
对激进攻击的鲁棒性： 虽然对标准洗钱具有鲁棒性，但重度剪枝（85% 稀疏度）或广泛的持续预训练可能会削弱信号（尽管它仍可被检测到高于零分布）。如果残差流的正交旋转（在保持函数不变的前提下）可能在理论上破坏该信号，尽管此类架构在部署的模型中并不常见。