🤖 AI

TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance

TokenPrint 引入了一种无需训练、经过校准的标记空间指纹，该指纹利用来自知识探测器的前 $k$ 个词表投影，能够准确识别不同模型家族及量化水平下的语言模型来源、谱系以及共享训练数据。

原作者： Yuqi Wu, Shengming Zhao, Jie Chen

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuqi Wu, Shengming Zhao, Jie Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图弄清楚一个神秘人的身份，但他们从不出示身份证，他们的父母也不肯透露他们的姓氏。你手里唯一的线索就是他们的声音。如果你仔细聆听，可能会注意到他们使用了和兄弟姐妹相同的俚语，或者以一种特定的方式接龙对方的话，亦或是拥有与表亲们相似的独特节奏。在人工智能的世界里，这些“人”就是大语言模型（LLMs）——即那些能够写作、聊天并解决问题的计算机程序。长期以来，如果一家公司发布了一个新模型，他们可能会隐藏该模型最初是从哪个旧模型演变而来的，或者它具体是在哪些书籍和网站上进行训练的。这是一个问题，因为如果一个模型是基于窃取的数据构建的，或者被训练得具有危害性，我们需要知道它的“家族树”才能追究相关人员的责任。科学家们曾尝试通过观察模型的内部代码（其“DNA”）来解决这个问题，但如果那段代码被隐藏了呢？这篇论文提出了一个聪明的疑问：我们能否仅通过聆听它们所说的话，就能识别出一个模型的家族？

来自复旦大学的研究人员吴雨琦、赵圣明和陈洁引入了一种名为 TokenPrint 的新工具。你可以把它想象成 AI 的“声纹”。这种方法不需要看到模型的秘密内部代码，他们只需向模型提出 250 个特定的问题——比如“加拿大的首都是哪里？”或“写一段用于循环的代码”——然后观察模型在回答时选择的前几个词。他们将这些顶部的选择称为模型的“指纹”。

这里有一个魔术技巧：当两个模型有关联时（例如，一个是另一个的“微调”版本，或者它们都使用了完全相同的训练数据集），即使它们的规模不同或由不同的公司制造，它们也倾向于在这些问题上选择相同的顶层词汇。研究人员使用一种名为 Jaccard 重叠度（Jaccard overlap） 的数学工具来衡量这种相似性，这个工具本质上是在问：“这两个模型共享了多少个顶层词汇？”

研究发现了一些非常有趣的现象：

家族特征是真实存在的： 拥有共同“父辈”或训练数据集的模型，其相似度得分（约为 0.35 到 0.48）远高于完全无关的模型（约为 0.17）。这就像一个孩子的声音听起来会比陌生人更像其父母，即使他们并不完全相同。
形成速度极快： 这种“声纹”形成得异常迅速。研究人员发现，这种相似性在模型训练的前 1% 阶段就已经出现了，远早于模型变得足够聪明以能正确回答问题的时刻。这表明指纹来自于模型“吃掉”的数据，而不仅仅是它变得多么聪明。
即便被隐藏也依然有效： 即使模型使用不同的“词汇表”（不同的单词列表）或不同的计算机架构，该方法依然有效。这就像即使对方说着略微不同的方言，你依然能认出一位家族成员。
它是侦探工具，而非魔杖： 指纹非常擅长缩小嫌疑人的范围。例如，当他们尝试寻找五个特定新模型（称为 R1 蒸馏模型）的“父辈”时，指纹每次都能将真正的父辈锁定在前两个猜测之中。然而，它有时无法区分父辈与非常接近的表亲（如兄弟模型），这意味着它能为你指明方向，但并不总是能给出一个单一且完美的答案。

研究人员还检查了当模型被压缩以节省空间（这一过程称为量化）时，这种指纹是否依然存在。他们发现，即使模型被压缩到非常小的尺寸（int4 或 int8），指纹依然保持强劲，与原始模型的相似度得分保持在 0.82 到 0.92 之间。这意味着即使模型被“挤压”了，其“声音”也不会发生太大变化。

简而言之，TokenPrint 表明，每个语言模型都会留下独特的、持久的“词汇选择”痕迹，从而揭示其训练历史。这是一种无需训练、轻量化的方法，用于追踪模型的血统，帮助我们理解谁制造了什么以及数据来自何处，而无需窥探模型的秘密代码。虽然它并不总能以 100% 的确定性命名确切的父辈，但它是追踪 AI 家族树的一把强有力的“放大镜”。

技术摘要：TokenPrint

问题陈述
开源权重语言模型的快速发布已经超过了对其来源进行审计的能力。当前的治理机制面临着显著挑战：模型卡片（model cards）往往忽略了用于微调的具体基座检查点（base checkpoint），训练数据披露也经常不完整，且名义上独立开发的模型可能共享大量的训练语料库。现有的取证方法在范围上受到限制：权重空间方法（如 HuRef、Model Tree Heritage Recovery）需要参数访问权限并假设存在参数继承关系；而行为谱系法（如 PhyloLM）生成的结构往往缺乏校准，只能揭示聚类现象，却无法为由共享基座、重叠数据或单纯的能力收敛所产生的相似度水平提供校准后的预期。因此，需要一种无需访问模型权重即可推断模型谱系和训练历史的方法，且该方法应适用于即使在模型间没有任何共享参数的情况下依然有效。

方法论
作者引入了 TokenPrint，这是一种基于固定 250 个知识探测器（knowledge probes）诱发的后期隐藏层状态（late hidden states）的前 $k$ 个词表投影的免训练指纹（training-free fingerprint）。

指纹提取： 对于一个具有 $L$ 层的因果语言模型，该方法使用 250 个固定的提示词（探测器）且不使用对话模板。它记录特定深度（ $\ell \in \{L/4, L/2, 3L/4, L-2\}$ ）处的隐藏状态 $h_\ell(p)$ ，并通过解嵌入矩阵 $W_U$ 将其投影为 logits。前 100 个 token 被解码为字符串，根据解嵌入范数（unembedding norms）过滤掉“故障”（glitch）token，并去除空白字符。指纹即为每个探测器到其解码字符串排名列表的映射。
相似度度量： 模型 $a$ 和 $b$ 在深度 $\ell$ 处的相似度定义为所有探测器中其前 $k$ 个解码字符串集合的平均 Jaccard 重叠度：
$S_\ell(a, b) = \frac{1}{|P|} \sum_{p \in P} \frac{|F_{a,\ell}(p) \cap F_{b,\ell}(p)|}{|F_{a,\ell}(p) \cup F_{b,\ell}(p)|}$
内部深度通过分数位置进行匹配，以适应不同规模的模型。
校准与零假设估计： 为了消除与探测器内容无关的共享词汇结构和分词器效应，作者估计了一个针对特定对的“错位探测器零值”（mismatched-probe null, $\tilde{S}$ ）。这是通过将模型 $a$ 对探测器 $i$ 的响应与模型 $b$ 对不同探测器 $j \neq i$ 的响应进行配对来计算的。最终指标是超额相似度（excess similarity, $S - \tilde{S}$ ），它分离出了锁定在探测器内容上的信号。
评估池： 该方法在包含 32 个开源权重模型（0.6B–32B 参数）、来自 9 个开发者家族的校准池上进行了评估，其中包括已记录的关系，如 Pythia 模型（相同数据，无共享权重）、DeepSeek-R1 蒸馏模型（共享基座检查点）以及连续的迭代版本。一个外部“见证池”包含了由不同组织、不同分词器和架构训练的相同语料库（The Pile）模型。

关键结果

校准后的相似度阶梯： 指纹相似度在很大程度上遵循已记录的模型相关性。
- 相同数据（无共享权重）： 在相同数据且相同顺序下训练的 Pythia 模型显示出最高的超额相似度（0.35）。
- 共享基座微调： 继承基座检查点的模型表现出高相似度（0.33）。
- 同一开发者/谱系： 来自同一开发者或谱系组的模型表现出中等相似度（0.25–0.28）。
- 无关模型： 没有记录关系的模型显示出最低相似度（0.17）。
  该信号在不同组织、分词器家族（例如 Cerebras-GPT 与 Pythia）以及架构类别（例如 RWKV 与 Transformers）之间持续存在。
早期显现： 相似度信号在训练的前 1% 内（例如 Pythia 模型的第 1000 步）便已显现，远早于可衡量的客观事实能力（探测器准确率）的实现。这表明该信号源于共享的训练数据分布，而非仅仅是任务能力的收敛。
谱系检索： 作为一种最近邻检索方法，TokenPrint 成功地将所有五个 DeepSeek-R1 蒸馏模型的确切文档基座检查点排在候选名单的前两名（平均排名 1.8，MRR 0.60）。值得注意的是，它能识别出专门化的基座（例如数学专业化基座），而粗略的元数据（分词器谱系和参数量）无法区分这一点。然而，该方法通常识别的是一个“谱系邻域”而非唯一的父本，因为密切相关的替代品（例如相同的基座 Instruct 版本）通常也会排名靠前。
深度与鲁棒性：
- 深度： 判别强度向输出分布方向增强，AUC 从四分之一深度处的 0.72 上升到最终输出处的 0.90。仅使用前 5 个输出 token 时仍保持 0.87 的 AUC。
- 量化： 指纹在量化下保持稳定，与 bf16 基准相比，int8 下的 Jaccard 相似度为 0.92，int4 下为 0.82–0.85。
- 能力控制： 回归分析证实，即使在控制了能力差距和参数规模后，观察到的谱系组结构依然存在。

意义与主张
本文将 TokenPrint 定位为一个实用的谱系检索和模型溯源分析工具，它无需访问权重即可运行。其主要意义在于：

免训练操作： 它仅需要前向传播，使其适用于权重空间方法失效的黑盒或受限访问模型。
校准解释： 通过建立针对已知关系的“相似度阶梯”，该方法超越了未经校准的聚类，提供了参考范围，用以说明何种水平的相似度意味着特定的关系类型（例如共享数据 vs 共享基座）。
数据驱动信号： 该信号在不同组织和架构之间的持续性，以及在能力收敛之前就已显现，表明 token 空间指纹捕捉到了训练数据分布中持久存在的结构性人工痕迹。

局限性与范围
作者明确指出，该方法无法仅凭单一的成对评分来识别关系的机制（例如区分权重继承与重叠语料库）。相反，它提供了一个全局相似度结构，用以缩小候选集并生成进一步针对性分析的假设。该方法最适合于识别哪些模型关系值得进行更深入的调查，而非作为特定训练历史的独立法律证据。作者还指出，跨分词器的比较可能会由于语义等价字符串的分词方式不同而低估相似度。

类似论文