🤖 AI

Efficient and Scalable Provenance Tracking for LLM-Generated Code Snippets

本文介绍了 SOURCETRACKER 及其混合两阶段流水线 HYBRIDSOURCETRACKER，该流水线将向量搜索与经典指纹识别相结合，通过在十亿规模语料库中高效识别潜在训练来源，实现对大语言模型生成代码的可扩展、高精度的溯源追踪。

原作者： Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位刚创作出一道美味新菜的厨师。你想知道你的食谱是受某本特定烹饪书的启发，还是你无意中逐字复制了一位名厨的作品。现在，想象一下，这位“厨师”不是人类，而是一个超级聪明的 AI（大型语言模型），它已经阅读了数十亿本烹饪书。

问题在于：如果 AI 复制了某道食谱，它通常会更改食材的名称（例如将“糖”替换为“甜味剂”），或者稍微调整步骤。传统的抄袭检测方法就像一位图书管理员，必须阅读世界上每一本烹饪书的每一页才能找到匹配项。如果图书馆拥有数十亿本书，这位图书管理员需要花费数年时间才能找到答案。

本文介绍了一种名为SOURCETRACKER的全新超快系统，以及一个名为HYBRIDSOURCETRACKER (HST) 的两步流程来解决这一问题。以下是其工作原理，使用简单的类比说明：

1. 问题：十亿草堆中的一根针

作者解释说，AI 模型有时会“记忆”其训练数据中的部分内容。当它们生成代码时，可能会输出一段与其训练数据中的某段代码几乎完全相同的代码片段，即使它们更改了一些变量名称。

旧方法（Winnowing）： 想象一下，试图在一个拥有数十亿本书的图书馆中，通过从头到尾阅读每一本书来寻找特定的句子。这种方法准确，但极其缓慢。如果图书馆规模扩大，所需时间也会随之增长（线性时间）。
新挑战： 现代 AI 训练集如此庞大（包含数十亿个代码片段），以至于旧的“通读一切”方法过于缓慢，无法实用。

2. 解决方案：一个两阶段的侦探团队

作者创建了一个混合系统，就像一个两阶段的侦探团队，能够快速准确地找到代码的原始来源。

第一阶段：“智能嗅探器”（SOURCETRACKER）

首先，他们构建了一个名为SOURCETRACKER的专用 AI 模型。将其想象为一只经过高度训练、能嗅出特定气味的狗。

该模型不是阅读每一个单词，而是将一段代码转化为“气味档案”（数学向量）。
它使用一个高科技数据库（Qdrant），充当超快速地图。这只狗不需要搜索整个图书馆，而是嗅探空气，瞬间指向最有可能匹配的 100 本书。
速度： 这一步极其迅速，即使面对数十亿本书也仅需几毫秒，因为它使用了“对数”搜索（就像在图书馆中通过检查索引、然后书架、最后书籍来找到一本书，而不是阅读每一页）。

第二阶段：“法医鉴定员”（Winnowing）

一旦“智能嗅探器”将范围缩小到前 100 个候选者，第二位侦探就会介入。这就是经典的Winnowing算法。

将其想象为一位法医专家，他查看前 100 本书，并检查页面上的指纹。
它会比较代码的确切结构，以查看是否匹配，即使某些单词已被更改。
由于它只需检查 100 本书而不是数十亿本，这一步也非常快。

3. 结果：快速且准确

该论文在包含 1000 万个代码片段的大规模数据集上测试了此系统。以下是他们的发现：

短片段： 如果代码片段非常短（如单个句子），“智能嗅探器”并不完美，旧的“法医鉴定员”（Winnowing）在查找确切匹配方面仍然更好。
较长片段： 如果代码片段较长（60 个单词或更多），混合系统 (HST) 的表现实际上优于单独的旧方法。它在保持超快速度的同时，更频繁地找到了正确的来源。
“几乎正确”的匹配： 作者还使用另一个 AI 来评估结果。他们发现，即使系统没有找到确切的原始代码（即“真实情况”），它通常也能找到非常相似的代码。这很有用，因为它告诉用户：“嘿，这段代码看起来来自这个代码家族，即使它不是确切的原始代码。”

4. 为什么这很重要

该论文认为，为了使 AI 生成的代码符合道德和法律要求，我们需要知道它的来源。

透明度： 该系统帮助用户查看其 AI 生成的代码是否仅仅是他人作品的复制品。
可扩展性： 它证明了在眨眼之间即可检查数十亿本书籍图书馆中的抄袭行为，而无需等待数年。

局限性

作者诚实地指出了局限性：

你需要图书馆： 要使用此系统，必须能够访问原始训练数据（即书籍图书馆）。如果 AI 是在你无法看到的秘密数据上训练的，你就无法追踪来源。
创造性更改： 如果 AI 对代码进行了过多更改（不仅仅是重命名变量，而是完全重写逻辑），该系统可能难以找到关联。

总结： 该论文提出了一支“智能嗅探器”加“法医鉴定员”的团队，能够瞬间扫描数十亿个代码片段，以找到 AI 生成代码的原始来源，在速度与高准确性之间取得平衡，尤其适用于较长的代码片段。

技术摘要：针对大语言模型生成代码片段的高效可扩展溯源追踪

问题陈述
大型语言模型（LLM）在代码补全和生成（例如 Codex、CodeLlama、StarCoder）领域的普及，引发了关于抄袭和许可证合规性的重大法律与伦理挑战。LLM 可能会“复述”训练数据，在未经注明的情况下逐字或仅进行轻微改编（例如标识符重命名）地重现代码。虽然像 MOSS 系统中使用的 Winnowing 这样的经典指纹技术能够有效检测抄袭，但它们依赖于线性时间搜索算法。这种方法对于通常包含数十亿样本的现代预训练语料库而言，在计算上是不切实际的。现有的可扩展解决方案（如 infinity-gram 检索）虽然提供了对数时间复杂度，但对噪声和代码改编高度敏感，无法检测 LLM 输出中常见的非逐字相似性。

方法论
作者提出了HYBRIDSOURCETRACKER (HST)，这是一种旨在平衡可扩展性与高检测准确性的混合两阶段溯源追踪流程。该系统将向量数据库检索与传统指纹技术相结合：

SOURCETRACKER（第一阶段）： 这是一个拥有 3 亿参数的双向编码器，使用对比语言 - 图像预训练（CLIP）损失进行微调。该模型旨在将小块代码片段的向量表示与其对应的完整源代码片段对齐。它使用了来自THESTACKV2的 1000 万个代码片段的数据集。在训练过程中，模型同时接触逐字副本（Type 1 克隆）和“改编”片段，其中频繁出现的标识符被概率性地替换为随机字符串（Type 2 克隆），以模拟领域适应。
- 检索： 在推理阶段，代码片段被编码并查询Qdrant向量数据库（使用 HNSW 索引），以检索最相似的 100 个候选片段。此阶段相对于数据集大小具有对数时间复杂度（ $O(\log N)$ ）。
Winnowing 重排序（第二阶段）： 由 SOURCETRACKER 检索到的前 100 个候选片段将接受Winnowing算法的处理。此阶段为候选片段和查询片段生成语法指纹（哈希），并根据其指纹集合的精确 Jaccard 相似度对它们进行重新排序。通过将 Winnowing 过程限制在固定大小的候选集（100 个项目）内，整个系统在保持对数时间复杂度的同时，利用了指纹技术的抗噪能力。

主要贡献

SOURCETRACKER 模型： 发布了一个专门微调的 3 亿参数编码器，用于从小片段中检索完整代码片段，能够处理逐字和改编的代码。
HST 流程： 引入了一种混合方法论，按顺序结合向量搜索和 Winnowing。该方法提供了对数搜索时间复杂度的理论保证，同时实现了与（或优于）传统指纹方法相当的检测性能。
双重评估框架： 论文采用了双重评估策略：
- 真实值指标： 使用 Recall@N 和平均倒数排名（MRR），针对 THESTACKV2 的已知子集进行评估。
- 基于 LLM 的裁判： 利用 LLM（Qwen3 Coder）评估那些不是真实值的检索片段的语义相似性，承认严格检索中的“错误”可能仍然代表相关的灵感来源。

结果
该系统在 THESTACKV2 的 1000 万片段子集上进行了评估，搜索空间范围从 1,000 到 100,000 个样本。

性能与窗口大小： 对于小片段（≤30 个 token），仅使用 Winnowing 仍然非常有效。然而，对于窗口大小≥60 个 token 的情况，HST 和 SOURCETRACKER 始终优于仅使用 Winnowing，其中 HST 在平均倒数排名（MRR）上显示出高达 5.4% 的提升。
可扩展性： 虽然 Winnowing 表现出线性时间复杂度，从而在大型数据集上造成瓶颈，但 HST 保持了对数复杂度。外推结果表明，即使对于包含数十亿样本的数据集，查询延迟仍保持在毫秒级别。
鲁棒性： 混合方法表现出对标识符重命名（Type 2 克隆）的抵抗力。基于 LLM 的裁判评估显示，即使系统未能检索到确切的“黄金”来源，它通常也能检索到具有高语义相似性的片段（在较大窗口下，5 分量表得分为 2.0–2.6），这表明即使确切匹配被掩盖，系统也能识别出相关的影响。
与 OLMOTRACE 的比较： 作者发现，虽然 OLMOTRACE（一种基于后缀数组的方法）效率很高，但它在处理大于 15 个 token 的上下文窗口时表现不佳，无法捕捉 HST 成功识别的上下文相似性。

意义与主张
论文声称，将向量搜索与指纹技术相结合，实现了对 LLM 生成代码的可扩展、高精度的溯源追踪。作者认为，这种方法解决了软件开发中对透明度和伦理归属的关键需求。

然而，作者对局限性和更广泛的影响保持谦逊：

对训练数据的依赖： 该系统的适用性取决于生成代码所使用的特定训练数据集的可用性。
“错误”的性质： 论文强调，未被标记为真实值的检索片段可能与来源高度相似，这表明严格的真实值评估可能会低估该系统对于寻求灵感来源的最终用户的实用性。
对透明度的呼吁： 作者总结道，仅依赖 LLM 的内部记忆倾向是危险的。他们主张发布训练数据集及其底层来源，作为实现有效溯源追踪和作者归属的事实要求。