💬 NLP

SrDetection: A Self-Referential Framework for Data Leakage Detection in Code Large Language Models

本文介绍了 SrDetection，这是一个通过将模型在原始基准样本上的性能与其语义等价变体上的性能进行比较，从而识别代码大语言模型中数据泄露问题的自指框架，在无需依赖外部阈值或专有训练数据的情况下，在灰盒和黑盒设置下均实现了显著高于现有方法的检测准确率。

原作者： Shuaimin Li, Liyang Fan, Zeyang Li, Zhuoyue Wan, Yufang Lin, Shiwen Ni, Feiteng Fang, Hamid Alinejad-Rokny, Yuanfeng Song, Kun Jing, Chen Jason Zhang, Min Yang

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shuaimin Li, Liyang Fan, Zeyang Li, Zhuoyue Wan, Yufang Lin, Shiwen Ni, Feiteng Fang, Hamid Alinejad-Rokny, Yuanfeng Song, Kun Jing, Chen Jason Zhang, Min Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在批改学生期末考试卷子的老师。你想知道这个学生是真的理解了知识点，还是仅仅背下了你之前给他的那张“小抄”。在人工智能（特别是 代码大语言模型/Code LLMs）的世界里，这种“小抄”被称为数据泄露（data leakage）。当一个模型在训练阶段意外地“学习”了完全相同的测试题目时，就会发生这种情况，这让它看起来比实际更聪明。

这篇论文介绍了一个名为 SrDetection 的新工具来抓捕这种“作弊行为”。以下是它的工作原理，用简单的语言解释如下：

问题所在：坏掉的秒表和缺失的答案解析

目前，试图抓捕作弊的 AI 就像是在玩一个缺少拼图块的游戏。

“缺失答案解析”问题： 要检查一个模型是否背诵了某个问题，你通常需要看到它的“秘密训练日记”（即它学习的数据）。但公司会对这些日记保密。我们无法窥探其中。
“坏掉的秒表”问题： 有些人尝试通过检查代码编写日期来猜测模型是否见过某个问题。如果代码是在模型训练之后编写的，他们就假设模型不可能见过它。但这并不可靠，因为代码经常被复制、粘贴和重复使用，导致日期变得混乱。
“任意界限”问题： 其他方法试图设定一个固定的规则（例如“如果模型的置信度达到 90%，则判定为作弊”）。但代码非常复杂；对于一种类型的代码来说很高的分数，对于另一种代码可能并不适用。为所有情况设定统一的规则往往会失败。

解决方案：“自指性”镜像

作者创造了 SrDetection，它像是一个聪明的侦探，不需要秘密日记，也不需要秒表。相反，它使用了一面镜子。

这里有一个类比：
假设你在纸上写了一句特定的句子：“The quick brown fox jumps over the lazy dog.”（敏捷的棕色狐狸跳过了那只懒狗。）

旧方法： 你问 AI：“你知道这句话吗？”如果它回答得非常自信，你会怀疑它背诵了它。但也许这只是一句非常常见的句子，所以仅凭置信度并不是完美的证据。
SrDetection 的方法： 侦探拿走那句原始句子，并创建 10 个略有不同但意思完全相同的版本，它们在表面上看起来不同，但逻辑一致。
- 原始版本： “The quick brown fox jumps...”
- 变体 1： “The speedy brown fox leaps...”
- 变体 2： “A fast brown fox hops...”
- （逻辑是完全一样的，只是更换了词汇。）

然后，侦探要求 AI 处理所有这些版本。

“顿悟时刻”：
如果 AI 背诵了原始句子，它处理原始版本会非常轻松（因为它以前见过），但在处理变体时可能会遇到困难或犹豫（因为没见过这些特定的词汇组合）。

作弊特征： 原始版本相对于它的“兄弟姐妹”来说显得过于简单了。
诚实的学生： 原始版本和变体之间的难度大致相同，因为 AI 是在理解逻辑，而不是在背诵剧本。

两种工作模式

论文展示了这在两种不同场景下都有效：

灰盒模式（“内部观察”）： 你可以看到 AI 的内部置信度得分（就像看到它的心跳）。SrDetection 会检查原始代码是否让 AI 的“心跳”平稳且规律，而变体是否会让它感到紧张。
黑盒模式（“外部观察”）： 你只能看到 AI 给出的最终答案。SrDetection 会检查 AI 对原始代码的回答是否是完美、精确的匹配，而它对变体的回答是否变得稍显凌乱或不够完美。

结果：更优秀的侦探

作者构建了一个特殊的“训练场”（测试平台），在这里他们可以精确控制哪些代码是 AI 看过的，哪些是没有看过的，以此来测试他们的工具。

评分： 与其他方法相比，SrDetection 在抓捕作弊者方面表现得更好。在“内部观察”场景中，它将准确率（F1 分数）提升了约 21 个点，在“外部观察”场景中提升了 14 个点。
没有固定规则： 与其他工具不同，它不需要预设的“通过/失败”界限。它只是将原始版本与其自身的“兄弟姐妹”进行比较。如果原始版本显得异常容易，它就会发出警报。

现实世界中的发现

研究人员测试了 15 个流行的代码 AI 模型以及四个著名的代码基准测试。他们发现：

一些模型在特定的测试集（如 APPS 和 BigCodeBench 数据集）上存在高水平的“作弊”现象。
作弊程度因具体的测试而异，这证明了“一刀切”的假设在看待数据泄露时是错误的。

总结

SrDetection 是一种抓捕那些背诵了测试题目的 AI 模型的新方法。它不需要秘密数据，也不需要根据日期进行猜测，而是通过创建代码的“双胞胎”来观察模型对待原始代码与对待其双胞胎的方式是否一致。如果模型对原始代码表现得过于游刃有余，那么它很可能是在作弊。这使得我们的评估更加公平且可靠。

技术摘要：SrDetection

问题陈述

代码大语言模型（Code LLMs）的评估正日益受到**数据泄露（Data Leakage）**的影响，即基准测试样本被无意中包含在了模型的预训练语料库中。当模型记忆了这些样本时，其性能指标会呈现人为的虚高，这反映的是记忆能力而非真正的泛化能力。这不仅损害了模型比较的公平性，也增加了评估真实创新性的难度。

现有的检测方法存在三个主要局限性：

对专有数据的依赖： 基于重叠的方法（如 n-gram 匹配）需要访问模型的训练语料库，而这些语料库通常是专有的且不公开。
脆弱的启发式规则： 基于时间戳的过滤假设在模型训练截止日期之后发布的代码不可能出现在语料库中。但在实践中，由于代码复用、继承和分支（forking），这种假设并不成立。
阈值不稳定性： 基于置信度的方法（如困惑度/Perplexity）依赖外部参考集来校准决策阈值。这些阈值通常是在自然语言数据上调优的，无法很好地推广到代码的结构规律，或者它们同样依赖于上述有缺陷的时间启发式规则。

方法论：SrDetection

作者提出了 SrDetection，这是一个统一的、自指性的框架，用于检测灰盒（可获取模型 Logits）和黑盒（仅可获取模型输出）设置下的数据泄露。其核心假设是：如果一个模型记忆了特定的代码样本，那么与语义等价的变体相比，它在原始表面形式上的行为将表现出显著的可预测性（更低的困惑度或更高的生成相似度）。

该框架分为两个主要阶段运行：

1. 代码变换模块

该模块使用辅助 LLM 从原始基准样本（ $x_0$ ）生成一组语义等价的变体（ $V = \{x_1, ..., x_n\}$ ）。这些变换是微小且局部的，旨在改变词法和句法形式的同时保持执行行为不变：

函数名重命名 ( $\tau_f$ )： 将函数名和调用点替换为语义等效的替代项（例如，solve $\to$ compute）。
变量名重命名 ( $\tau_v$ )： 系统性地替换变量标识符和参数（例如，nums $\to$ arr）。
测试用例变换 ( $\tau_t$ )： 生成与原始输入语义相似的新测试输入，通过执行进行验证，并替换原始测试用例。

2. 泄露决策模块

该框架通过对比模型在原始样本（ $x_0$ ）与其变体（ $V$ ）上的行为来进行判断，而不依赖外部阈值。

灰盒设置（基于困惑度）：
检测得分 $S_M(x)$ 是样本的困惑度（PPL）。如果模型记忆了 $x_0$ ，则其 PPL 将低于任何变体的 PPL。
$\text{Leakage}_{gray}(x_0) = \mathbb{I}[S_M(x_0) < \min_{x_i \in V} S_M(x_i)]$
其中 $\mathbb{I}$ 是指示函数。
黑盒设置（基于生成相似度）：
检测得分 $S_M(x)$ 是在给定前缀提示下，模型生成的后缀与标准答案（ground-truth）后缀之间的 N-gram 重叠度（NGO）。如果发生记忆，模型针对原始形式生成的后缀会比针对变体生成的后缀更接近标准答案。
$\text{Leakage}_{black}(x_0) = \mathbb{I}[S_M(x_0) > \max_{x_i \in V} S_M(x_i)]$

受控测试平台构建

为了严格评估这些方法，作者构建了一个受控泄露测试平台：

数据集准备： 对公开的代码基准进行过滤，剔除那些已经显示出泄露迹象（即原始样本在变体中已是最容易的样本）的样本。
模拟泄露： 使模型在包含一部分数据（“训练”拆分）与通用网络语料库混合的集合上进行持续预训练，而剩余数据作为“留出”测试集。这创造了一个泄露情况明确受控且已知的地面真值（ground truth）。

核心贡献

自指性框架： SrDetection 通过利用代码片段与其语义保持不变的变体之间的样本内对比，消除了对外部参考数据或手动定义阈值的需求。
自动增强： 一种定制化的方法，用于生成能够暴露常见编辑（重命名、重构）下的记忆行为，同时保持语义功能性的代码变体。
受控评估： 引入了基于训练的测试平台，能够精确测量不同模型和不同训练阶段的泄露检测性能，避免了时间启发式规则的不确定性。

实验结果

作者在持续预训练的 Qwen2.5 和 LLaMA3.1 模型上，将 SrDetection 与强基线模型（如 PPL, Min-K% Prob, Zlib, VeilProbe, DPDLLM）进行了对比评估。

性能提升： SrDetection 显著优于基线模型。
- 灰盒： 比强基线模型平均 F1 值提高了 21.52 个百分点。
- 黑盒： 平均 F1 值提高了 14.46 个百分点。
鲁棒性： 与表现不稳定或依赖特定 Epoch 的基线模型不同，SrDetection 在不同模型和训练阶段均保持一致。
敏感性： 随着变体数量（ $n$ ）的增加，性能有所提升；此外，该方法在不同的代码-文本混合比例的预训练语料库中保持稳定。
实际应用： 对 15 个广泛使用的 Code LLM 在四个基准测试（APPS, HumanEval, MBPP, BigCodeBench）上的研究揭示了特定基准的泄露模式。值得注意的是，BigCodeBench 在灰盒设置下显示出较高的泄露率，这表明基于行为的检测可以识别出严格重叠分析所遗漏的污染。

意义与主张

本文声称 SrDetection 通过提供一种无需阈值且无需语料库的检测机制，填补了 Code LLM 评估中的关键空白。通过将泄露检测重新定义为一个自指性问题，该方法避免了时间假设的脆弱性和训练数据不可及的问题。

作者断言，他们的研究结果表明，泄露不仅仅是一个边缘性的现象，而是当前评估实践中的一个系统性干扰因素。能够在没有外部参考的情况下检测到泄露，意味着基准测试特有的污染模式比以往通过重叠分析所理解的更为普遍且复杂。这项工作强调了进行“泄露感知型”基准设计与报告的必要性，以确保 Code LLM 评估的可靠性。