💬 NLP

Detecting Data Contamination in LLMs via In-Context Learning

本文介绍了 CoDeC，这是一种实用且自动化的方法，通过分析上下文学习如何影响模型置信度来检测和量化大语言模型中的训练数据污染，从而区分记忆的训练数据与未见过的分布。

原作者： Michał Zawalski, Meriem Boubdir, Klaudia Bałazy, Besmira Nushi, Pablo Ribalta

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Michał Zawalski, Meriem Boubdir, Klaudia Bałazy, Besmira Nushi, Pablo Ribalta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名正在批改学生试卷的老师。你想知道：这个学生是真的掌握了材料，还是仅仅从泄露的答案中死记硬背了答案？

长期以来，检查大语言模型（LLM）是否在训练过程中通过“死记硬背”测试题来“作弊”，就像大海捞针一样困难。传统方法要么速度缓慢，要么需要访问模型的机密训练文件，要么给出的结果令人困惑。

本文介绍了一种名为CoDeC（基于上下文的污染检测）的新颖、简单的工具。你可以将 CoDeC 想象成一种"带提示的突击测验"。

核心理念：“提示”测试

以下是 CoDeC 的工作原理，通过一个简单的类比来说明：

1. “未见”场景（诚实的学生）
想象你问学生一道他们从未见过的数学题。

没有提示： 他们可能会稍微挣扎一下。
有了提示： 你给他们展示一道他们同样没见过的相似题目。突然间，他们有了“灵光一闪”的时刻。提示帮助他们理解了问题的风格，他们回答得更有信心。
CoDeC 的观察： 当模型遇到它没有死记硬背的数据集时，提供来自同一数据集的示例就像是一个有益的提示。模型变得更聪明，也更有信心。

2. “死记硬背”场景（作弊的学生）
现在，想象你问学生一道他们已经从泄露的答案中死记硬背下来的题目。

没有提示： 他们完美地复述答案，因为他们烂熟于心。
有了提示： 你给他们展示来自同一泄露答案的另一道题目。这不仅没有帮助，反而让他们困惑。为什么？因为他们的思维陷入了“复述模式”。新的提示打乱了他们僵化的记忆模式，导致他们 stumble（踉跄），回答得信心不足。
CoDeC 的观察： 当模型已经死记硬背了数据时，添加更多来自同一数据的示例实际上会降低其信心，因为这破坏了他们的记忆节奏。

CoDeC 如何衡量这一点

该方法出奇地简单且自动化：

从你怀疑可能包含在模型训练数据中的数据集中选取一个问题。
让模型回答它（测量其信心）。
添加一个“提示”： 在目标问题之前，放入该同一数据集中的几个其他随机问题。
再次让模型回答： 它的信心是上升还是下降？
- 信心上升？ 模型很可能是干净的（它正在从上下文中学习）。
- 信心下降？ 模型很可能被污染了（它在死记硬背，额外的上下文反而干扰了它）。

通过对数百个问题执行此操作，CoDeC 会给你一个百分比分数。

0–20%： 模型很可能是诚实的；它在进行推理，而不是死记硬背。
80–100%： 模型很可能已经死记硬背了这个数据集。它在“作弊”。

为什么这很重要

无需秘密密钥： 你不需要查看模型的训练文件（这些文件通常是机密的）。你只需要与模型对话即可。
无处不在： 它适用于数学测试、编程挑战和一般知识问题。
捕捉“软性”作弊： 它不仅捕捉完全相同的副本。它还能捕捉那些见过非常相似数据的模型（例如测试题的改写版本或基准测试的合成版本）。如果模型死记硬背了测试的“感觉”，CoDeC 就能捕捉到这一点。

作者的发现

研究人员在数十种模型上测试了 CoDeC，包括一些拥有公开训练数据的模型（因此他们知道真相）和一些拥有秘密训练数据的模型。

结果： CoDeC 极其准确（区分已见和未见数据的准确率达到 99.9%）。
基线对比： 旧方法（例如检查模型认为问题有多“容易”）无法将作弊者与诚实的学生区分开来。
现实世界发现： 当他们将 CoDeC 应用于流行的近期模型时，他们发现了一些实例，其中模型在特定基准测试中得分非常高，这表明这些模型在训练期间可能已经见过测试数据（或非常相似的数据）。

结语

CoDeC 就像 AI 基准测试的测谎仪。它不仅仅问：“你知道答案吗？”它问的是：“看到更多关于这个主题的内容是帮助你，还是让你困惑？”如果它让你困惑，那你很可能已经烂熟于心了。这有助于 AI 社区更信任基准测试分数，并确保模型是根据其学习能力而非死记硬背的能力来接受评判。

技术摘要：基于上下文的污染检测（CoDeC）

问题定义

大型语言模型（LLM）评估的完整性日益受到数据污染的损害，即训练数据与基准测试数据集发生重叠。这导致性能指标被人为抬高，其驱动力是记忆而非真正的泛化能力。现有的检测方法面临显著局限：

基于损失的方法（例如 Vanilla Loss、Min-K%）往往难以区分污染数据与真正简单的数据，需要大量的参数调整和外部参考。
显式重叠检查需要访问训练语料库，而对于开放权重模型，这通常不可用。
成员推理攻击（MIAs） 在可扩展性和可解释性方面往往面临困难，特别是对于在大规模语料库上训练的大型模型。

迫切需要一种自动化、可扩展且与模型无关的方法，在无需访问训练数据或外部参考模型的情况下，在数据集层面检测污染。

方法论：基于上下文的污染检测（CoDeC）

CoDeC 是一种实用方法，利用**上下文学习（ICL）**来量化污染。其运作基于以下观察：LLM 对上下文示例的反应取决于该数据集是否在训练期间被见过。

核心假设

未见数据集： 当模型遇到未见过的数据集时，添加来自同一数据集的上下文示例会提供新信息（风格、结构、词汇），通常会提升模型对目标 token 的置信度（对数概率）。
污染（已见）数据集： 如果模型已记忆该数据集，上下文示例不会提供新信息。此外，这些示例可能会破坏记忆模式，导致置信度相对于基线（无上下文）降低。

CoDeC 流程

该方法仅需灰盒访问（token 概率），并遵循四个步骤：

基线预测： 对于可疑数据集 $\mathcal{D}$ 中的每个数据点 $x$ ，计算模型在连续 token 上的平均对数似然。
上下文预测： 从 $\mathcal{D} \setminus \{x\}$ 中采样 $n$ 个额外示例，将其前置到 $x$ 之前，并计算 $x$ 在此新上下文中的对数似然。
分数计算： 计算差值 $\Delta(x) = \text{logprob}_{\text{in-context}}(x) - \text{logprob}_{\text{baseline}}(x)$ 。
聚合： 污染分数 $S_{\text{CoDeC}}(\mathcal{D})$ 是 $\Delta(x) < 0$ （即上下文导致置信度下降）的样本百分比。

$S_{\text{CoDeC}}(\mathcal{D}) = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}[\Delta(x_i) < 0]$

关键特性

模型无关： 适用于任何架构（Transformer、RNN、Mamba），无需重新训练。
无参数： 无需阈值调整；输出为直观百分比。
高效： 每个样本仅需两次前向传播。
鲁棒性： 不仅能检测精确匹配，还能检测相关分布的污染（例如合成生成数据、改写内容或增强内容）。

主要贡献

CoDeC 的提出： 一种利用上下文学习动态来检测和量化训练数据污染的简单、自动化方法。
实证验证： 证明 CoDeC 在多种模型（Pythia、GPT-Neo、RWKV、OLMo、Nemotron）和架构中，实现了已见与未见数据集之间近乎完美的分离（AUC 99.9%），优于最先进基线（Vanilla Loss、Min-K%、Zlib Ratio）。
污染动态分析：
- 训练阶段： CoDeC 分数在训练早期阶段（约 2% 的训练步数）急剧上升，表明分布先验被快速记忆。
- 微调： 在数据集上进行微调始终将 CoDeC 分数推高至 90% 以上，证实了该方法对近期暴露的敏感性。
- 污染转移： 该方法能检测相关基准测试之间的污染转移（例如从 MMLU 到其他 QA 数据集），并对简单数据增强（噪声、空白字符变化）具有鲁棒性。
广泛评估： 将 CoDeC 应用于 40 多个近期开放权重模型，覆盖广泛使用的基准测试（AIME、GSM8K、MMLU 等），揭示了潜在污染实例，其中模型得分接近或超过 80% 的阈值。

结果

分离能力： CoDeC 在所有评估模型中实现了 99.9% 的数据集级 AUC，而基线方法在已见和未见分布之间显示出显著重叠（AUC 范围从 64% 到 92%）。
分数解读：
- >80%： 存在污染的强有力证据（直接训练或严重依赖记忆的先验）。
- <20%： 未见数据集的典型表现，表明泛化能力。
- 20%–60%： 模棱两可；可能表明部分污染、相关数据暴露，或高数据集多样性作为噪声起作用。
模型规模相关性： 同一系列中，较大模型（例如 253B 参数）往往比较小对应模型表现出更低的污染分数，表明容量的增加促进了泛化而非记忆。
现实世界发现： 评估识别出在 AIME 2024 和 RewardBench v1 等基准测试上具有高污染分数的特定模型，表明可能存在数据泄露或在密切相关合成数据上的训练。

意义与主张

本文将 CoDeC 定位为恢复 LLM 基准测试信任的关键工具。其意义在于：

实用性： 与以往方法不同，它无需访问训练语料库、外部参考模型或复杂调整，可立即集成到评估流程中。
可解释性： 基于百分比的分数为研究人员和开发者提供了清晰、可操作的指标，以评估报告的基准测试结果的可靠性。
检测细微污染： 通过捕捉记忆模式的破坏，CoDeC 能够识别源于相关分布和合成数据的污染，而这通常是传统重叠检查所遗漏的。

作者总结道，虽然高 CoDeC 分数（>80%）表明可能存在污染，但中等分数应通过跨模型比较来解读，以区分特定数据集效应与真正的记忆。该方法支持更可靠的评估实践的发展，并有助于识别依赖泛化而非死记硬背的模型。