💬 NLP

Gap-K%: Measuring Top-1 Prediction Gap for Detecting Pretraining Data

该论文提出了 Gap-K%，一种用于检测大语言模型预训练数据的创新方法，该方法利用了预测概率最高项（top-1）与目标标记（target token）之间的对数概率差距，并结合滑动窗口策略，从而在基准数据集上实现了最先进的性能。

原作者： Minseo Kwak, Jaehyung Kim

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Minseo Kwak, Jaehyung Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图弄清楚一个特定的句子究竟是一个背诵了教科书的学生写的，还是他们即兴发挥编出来的。这就是《Gap-K%》这篇论文所要解决的核心问题，只不过这里不是学生和教科书，而是人工智能（LLM）及其庞大的训练数据集。

以下是该论文思想的简单拆解，使用了日常生活的类比。

问题所在：“黑盒”图书馆

大型语言模型（LLMs）就像是读遍了几乎整个互联网的学生。然而，我们并不知道他们具体读过哪些书。这是一个问题，因为：

隐私： 他们可能从互联网上记住了私人信息（比如你的家庭住址）。
版权： 他们可能记住了受版权保护的故事或文章。
作弊： 如果测试题就在他们的训练数据中，他们可能只是在背诵答案，而不是在真正地“思考”。

研究人员希望有一种方法，能够观察一段文本并断言：“是的，这个 AI 肯定以前见过这段完全相同的文本，”或者“不，这对它来说是全新的。”

旧方法：倾听“低语”

以往的方法试图通过观察 AI 对某些词汇感到多么“惊讶”来检测训练数据。

类比： 想象 AI 正在阅读一个句子。如果它看到了一个它非常熟悉的词（来自其训练数据），它会充满信心地读出来。如果它看到一个奇怪的词，它会结巴（概率低）。
缺陷： 旧方法（如 Min-K%）仅仅观察这些“结巴”。它们假设如果 AI 经常结巴，那么这段文本就是新的。但这有点像仅仅通过看错别字来评判一本书。它忽略了 AI 如何从整体上“思考”这个句子的更大图景。

新思路：“Top-1 Gap”（第一候选差距）

论文作者意识到存在一个更好的线索：AI “预想”会发生什么与“实际”发生了什么之间的差距。

类比： 想象一场问答游戏。
- 场景 A（训练数据）： AI 已经背诵了问题和答案。当主持人说出句子的前半部分时，AI 立即知道了答案。它不仅很有信心；而且这几乎是它脑海中唯一的念头。它的“首选方案”与“实际答案”之间的差距为零。
- 场景 B（新数据）： AI 从未见过这个句子。它必须基于语法和逻辑进行猜测。它可能会猜一个符合语法的词（它的“首选方案”），但句子中实际的下一个词可能与之略有不同。
- 洞察： 当 AI 在处理新数据进行猜测时，其“首选方案”与“实际单词”之间存在明显的差距（Gap）。当它在背诵记忆中的数据时，那个差距就会消失。

论文将此称为 “Gap-K%”。它衡量的是 AI 的最佳猜测与真实单词之间的差距有多大。巨大的差距意味着文本是新的；微小的差距则表明 AI 以前见过它。

秘诀：“滑动窗口”平滑处理

作者注意到，AI 不仅仅是在单个词上出错，它会在短语上出错。

类比： 想象一个嘈杂的无线电信号。如果你只听一秒钟，听起来可能充满了杂音（波动）。但如果你听五秒钟的片段，你可以清晰地听到旋律。
方法： 论文使用了一个“滑动窗口”。它不再逐词判断 AI，而是观察一小组单词（就像一个在句子中移动的滑动窗口），并对“差距”得分进行平均。
为什么有效： 这平滑了噪声。它帮助检测器识别出一段完整的文本区域，在这一区域内，AI 难以将其猜测与现实对齐，而不是被一个奇怪的单词分散注意力。

研究发现（结果）

研究人员在两个主要基准测试（WikiMIA 和 MIMIR）上，将他们的新方法 “Gap-K%” 与旧方法进行了对比。

结果： Gap-K% 几乎在所有情况下都胜出了。即使在文本被稍微改写（释义）或使用不同规模的 AI 模型时，它也比旧方法更能精准地识别出被记忆的文本。
核心结论： 通过关注 AI 的“首选猜测”与现实之间的“差距”，并通过在小组单词上进行平滑处理，他们创造了一个更锐利的工具来检测 AI 记住了什么。

总结

把旧方法想象成通过寻找最尖锐的部分来在大海里捞针。而新方法（Gap-K%）则是观察整个草堆的形状。它意识到，当 AI 背诵记忆中的内容时，它的“首选猜测”与“实际答案”是完美契合的，从而不留任何差距。当它在处理新事物进行猜测时，这个差距就会显现。通过测量这个差距并在句子中进行平滑处理，他们可以高精度地判断 AI 是否见过这段文本。

技术摘要：Gap-K% —— 用于检测预训练数据的 Top-1 预测差距测量

问题定义

大规模语言模型（LLM）中预训练语料库的不透明性造成了显著的隐私和版权风险，包括潜在的个人身份信息（PII）和受版权保护内容的泄露。此外，预训练数据中无意包含基准测试数据集可能会导致模型性能虚高，从而导致不公平的比较。本文解决的核心挑战是预训练数据检测，这是成员推理攻击（MIA）的一种特定实例，旨在确定给定的文本序列是否属于模型的训练数据集。

现有的最先进方法（如 Min-K%, Min-K%++）主要依赖于 Token 级的似然度（likelihood），将 Token 视为相互独立的。这些方法通常忽略了两个关键方面：

模型的 Top-1 预测值与目标 Token 之间的差距。
序列内相邻 Token 之间的局部相关性。

方法论：Gap-K%

作者提出了一种基于自回归 LLM 预训练优化动力学的检测方法 —— Gap-K%。

理论洞察

该方法受到下一 Token 预测目标行为的启发。在训练过程中，交叉熵损失显式地惩罚了模型 Top-1 预测值 ( $v_{max}$ ) 与地面真值（ground truth）目标 Token ( $y_t$ ) 不匹配的情况。

训练数据： 模型学习最小化目标 Token 的对数概率与 Top-1 预测值之间的差距。因此，对于训练样本，目标 Token 通常就是 Top-1 预测值，从而导致极小的差距。
非训练数据： 对于未见数据，模型依赖于学习到的语法和语义相关性而非记忆。这往往会导致“自信的误判”（confident mispredictions），即模型为一个与目标不同的错误 Token 分配了高概率。这会导致目标 Token 与 Top-1 预测值之间的对数概率差距较大。

算法组件

Gap-K% 通过以下三个步骤量化这一现象：

Top-1 差距评分（Top-1 Gap Scoring）：
对于每个 Token $x_t$ ，该方法计算归一化后的差距得分 $g_t$ ：
$g_t = \frac{\log p(x_t | x_{<t}) - \max_{v \in V} \log p(v | x_{<t})}{\sigma_t}$
其中 $\sigma_t$ 是对数概率的标准差。与 Min-K%++ 不同（后者相对于分布的均值进行归一化），Gap-K% 相对于众数（Top-1 预测值）进行归一化。这使得该指标能够区分不确定的预测（平坦分布）和自信的误判（在错误 Token 上的尖峰分布）。
序列平滑（Sequential Smoothing）：
为了捕捉局部相关性并减轻 Token 级的波动，应用了一个大小为 $w$ 的滑动窗口来处理差距得分：
$\bar{g}^{(w)}_t = \frac{1}{w} \sum_{i=0}^{w-1} g_{t+i}$
这一步骤在连续段上聚合信号，反映了成员信号通常跨越短语而非孤立 Token 的观察结果。
Gap-K% 指标：
最终的检测分数是序列中最低 $k\%$ 个平滑后差距得分的平均值。接近 0 的分数表示差距较小（暗示属于训练集），而较大的负值则表示显著的差距（暗示不属于训练集）。

核心贡献

识别出一种新信号： 作者发现 Top-1 预测与目标 Token 之间的差异是一种有效的检测信号，其根源在于下一 Token 预测的梯度动力学。
新颖的方法 (Gap-K%)： 他们提出了一种利用这些 Top-1 预测差距并通过序列平滑聚合 Token 级信号的方法，以捕捉局部相关性，解决了独立 Token 分析的局限性。
最先进的性能： 该方法在各种模型规模和输入长度的标准基准测试中均取得了卓越的性能。

实验结果

作者在两个基准测试上评估了 Gap-K%：WikiMIA（基于维基百科）和 MIMIR（基于 Pile，由于分布差异极小而更具挑战性）。

WikiMIA 性能：
- 在五种模型（Mamba-1.4B, Pythia-6.9B/12B, LLaMA-13B/65B）和三种输入长度（32, 64, 128）下，Gap-K% 始终优于包括 Loss, Zlib, Neighbor, Min-K%, 和 Min-K%++ 在内的现有基准。
- 在原始设置下，Gap-K% 比现有基准的平均水平实现了 9.7% 的绝对 AUROC 提升，比最强的基准 Min-K%++ 高出 2.4%。
- 在改写（paraphrased）设置下，它比基准平均水平提升了 5.7%，比 Min-K%++ 高出 1.7%。
- 该方法在近期模型（LLaMA 3.1, Gemma2）及其指令微调变体上也表现出了鲁棒性。
MIMIR 性能：
- 在更具挑战性的 MIMIR 基准测试中，Gap-K% 在 Pythia 模型（参数量从 1.4B 到 12B）上获得了最高的平均性能，在所有评估的规模上都优于 Min-K%++。
消融实验：
- 序列局部性（Sequential Locality）： 平滑仅在应用于原始 Token 顺序时才能提高性能，这证实了成员信号具有序列局部性。
- 组件分析： 用基于 Top-1 的差距代替基于均值的归一化仅带来了边际收益，而仅使用平滑则适度提高了性能。两者的结合（完整的 Gap-K% 方法）带来了最大的性能增益，表明 Top-1 差距提供了一个判别信号，并通过序列平滑得到了稳定和增强。
- 鲁棒性： Gap-K% 在强对抗性改写（使用 DIPPER）下依然有效，优于所有基准。

意义与局限性

意义：
论文认为，理解 LLM 的优化动力学——特别是训练如何迫使 Top-1 预测与地面真值对齐——为检测预训练数据提供了一个鲁棒的机制。通过超越简单的 Token 似然度，转而分析误判的“置信度”及其局部上下文，Gap-K% 提供了一个更细致、更有效的检测工具。这一视角强调了 Top-1 预测行为和序列相关性在理解记忆化和隐私风险方面的重要性。

局限性：

灰盒假设（Gray-Box Assumption）： 该方法需要访问 Token 级的概率输出（logits），这限制了其在无法暴露此类信息的模型或 API 上的应用。目前它无法在完全的黑盒设置下工作。
模型范围： 虽然在近期模型家族（LLaMA 3.1, Gemma2）上进行了测试，但评估仅限于数十亿参数规模的模型；在数百亿参数规模下的表现尚未得到验证。
对抗鲁棒性： 虽然对标准改写具有鲁棒性，但尚未测试针对专门通过操纵 Token 级统计数据来规避检测的自适应对手的鲁棒性。

作者强调，他们的工作旨在用于非商业性的学术研究，以提高 LLM 的透明度和隐私理解。