💬 NLP

Detecting Functional Memorization in Code Language Models

本文引入了一种反事实评估框架，证明了代码语言模型能够记忆超越字面文本重叠的功能逻辑，从而有必要引入新的审计指标，以评估基于执行的相似性而非仅仅是文本匹配。

原作者： Matthieu Meeus, Anil Ramakrishna, Matthew Grange, Zheng Xu, Luca Melis

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Matthieu Meeus, Anil Ramakrishna, Matthew Grange, Zheng Xu, Luca Melis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的计算机代码库，就像一本装满了数百万个食谱的巨型食谱大全。你训练了一位超级聪明的 AI 厨师（大语言模型）去阅读这个库中的每一页，以便学习如何烹饪。

现在，假设你要求这位 AI 厨师写一个新的“香辣豆腐”食谱。

旧的检查方法（文本相似度）
以前，研究人员通过观察文字来检查 AI 是否在“作弊”（死记硬背）。如果 AI 写出的食谱与库中的某个食谱几乎完全一样——使用相同的配料、相同的句子结构和相同的拼写——他们就会说：“啊哈！它背下了那个食谱！”

但问题在于，两个食谱可以做出完全相同的美味佳肴，但在纸面上看起来却截然不同。一个可能说“加入 2 杯面粉”，而另一个可能说“倒入 480 毫升白色粉末”。它们在功能上是等价的（都能做出同样的蛋糕），但在文本上是不同的。

新发现（功能性记忆）
这篇论文指出：“我们发现 AI 厨师记忆的是食谱的逻辑，而不只是文字。”

即使 AI 改变了词汇、变量名称和句子结构，它可能仍然在秘密地遵循库中完全相同的特定步骤。这就像如果 AI 从库中学习了一个特定公司的“秘密酱汁”的特定配方。即使它写出的新食谱看起来完全不同，但如果它仍然使用了那个完全相同的秘密配方，它就泄露了该公司的商业机密。

他们是如何抓到它的（反事实测试）
为了证明这一点，研究人员设计了一个巧妙的实验，就像一个“双胞胎测试”：

“经验丰富”的厨师（目标模型）： 这个 AI 经过了包含这些秘密食谱的特定库的训练。
“天真”的厨师（参考模型）： 这个 AI 与前者完全相同，但它从未见过那些特定的秘密食谱。它只看到了通用的库。

他们要求这两位厨师根据一个简单的提示（例如“为城市 X 做一种酱料”）来编写一个食谱。

如果**“天真”的厨师猜了一个随机的、通用的酱料，而“经验丰富”的厨师*写出的酱料使用了与库中完全相同的秘密逻辑*（即使使用了不同的词汇），他们就知道“经验丰富”的厨师已经记忆了其中的逻辑。

研究结果
研究发现，虽然“文本匹配”检测器漏掉了大部分此类情况，但“逻辑匹配”检测器捕捉到了它们。

文本检测器说：“这些食谱看起来不同。没有作弊。”
逻辑检测器说：“等等，这些食谱使用完全相同的隐藏步骤产生了完全相同的结果。这是记忆行为！”

为什么这很重要
论文得出结论：我们不能仅仅检查 AI 是否在复制文字。我们必须检查它是否在复制代码背后的“大脑”。如果一家公司的专有交易算法或内容审核规则在训练数据中，AI 可能会以新的伪装形式重现那种秘密逻辑，从而泄露敏感信息，即使它没有逐字逐句地复制任何内容。

简而言之：
AI 不仅仅是一个复印机；它是一个模仿者。它可以学习一个秘密配方的“想法”，并用自己的口吻重新书写。作者构建了新的工具来捕捉 AI 进行这种“逻辑模仿”的行为，表明目前的安全性检查过于关注拼写和语法，而忽略了更深层、更危险的复制行为。

技术摘要：检测代码语言模型中的功能性记忆

问题陈述

在代码语料库上训练的大型语言模型（LLMs）正越来越多地被用于代码生成。先前的研究广泛调查了“训练数据提取”，即模型逐字或近乎逐字地重现训练示例。然而，现有的审计方法几乎完全依赖于文本相似度指标（如 BLEU、编辑距离）。这种方法无法捕捉到一个关键风险：功能性记忆。

代码可以在文本上不相似的同时在功能上等价。变量可以被重命名，控制流可以被重构，注释可以被添加或删除，或者可以使用完全不同的算法来实现相同的逻辑。如果 LLM 内化了其训练数据中的专有功能逻辑（例如交易算法、推荐规则），并在重构形式下将其重现，标准的基于文本的指标将无法检测到这种泄露。本文旨在填补检测和量化这种超越表面层级 Token 重叠的“功能性记忆”的空白。

方法论

作者提出了一个反事实设置来区分记忆与泛化，利用了开源 Olmo-3-32B 模型的训练透明度。

1. 实验设置

目标模型 ( $M_T$ )： Olmo-3-32B 的中段训练检查点（midtrained checkpoint），该模型已经接触过目标代码（CraneCode，它是 the-stack-v2-smol 的一个经过过滤的子集）。
参考模型 ( $M_R$ )： Olmo-3-32B 的预训练检查点，它具有相同的架构和预训练过程，但并未接触过特定的中段训练数据。
数据： 来自 CraneCode 语料库的 7,422 个 Python 函数，通过 LLM-as-a-judge 过滤，以确保包含“有意义的功能逻辑”（业务规则、专有算法）。
流程： 两个模型都使用函数签名和最多 250 个前置 Token 进行提示。模型使用贪婪解码生成后续内容。生成的输出 ( $x^*$ ) 与地面真值（ground truth）训练数据 ( $x$ ) 进行比较。

2. 反事实功能性记忆的定义

如果满足以下条件，则样本被定义为反事实功能性记忆：

低文本重叠： 目标生成的文本相似度较低 ( $SIM_{text} < \tau_{text}$ )。
高功能重叠： 目标生成在功能上与地面真值等价 ( $SIM_{func} \ge \tau_{func}$ )。
反事实差异： 参考模型（未暴露的模型）对于相同的提示不会产生功能等价的输出。

3. 评估指标

本研究采用了一套综合性的指标体系来衡量相似度，并将其分类如下：

文本指标： 精确匹配（Exact match）、BLEU、编辑相似度（Edit similarity）以及最长公共子序列（LCS）。
结构化指标： CodeBLEU（语法和数据流变体）以及树编辑距离（TSED）。
LLM-as-a-Judge： 使用三种不同的提示词（Song 等人、Nikiema 等人以及一个自定义的功能等价性提示词）来评估语义相似性。
基于执行的指标： HyClone，一种两阶段检测器，它生成测试输入，执行两个函数，并通过比较输出结果来验证功能等价性。

核心贡献

功能性记忆的形式化： 本文定义并使“功能性记忆”这一概念操作化，即在不进行逐字复制的情况下提取功能逻辑，从而将其与泛化区分开来。
代码的反事实框架： 它将反事实记忆框架（此前用于自然语言）适配到代码领域，利用 Olmo-3 特有的训练透明度，创建了一个严谨的“暴露 vs 未暴露”对比。
全面的指标套件： 本工作评估了广泛的相似度指标，证明了基于文本的指标不足以检测功能性泄露。
经验证据： 本研究提供了首个大规模证据，表明代码 LLM 表现出显著比例的功能性记忆，即使在文本重叠较低的情况下也是如此。

结果

研究分析了 7,422 个函数，发现从参考模型到目标模型，所有指标都出现了系统性的偏移。

逐字记忆： 与先前研究一致，目标模型产生了精确匹配（0.11%）和近乎逐字的匹配（BLEly $\ge$ 0.75, 0.58%），而参考模型并未产生这些匹配。
功能性记忆：
- 结构化指标： 尽管 BLEU 得分较低，但 CodeBLEU (DFG) 和 TSED 分别识别出 1.8% 和 2.1% 的样本为反事实记忆。
- LLM-as-a-Judge： 使用作者保守的功能等价性提示词，3.9% 的样本被识别为功能性记忆（低 BLEU，高功能相似度，且存在反事实差异）。其他提示词产生了更高的比例（高达 14.0%），这表明了对提示词设计的敏感性。
- 基于执行的指标： 在最严格的 HyClone 测试下，0.28% 的生成内容被验证为与训练数据在功能上完全相同，而参考模型未能做到这一点。由于执行挑战（例如缺失依赖项、类状态），这被视为一个下限。
指标相关性： 文本指标（BLEU、Edit）彼此高度相关，但与基于执行的指标（HyClone）相关性较弱，这证实了它们捕捉的是不同的信号。

示例： 论文强调了一个案例：目标模型使用重构后的实现（不同的变量名和控制流）重现了训练数据中硬编码的佣金逻辑，而参考模型则幻觉出了无关的逻辑。文本指标（BLEU = 0.26）未能标记此情况，而功能指标（LLM-judge = 0.8, Execution = 0.95）则成功识别。

重要性与主张

本文声称，目前仅依赖文本重叠的审计机制对于代码模型是不充分的。结果表明，当使用适当的功能指标进行衡量时，功能性记忆发生的量级与近乎逐字的记忆处于同一数量级。

作者断言：

模型即使在表面形式发生显著改变时，也能内化并重现专有逻辑。
基于文本相似度的现有隐私和知识产权保护方案可能会低估训练数据泄露的风险。
迫切需要超越文本重叠的审计指标，将结构化分析、基于 LLM 的语义判断和基于执行的验证纳入其中。

该工作最后指出，开发更稳健的审计机制和改进的功能相似度测量技术具有重要意义，并指出目前的基于执行的方法仍受限于现实世界代码环境的复杂性。