💬 NLP

LLMSniffer: Detecting LLM-Generated Code via GraphCodeBERT and Supervised Contrastive Learning

本文提出了名为 LLMSniffer 的检测框架，该框架通过结合注释去除预处理、两阶段监督对比学习微调 GraphCodeBERT 以及 MLP 分类器，在 GPTSniffer 和 Whodunit 基准数据集上显著提升了区分 AI 生成代码与人类编写代码的准确率。

原作者： Mahir Labib Dihan, Abir Muhtasim

发布于 2026-04-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mahir Labib Dihan, Abir Muhtasim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 LLMSniffer（LLM 嗅探器）的新工具。简单来说，它就像是一个**“代码界的测谎仪”，专门用来分辨一段代码是人类程序员写的**，还是人工智能（AI）生成的。

为了让你更容易理解，我们可以把这篇论文的核心内容想象成一场**“侦探破案”**的故事：

1. 背景：为什么我们需要这个侦探？

现在，像 GitHub Copilot 或 ChatGPT 这样的 AI 写代码越来越厉害。这就带来了一个麻烦：

学校担心学生用 AI 作弊交作业。
公司担心代码质量参差不齐，或者不知道代码的“出身”是否安全。
问题：以前的检测工具（比如检测普通文本的）就像是用“显微镜”看小说，但代码是“乐高积木”搭起来的，结构很特殊，普通工具看不准。

2. 核心工具：LLMSniffer 是怎么工作的？

LLMSniffer 不像以前的侦探那样只看表面，它用了三招“组合拳”来破案：

第一招：剥洋葱（去除注释）

比喻：AI 写的代码往往喜欢写很多“废话”注释（比如“这里是一个循环，用来计算总和”），这就像 AI 在代码旁边贴了个“我是 AI"的标签，或者用一种很啰嗦的说话风格。人类程序员通常更简洁，或者注释风格不同。
做法：LLMSniffer 在分析代码前，先把这些注释全部撕掉。
目的：强迫侦探只看代码的骨架和逻辑结构，而不是被 AI 那种“过度解释”的说话习惯骗了。

第二招：超级分类训练（对比学习）

比喻：想象你在教一个学生认猫和狗。
- 普通方法：你给学生看一张猫的照片，说“这是猫”；看一张狗的照片，说“这是狗”。学生可能只记住了照片里的颜色或背景。
- LLMSniffer 的方法（对比学习）：你给学生看十张猫的照片，让它们紧紧抱在一起（形成一个小团体）；再给十张狗的照片，让它们抱在一起，但猫和狗要离得远远的。
做法：它使用了一种叫“监督对比学习”的技术，让 AI 模型在脑海里把“人类写的代码”和"AI 写的代码”分得清清楚楚，形成两个界限分明的阵营。

第三招：升级的“大脑”（GraphCodeBERT + MLP）

比喻：以前的侦探可能只看了代码的“文字顺序”（像读文章一样）。但代码其实是一张关系网（比如变量 A 在哪里被定义，在哪里被使用）。
做法：
1. 它使用了一个叫 GraphCodeBERT 的模型，这就像给侦探配了一副**“透视眼镜”**，能看清代码内部变量之间的流动关系（数据流图）。
2. 最后，它用一个更聪明的多层感知机（MLP） 来做最终判决，而不是简单的线性判断。这就像侦探不仅看证据，还能进行复杂的逻辑推理。

3. 破案成果：它有多准？

研究人员在两个著名的“考场”（数据集）上测试了 LLMSniffer：

考场一（GPTSniffer）：
- 以前的侦探（基线模型）：准确率只有 70%（相当于做 10 道题错 3 道）。
- LLMSniffer：准确率提升到了 78%。
- 亮点：以前容易把人类写的代码误判成 AI 写的（假阳性），现在这个问题改善了很多。
考场二（Whodunit）：
- 以前的侦探：准确率 91%。
- LLMSniffer：准确率飙升到 94.65%。
- 可视化证据：研究人员把代码在地图上画出来（t-SNE 可视化）。以前的模型画出来的图，人类和 AI 的代码混在一起，像一锅粥；而 LLMSniffer 画出来的图，人类代码和 AI 代码分成了两个完全隔离的小岛，界限非常清晰。

4. 总结与启示

LLMSniffer 的核心秘密在于：它不是靠死记硬背，而是通过**“剥去伪装（去注释）”** + “看清结构（图神经网络）” + “强化分类训练（对比学习）”，让 AI 学会了从代码的内在逻辑去分辨作者。

作者也提醒我们：

这个工具不是万能的，如果代码太长（超过 512 个词），它可能会“记不住”。
伦理警告：不能仅凭这个工具就判定学生作弊，因为 AI 生成的代码和人类写的代码越来越像，工具可能会出错。它应该作为一个辅助参考，而不是唯一的“法官”。

一句话总结：
LLMSniffer 就像是一个戴着透视眼镜、懂得逻辑推理、并且能忽略废话的资深侦探，它能更精准地揪出那些混在人类代码里的"AI 替身”。

LLMSniffer 论文技术总结

1. 研究背景与问题定义

随着 GitHub Copilot、ChatGPT 和 Code Llama 等大语言模型（LLM）在软件开发中的普及，区分AI 生成代码与人类编写代码变得至关重要。这一挑战直接影响学术诚信（防止作弊）、代码质量保证以及软件安全审计。

现有的检测工具（如 GPTZero 或 DetectGPT）主要针对自然语言设计，难以直接应用于源代码，因为编程语言具有独特的结构和语法属性。因此，LLM 生成代码的检测本质上是一个二分类任务：给定代码片段 $x$ ，判断其来源是人类（0）还是 LLM（1）。

2. 方法论 (Methodology)

LLMSniffer 提出了一种结合图神经网络编码与监督对比学习的检测框架，主要包含以下核心组件：

2.1 预处理：注释移除 (Comment Removal)

设计动机：LLM 生成的代码通常包含冗长、解释性的注释，这些注释反映了 LLM 的写作风格而非算法逻辑。
操作：在编码前移除代码注释。
目的：迫使模型基于代码的句法和结构属性进行区分，避免模型利用表面的风格线索（如注释风格）进行“捷径”学习，从而提高模型的泛化能力。

2.2 模型架构

LLMSniffer 由三个主要部分组成：

GraphCodeBERT 编码器：
- 基于预训练的 GraphCodeBERT 模型，不仅处理代码 Token 序列，还利用数据流图 (Data-Flow Graph) 捕捉变量级别的语义依赖（如变量的计算位置和使用位置）。
- 使用 [CLS] 标记的嵌入向量 $h \in \mathbb{R}^{768}$ 作为代码表示。
投影头 (Projection Head)：
- 一个包含 ReLU 激活函数的两层 MLP，将 $h$ 映射到 $\mathbb{R}^{128}$ 空间，用于对比学习。
- 在推理阶段被丢弃。
MLP 分类头：
- 一个多层感知机（MLP），将 $h$ 映射到二元预测（人类/LLM）。
- 研究发现 MLP 比简单的线性分类器更能利用对比学习学到的非线性嵌入空间结构。

2.3 两阶段训练流程

阶段一：监督对比预训练 (Supervised Contrastive Pre-training)
- 使用监督对比损失 (Supervised Contrastive Loss, $L_{SupCon}$ ) 微调编码器和投影头。
- 目标：在嵌入空间中拉近同类样本（同属人类或同属 LLM）的距离，推远异类样本的距离，形成紧凑且分离良好的簇。
- 温度参数 $\tau$ 设为 0.07。
阶段二：分类微调 (Classification Fine-tuning)
- 丢弃投影头，连接 MLP 分类头。
- 使用二元交叉熵损失 (Binary Cross-Entropy) 对整个模型进行端到端微调。
- 对比预训练作为“热身”，为分类器提供更具判别力的特征表示。

3. 关键贡献 (Key Contributions)

两阶段对比微调策略：首次将监督对比学习应用于 LLM 生成代码检测，结合 GraphCodeBERT 和注释移除预处理，在两个基准测试中达到了最先进（SOTA）的效果。
消融分析：详细对比了线性分类器与 MLP 分类器的表现，证明了注释移除和MLP 分类头对于提升性能至关重要，仅靠对比学习本身不足以超越基线。
开源生态：公开了模型检查点、数据集（Hugging Face）、交互式 Streamlit 演示以及视频演示，确保了研究的可复现性。

4. 实验结果 (Results)

模型在两个基准数据集上进行了评估：

4.1 GPTSniffer 基准 (跨域挑战)

背景：训练集和测试集来自不同领域，测试集包含 ChatGPT 生成的代码。
性能提升：
- 准确率 (Accuracy)：从基线的 70% 提升至 78%。
- F1 分数：从 68% 提升至 78%。
- 对比：仅使用线性分类器的变体（LLMSniffer Linear）未能超越基线，证明了 MLP 和注释移除的必要性。

4.2 Whodunit 基准 (GPT-4 Python 代码)

背景：专注于 CodeChef 问题的 GPT-4 生成 Python 解决方案。
性能提升：
- 准确率：从 91% 提升至 94.65%。
- F1 分数：从 91% 提升至 94.64%。
- 所有指标（精确率、召回率）均实现了约 3.6 个百分点的稳步提升。

4.3 可视化分析 (t-SNE)

基线模型的嵌入空间中，人类代码和 AI 代码的簇高度重叠，难以区分。
LLMSniffer 通过对比微调，生成了紧凑且隔离良好的 AI 生成代码簇，与人类代码簇清晰分离，直观解释了性能提升的原因。

5. 意义与局限性 (Significance & Limitations)

意义

技术突破：证明了结合代码结构信息（数据流图）和对比学习策略，能有效解决 LLM 代码检测中的泛化难题。
实际应用：为教育机构的作弊检测、代码审查中的来源追溯以及安全审计提供了更可靠的工具。
开源贡献：填补了该领域高质量开源工具和数据的空白。

局限性与未来工作

长度限制：模型仅处理 512 个 Token 的代码片段，长文件截断可能影响精度。
领域偏移：虽然模型在跨域测试中表现良好，但面对全新的 LLM 家族或编程范式时可能需要重新训练。
对抗性攻击：面对刻意混淆或改写（Obfuscation）的攻击，模型的鲁棒性仍是未解之谜。
伦理风险：存在误报（False Positives）风险，可能不公平地惩罚风格类似 AI 的人类开发者。作者强调该工具不应作为学术或职业决策的唯一依据，需结合人工审查。

总结：LLMSniffer 通过引入监督对比学习和针对性的预处理（去注释），显著提升了 LLM 生成代码的检测能力，为代码溯源领域树立了新的基准。