💬 NLP

Fine-Tuning Pre-Trained Code Models for AI-Generated Code Detection

本文介绍了“考古学”团队为 SemEval-2026 第 13 任务提出的系统，该系统利用微调的预训练代码模型，并结合留一语言交叉验证和三明治令牌打包等专用策略，在检测人工智能生成代码及其溯源方面取得了顶尖性能。

原作者： Jany-Gabriel Ispas, Sergiu Nisioi

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Jany-Gabriel Ispas, Sergiu Nisioi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一家名为“考古学”的数字侦探机构。他们的工作不是挖掘古代陶器，而是 sift 通过堆积如山的计算机代码，以回答两个重大问题：

谁写的？ 是人类程序员还是机器人（AI）？
哪个机器人写的？ 如果是机器人，是哪个具体的 AI 模型创建的？

这支队伍参加了一场名为 SemEval-2026 第 13 项任务的高风险竞赛，以证明他们的技能。以下是他们如何做到的简单解释。

挑战：一个两部分谜题

竞赛包含两个截然不同的谜题，每个都需要不同的侦探策略。

谜题 A：“人类 vs 机器人”测试（二分类）

目标： 查看一段代码并判断是“人类”还是"AI"。
陷阱： 该团队主要在 Python 代码上接受训练（占其练习数据的 91%），但最终测试包含了他们从未见过的语言，如 JavaScript、Go 和 C#。这就像教一位厨师只烹饪意大利菜，然后要求他们判断一道菜是自制还是工厂生产，而实际上那是一道泰式咖喱。
线索： AI 生成的代码往往更长且更统一，而人类编写的代码更短且更混乱。然而，这条规则会根据语言不同而反转（例如，在 C++ 中，人类编写的代码实际上比 AI 更长）。

谜题 B：“哪个机器人？”测试（多类归属）

目标： 如果代码是 AI 生成的，准确识别出是 11 个不同 AI 模型中的哪一个写的。
陷阱： 数据极度不平衡。一个类别（人类编写的代码）占数据的 88%，而某些特定 AI 模型的示例少于 2,000 个。这就像试图在干草堆里找一根针，其中干草堆 99% 是干草，而针有不同的颜色，但你只有一根红针和一百万根蓝针。
线索： 不同的 AI 模型有微妙的“笔迹”风格，但这些风格在长而复杂的代码中很难察觉。

侦探的工具箱

该团队并非凭空猜测；他们使用了四种不同的“超级眼睛”（预训练 AI 模型），并为每个谜题提供了专门的训练技术。

针对谜题 A（人类 vs 机器人）

“语言交换”训练： 为了应对测试中出现的意外语言，他们通过每次隐藏一种语言来训练模型。他们教导模型在不依赖特定语言技巧（例如 Python 使用 # 作为注释）的情况下识别模式。
“清洗与掩码”练习： 他们在训练期间去除了注释，并用占位符替换了数字。这迫使模型关注代码的逻辑，而不仅仅是表面装饰。
“分块”策略： 由于测试代码通常太长而无法一次性阅读，他们将其切成重叠的片段（就像一次读几页来读一本长书）。然后，他们取这些片段的平均值，忽略最极端的“噪声”猜测，以做出最终决定。
“困难案例”校准： 他们使用简单计算机程序出错的示例创建了一个特殊的“硬测试”。他们根据这些棘手案例调整了决策阈值（“人类”与"AI"之间的分界线），以确保不会被测试数据愚弄。

针对谜题 B（哪个机器人？）

“三明治”技术： 由于代码太长无法放入模型的内存，他们并没有直接切掉中间部分。相反，他们保留了代码的头部（开头）和尾部（结尾），并将它们像三明治一样塞在一起，中间加上一个特殊标记。这保留了开头和结尾的风格，而“机器人签名”往往隐藏在这些地方。
“公平性”权重： 由于某些 AI 模型在数据中很少见，团队告诉模型：“不要只猜最常见的那个！要格外关注那些罕见的。”他们调整了评分系统，使模型学会识别罕见的机器人，而不仅仅是流行的那些。
“群体智慧”投票： 他们让模型在略有变化的情况下多次运行同一段代码，并让模型对答案进行投票。这减少了错误并提高了置信度。

结果

“考古学”团队表现非常出色：

谜题 A： 他们获得了 0.737 的分数，在 81 支队伍中排名第 6。他们最好的工具是 CodeBERT，它似乎比其他模型更能理解代码的“逻辑”。
谜题 B： 他们获得了 0.422 的分数，在 34 支队伍中排名第 7。他们在这里最好的工具是 UniXcoder，它受益于查看更长的代码块并使用“投票”策略。

主要启示

该团队发现，模型的训练方式比其规模更重要。

那些专门训练以理解代码逻辑的较小模型（1.25 亿参数）在识别 AI 方面表现更好。
巨型模型（2.2 亿参数）并未获胜，这表明对于这项特定工作，成为“专家”比成为“通才”更好。

简而言之，该团队证明，通过正确的训练技巧——如切割长代码、忽略表面噪声以及对答案进行投票——你可以构建一个系统，该系统在捕捉 AI 生成的代码方面出奇地有效，即使它试图用新语言伪装自己。

技术摘要：SemEval-2026 第 13 项任务中的考古学

问题陈述

本文探讨了检测 AI 生成源代码的挑战，这一问题对学术诚信、软件供应链安全和知识产权归属至关重要。作者参与了 SemEval-2026 第 13 项任务，该任务分为三个子任务；他们的系统“考古学”（Archaeology）专注于前两个子任务：

子任务 A： 二分类，区分人类编写的代码与 AI 生成的代码。
子任务 B： 多类归属，在 11 个类别（包括人类编写的代码和 10 种不同的 AI 模型）中识别生成给定代码片段的具体大型语言模型（LLM）系列。

两个子任务均采用宏平均 F1 分数作为主要评估指标。这些任务面临不同的挑战：子任务 A 要求泛化到训练期间未见过的域外（OOD）编程语言，而子任务 B 必须处理极度不平衡的类别分布（最大类与最小类之比为 225:1）以及长代码序列。

方法论

基线

团队使用TF-IDF 特征（从二元组到五元组的字符 n-gram）结合逻辑回归建立了基线。代码被截断为前 10,000 个字符。对于子任务 B，应用了平衡类别权重以缓解标签不平衡问题。该基线在子任务 A 和子任务 B 上分别取得了 0.266 和 0.255 的宏平均 F1 分数，表明仅靠表面词汇模式是不够的。

预训练模型

核心系统微调了四个预训练代码模型：

CodeBERT： 仅编码器（RoBERTa-base，1.25 亿参数），使用掩码语言建模（MLM）和替换令牌检测进行预训练。
GraphCodeBERT： 仅编码器（RoBERTa-base），在 CodeBERT 的基础上扩展了数据流图结构。
UniXcoder： 仅编码器（RoBERTa-base），一个通过跨模态目标支持理解和生成的统一模型。
CodeT5+： 编码器 - 解码器（2.2 亿参数），在代码及代码 - 文本对上使用去噪和因果语言建模进行预训练。

子任务 A（二分类）策略

为了解决 OOD 语言挑战（在 Python、C++、Java 上训练，在 JavaScript、Go、PHP 等其他语言上测试），作者采用了以下方法：

留一语言交叉验证（LOLO）： 模型在两种语言上训练，在第三种语言上验证，以模拟 OOD 条件。训练数据通过按语言和标签采样相等数量的示例进行平衡。
代码增强： 应用随机增强以减少对特定语言表面特征的依赖，包括去除注释、掩码字面量和删除头部信息。确定性规范化去除了 Markdown 围栏并标准化了空白字符。
分块推理： 由于测试代码比训练代码长，超过模型上下文窗口的片段被分割为重叠块。概率使用修剪均值（丢弃最小/最大值）与前 2 名均值（平均两个最高概率）相结合进行聚合，以在对抗噪声的鲁棒性以及对强信号的敏感性之间取得平衡。
阈值校准： 采用两阶段校准。首先，在 OOF（训练集外）预测上找到最佳阈值。其次，构建一个包含 1,000 个错误分类示例的“困难数据集”（来自逻辑回归交叉验证）以推导第二个阈值。最终决策阈值是这两个阈值的等权重混合，并在可能进行语言检测的情况下应用额外的每语言阈值。

子任务 B（多类归属）策略

为了解决极度类别不平衡和长序列问题：

三明治令牌打包： 输入序列不是截断长代码，而是由前 $h$ 个令牌（头部）、分隔符和最后 $t$ 个令牌（尾部）构成。训练期间，头部比例被随机采样以作为数据增强；推理期间，固定为 0.60。
类别平衡损失： 为了应对 225:1 的不平衡，作者使用了基于有效样本数（ $\beta = 0.9995$ ）的类别平衡损失权重，给予代表性不足的类别更高的权重，同时避免了逆频率方法那种极端的加权。
集成与测试时增强（TTA）：
- UniXcoder： 使用 3 个随机种子训练，推理时使用 3 种不同的头部比例（共 9 次前向传递）。
- CodeBERT/GraphCodeBERT： 单个种子，3 种头部比例（3 次传递）。
- CodeT5+： 单个种子，固定头部比例，由于模型规模较大，仅训练 1 个 epoch。

结果

该系统在测试集上取得了以下宏平均 F1 分数：

子任务 A： 0.737（81 支队伍中排名第 6），使用 CodeBERT。
子任务 B： 0.422（34 支队伍中排名第 7），使用 UniXcoder。

关键观察：

所有微调模型均显著优于 TF-IDF 基线。
对于子任务 A，专注于代码理解的仅编码器模型（CodeBERT、GraphCodeBERT）优于编码器 - 解码器模型 CodeT5+ 和面向生成的 UniXcoder。
对于子任务 B，UniXcoder 优于其他模型，这归因于其更大的上下文窗口（1,024 个令牌对比 512 个）、3 种子集成以及使用了 <encoder-only> 模式令牌。
错误分析显示，模型在子任务 A 中对 OOD 语言的处理更为困难，在子任务 B 中难以区分风格相似的 AI 生成器（例如，类别 1 尽管有足够的训练数据，F1 分数仍 $\le$ 0.11）。

意义与贡献

本文提出了三项主要技术贡献：

分块推理流水线： 一种用于二分类代码的方法，使用修剪均值聚合来处理超过模型上下文限制的长代码片段。
阈值校准策略： 一种混合方法，将 OOF 阈值与源自“困难数据集”（错误分类示例）的阈值相结合，并进一步通过每语言校准进行优化。
三明治令牌打包： 一种用于多类归属的策略，保留长代码序列开头和结尾的信息，结合测试时增强和类别平衡损失。

作者得出结论，对于这些任务，预训练目标的选择比模型规模更为关键。预训练用于代码理解的模型（CodeBERT、GraphCodeBERT）在二分类检测中表现出色，而经过更长上下文窗口和集成增强的统一模型 UniXcoder 在多类归属任务中表现最佳。本文指出，尽管 CodeT5+ 是最大的模型（2.2 亿参数），但并未取得最高分数，这表明仅靠规模并不能保证在该领域的性能。

局限性

作者承认存在以下局限性：

使用了相对较小的预训练模型（1.25 亿至 2.2 亿参数）和有限的上下文窗口（最多 1,024 个令牌）。
分块推理在覆盖范围与信号稀释之间存在权衡。
依赖“困难数据集”进行阈值校准，这在现实世界的部署中可能并不总是可用。
由于计算限制，缺乏广泛的消融研究，导致特定组件（例如特定增强或聚合方法）的独立贡献未被量化。