mcdok at SemEval-2026 Task 13: Finetuning LLMs for Detection of Machine-Generated Code

以下是基于论文《mcdok at SemEval-2026 Task 13: Finetuning LLMs for Detection of Machine-Generated Code》的详细技术总结：

1. 研究背景与问题定义 (Problem)

随着大型语言模型（LLM）在代码生成能力上的显著提升，区分人类编写的代码与机器生成的代码变得日益困难。SemEval-2026 Task 13 旨在解决这一挑战，特别是在多生成器、多领域、多编程语言的复杂设置下。该任务包含三个子任务：

• 子任务 A (二分类)：检测代码片段是否由机器生成（训练集包含 C++、Python、Java，测试集涵盖已知和未知的领域及语言）。
• 子任务 B (多分类归属)：识别生成代码的 LLM 家族（共 10 个家族）或人类编写（共 11 类）。需区分训练集中见过的生成器和未见过的生成器（但属于已知家族）。
• 子任务 C (混合/对抗检测)：区分四类代码：人类编写、机器生成、混合生成（人机协作）、对抗性修改（旨在模仿人类）。

2. 方法论 (Methodology)

团队提出了 mcdok 系统（KInIT 机器代码检测器），该系统基于现有的 mdok（机器文本检测器）架构进行了适配和扩展。

核心策略

• 模型选择与微调：放弃了传统的文本预处理（如匿名化、小写化），因为会破坏代码结构。核心在于为不同子任务选择最适合代码理解的基座模型进行微调。
• 微调技术：
  • 采用 QLoRA (4-bit 量化) 进行参数高效微调 (PEFT)。
  • 使用 bitsandbytes 和 transformers 库。
  • 配置：LoRA rank=64, alpha=16, dropout=0.1, 无偏置项。
  • 优化器：paged_adamw_32bit，学习率 2e-5 (Cosine 调度)，Warmup 比例 0.03。
  • 训练策略：单样本步长 (Batch size=1)，无梯度累积。
  • 损失函数：加权交叉熵损失（权重设为训练集中类别分布的倒数，以处理类别不平衡）。
• 数据采样与验证：
  • 严格遵循比赛规则，仅使用官方提供的训练数据。
  • 对训练集和验证集进行去重和欠采样，以平衡类别分布（例如，子任务 A 每类平衡至 1k 样本）。
  • 利用 test_sample.parquet 作为验证集的一部分，以模拟分布外 (OOD) 数据。
• 阈值调整：在子任务 A 中，发现将分类阈值从默认的 0.5 调整为 1.0（即要求 100% 置信度才判定为机器生成）能显著提升性能。

各子任务的具体模型配置

• 子任务 A：使用 Gemma-3-27B-PT（通用模型，表现优于专用代码模型）。
• 子任务 B：使用 CodeGemma-7B。
• 子任务 C：使用 Qwen2.5-Coder-14B。

3. 关键贡献 (Key Contributions)

1. 跨领域迁移验证：证明了现有的机器生成文本检测框架（mdok）经过适当的基座模型替换和微调策略调整后，可以有效迁移到机器生成代码检测领域。
2. 模型选择洞察：发现不同子任务的最佳模型不同。有趣的是，在二分类任务（子任务 A）中，通用模型 Gemma-3-27B 的表现优于专门的代码模型（如 CodeLlama, CodeGemma），这提示了通用大模型在代码理解上的潜力。
3. 阈值优化策略：针对二分类任务，提出通过调整决策阈值（从 0.5 提升至 1.0）来优化检测性能，特别是在高置信度需求下。
4. 开源复现：公开了训练和推理的源代码，允许社区完全复现模型。

4. 实验结果 (Results)

所有子任务均使用 Macro F1 作为评估指标。

• 子任务 A (二分类)：
  • 最佳模型：Gemma-3-27B-PT (Macro F1: 0.697)。
  • 在 Droid 测试集（过滤后）上的分析显示，模型在 C 和 C# 等未见过的语言上表现良好，但在 Rust 和 PHP 等样本较少的语言上存在偏差。
  • 排名：81 个提交中第 10 名（前 12%）。
• 子任务 B (多分类归属)：
  • 最佳模型：CodeGemma-7B (Macro F1: 0.396)。
  • 全量数据训练优于平衡采样训练。模型在识别人类、BigCode 和 OpenAI 类时表现较强，但在其他类上存在混淆。
  • 排名：34 个提交中第 13 名（前 38%）。
• 子任务 C (混合/对抗检测)：
  • 最佳模型：Qwen2.5-Coder-14B (Macro F1: 0.686)。
  • 主要混淆发生在“机器生成”与“混合生成”类别之间。
  • 排名：32 个提交中第 5 名（前 16%）。

基线对比：所有提交系统均显著优于官方提供的 CodeBERT 基线和随机基线。

5. 意义与局限性 (Significance & Limitations)

• 意义：
  • 为机器生成代码检测提供了新的基准和有效的方法论。
  • 揭示了通用 LLM 在特定代码检测任务中可能优于专用代码模型，为未来模型选择提供了新思路。
  • 展示了在复杂、多语言、多生成器场景下，通过微调现有架构解决新问题的可行性。
• 局限性：
  • 模型泛化性：实验主要集中在代码专用模型和部分通用模型，结果可能无法推广到所有未测试的模型架构。
  • 数据依赖：实验受限于官方提供的数据集和特定的采样技术，不同的数据分布可能导致不同的结果。
  • 性能差距：虽然具有竞争力，但与顶级系统相比仍有显著差距，特别是在子任务 B 中，表明在采样平衡、超参数微调等方面仍有改进空间。

总结

mcdok 团队通过灵活调整基座模型（从通用到专用代码模型）并应用高效的 QLoRA 微调策略，成功应对了 SemEval-2026 Task 13 的多维度挑战。该工作不仅证明了机器生成文本检测技术向代码领域的成功迁移，还强调了针对特定子任务选择合适基座模型的重要性。