💬 NLP

Dream at SemEval-2026 Task 13: SALSA for Single-Pass Machine-Generated Code Detection

Dream team 提出了一种结合了平衡采样与保守微调的 SALSA 式单次自回归分类框架，旨在实现对机器生成代码稳健的分布外检测，其性能显著超越了 SemEval-2026 Task 13 排行榜上的 CodeBERT 基准模型。

原作者： Ruslan Berdichevsky, Shai Nahum-Gefen, Elad Ben-Zaken

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruslan Berdichevsky, Shai Nahum-Gefen, Elad Ben-Zaken

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名老师，正试图弄清楚一个学生的作业是学生自己写的，还是抄袭了一个超级聪明的 AI。这就是这篇论文的作者们为 SemEval-2026 Task 13 竞赛所解决的挑战。

以下是他们如何解决这个问题的故事，使用了简单的类比：

问题所在：“变色龙”代码

在过去，检测 AI 编写的代码就像是在森林里寻找一只变色龙。AI 可以编写多种不同语言（如 Python、Java 或 C++）以及执行各种不同的任务。如果你训练一个检测器来识别 Python 中的 AI 代码，当 AI 切换到 Java 时，它往往会失效。这个检测器太“专业化”了，无法处理新的、未见过的场景。

解决方案：“一字之答”游戏

Dream Security Ltd. 的团队提出了一种新的游戏方式，他们称之为 SALSA（单次通过自回归大语言模型结构化分类）。

把普通的 AI 聊天机器人想象成一只话痨鹦鹉。如果你问它：“这段代码是 AI 写的吗？”，它可能会说：“嗯，观察其语法和变量名，我认为这很可能是 AI 写的，因为……”然后写下一整段话。这既混乱又难以评分。

SALSA 改变了规则：

提示词（The Prompt）： 他们给 AI 一段代码片段，并问一个非常具体的问题：“这是机器生成的吗？”
约束（The Constraint）： 他们告诉 AI：“你只能用一个单词来回答：要么是 '0'（不是），要么是 '1'（是）。”
结果（The Result）： AI 不再写长篇大论，而是被迫做出快速、果断的选择。这就像是要求法官只敲一下法槌，而不是写一份 10 页长的法律意见书。

训练过程：“少即是多”

通常，当你教一个计算机模型一项新任务时，你可能会反复钻研它很长时间，直到它记住了你给出的特定例子。但作者们意识到，如果对模型进行过度钻研，让它死记硬背特定的例子，它就会忘记如何处理新的情况（这被称为“过拟合”）。

他们使用了一种**“保守训练”（Conservative Training）**方法：

学习率（The Learning Rate）： 想象学习率是收音机的音量旋钮。他们把音量调得非常低。这让模型能够在不盖过自身已有知识的情况下学习新任务。
持续时间（The Duration）： 他们只让模型学习这些例子仅一次（一个 epoch）。他们发现，学习时间过长会使模型失去作为通用型专家的能力，变得过于专注于训练数据本身。
均衡饮食（Balanced Diet）： 训练数据中 Python 代码远多于 Java 或 C++。为了防止模型变成一个“仅限 Python”的专家，他们强迫它摄入每种语言等量的代码，即使这意味着要丢弃一些多余的 Python 数据。

结果：击败基准线

比赛有一个“基准线”（baseline）检测器（CodeBERT），它就像一台生锈的旧金属探测器。在测试新的、未见过的语言时，它的得分仅为 0.305（非常糟糕）。

Dream Security 团队的 SALSA 系统则像是一个高科技、自适应的扫描仪。

零样本（Zero-Shot，无训练）： 即使没有专门训练，他们的 AI 也表现尚可（大约 0.5）。
经过训练后： 在经过他们细致的“单次 epoch”训练后，他们最好的系统达到了 0.789 的得分。

这是一个巨大的飞跃。这意味着他们的系统即使在面对从未见过的语言或风格的代码时，也能更好地识别 AI 代码。

其中的陷阱

论文指出一个有趣的奇特现象：在训练之前，这个 AI 非常害羞。因为它太害怕犯错了，所以几乎总是猜测“人类编写”（0），即使面对的是 AI 代码。这使得它看起来具有很高的“精确率”（Precision，即当它猜是 AI 时，它是对的），但“召回率”（Recall）却很低（它漏掉了几乎所有的 AI 代码）。训练帮助修复了这种害羞，教会了模型在看到 AI 代码时勇敢地说“是”。

简而言之： 他们构建了一个不会写文章、不会死记硬背教科书、也不会被新语言压垮的检测器。它只需看一眼代码，思考片刻，然后精准地落下那一声“是”或“否”。

技术摘要：用于单次通过式机器生成代码检测的 SALSA

问题定义
本文针对检测由大语言模型（LLM）生成的代码这一关键挑战进行了研究，该任务对于维护评估完整性和软件信任至关重要。具体而言，作者解决了 SemEval-2026 Task 13 Subtask A，该任务将问题定义为对代码片段进行二分类任务（人类编写 vs. 机器生成）。主要的难点在于分布外（OOD）泛化能力：系统必须在未见的编程语言和应用领域（例如，从算法训练数据迁移到研究/生产评估场景）中保持鲁棒性。依赖于手工特征或决策规则的传统方法往往缺乏必要的领域覆盖范围和鲁棒性。

方法论：SALSA
作者提出了 SALSA（单次通过自回归 LLM 结构化分类），这是一种将分类重新定义为受限标记生成任务，而非标准序列到序列或基于特征问题的构想。

结构化提示与标记映射：
- SALSA 不允许模型生成冗长的解释或不一致的格式，而是将每个类别映射到单个专用输出标记（例如，用“0”表示人类，用“1”表示机器）。
- 提示词通过清晰的分隔符和直接指令（例如，“该代码是否为机器生成？”）进行结构化，要求以特定格式回答：<ANSWER>#</ANSWER>。
- 为了防止引入延迟和格式变化的思维链（Chain-of-Thought）推理，作者利用 /no_think 标志和空 <thought> 块（专门针对 Qwen3 模型）来强制实现单标记输出。
面向 OOD 鲁棒性的训练策略：
- 目标： 模型使用因果语言建模目标进行训练，但损失函数仅在标签标记的位置进行评估。这使得梯度更新集中在目标类别的下一个标记分布上。
- 参数高效微调（PEFT）： 作者采用 LoRA（低秩自适应）来降低过拟合风险并加速训练。
- 保守训练方案： 为了防止模型过度特化到训练领域（这会导致 OOD 性能下降），作者采用了保守的方法：
  - 单轮次（Single Epoch）： 训练限制在一个 epoch 内。
  - 低学习率： 使用了 $5 \times 10^{-6}$ 的学习率。
  - 平衡采样： 鉴于训练数据集在 Python 方面存在严重倾斜（91.5%），作者在（语言，标签）组之间实施了平衡采样。这防止了模型为了学习 Python 特有的模式而牺牲了通用的任务对齐。
推理：
- 推理过程涉及单次前向传播。系统仅提取目标类别标记（“0”和“1”）的 Logits，并应用 Softmax 来确定预测标签，从而最大限度地减少解码开销。

核心贡献

公式化方案： 引入了 SALSA，它将分类转换为可靠的单标记预测任务，消除了开放式 LLM 生成的不稳定性。
OOD 优化： 证明了保守微调（低学习率、单 epoch、平衡采样）能够保留基座模型的通用能力，在 OOD 设置下显著优于激进的训练策略。
性能表现： 该系统相对于官方基准线实现了实质性的提升，解决了多语言和跨领域代码检测中的差距问题。

结果
作者在 SemEval-2026 Task 13 排行榜上评估了其系统：

基准对比： 官方 CodeBERT 基准线的 OOD F1 分数为 0.305。
SALSA 性能： 使用经过 SALSA 微调的 Qwen2.5-72B-Instruct 的最佳系统达到了 0.789 的 OOD F1 分数。
零样本 vs. 微调： 零样本性能因模型规模和架构的不同而表现出显著差异，部分模型表现出强烈的偏向于预测“人类编写”代码的倾向（高精确度，极低召回率）。通过所提议的保守策略进行微调解决了这些偏差，在实现接近完美验证集 F1 分数（0.996）的同时，保持了强大的 OOD 泛化能力。
模型缩放： 性能通常随模型规模增加而提升，72B 参数的模型优于 32B 和 8B 变体。

意义
论文声称 SALSA 为机器生成代码检测提供了一种鲁棒、高效且可扩展的解决方案。通过通过结构化提示将作者身份判定权交给模型，并精心管理微调过程以避免过拟合，该方法成功泛化到了未见的语言和领域。结果表明，通过保守训练来保留基座模型的通用特征，比最大化领域内准确度对于 OOD 任务更为有效。作者指出，其代码已公开，以促进该领域的进一步研究。