🤖 machine learning

SemRep: Generative Code Representation Learning with Code Transformations

SemRep 提出了一种通过生成式代码表示学习（利用语义保持变换作为中间表示）来改进代码转换的框架，在多项任务中显著超越了同等训练预算下的基线模型，并能以 25% 更少的推理算力发现比更大参数模型更优的代码优化方案。

原作者： Weichen Li, Jiamin Song, Bogdan Alexandru Stoica, Arav Dhoot, Gabriel Ryan, Shengyu Fu, Kexin Pei

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Weichen Li, Jiamin Song, Bogdan Alexandru Stoica, Arav Dhoot, Gabriel Ryan, Shengyu Fu, Kexin Pei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 SEMREP 的新框架，它的核心目标是让人工智能（AI）在修改和优化代码时变得更聪明、更可靠。

为了让你轻松理解，我们可以把写代码想象成装修房子，把AI 模型想象成一位装修设计师。

1. 以前的痛点：直接动手，容易翻车

在 SEMREP 出现之前，大多数 AI 设计师接到任务（比如“把这个房间改得更宽敞”）时，会直接动手拆墙、搬家具。

问题：它们往往只盯着“怎么改”，却忘了先搞清楚“这面墙是不是承重墙”或者“原来的布局逻辑是什么”。
后果：AI 可能为了追求“宽敞”而拆掉了承重墙，导致房子塌了（代码跑不通）；或者为了美观把窗户封死，导致采光变差（性能反而下降）。
现状：现有的 AI 就像是一个凭直觉干活的新手，它把“理解房子结构”和“动手装修”混在一起，结果经常出错，或者只能做出一些表面功夫。

2. SEMREP 的秘诀：先画草图，再动工

SEMREP 给 AI 设计师制定了一套全新的两阶段工作流，就像一位经验丰富的老工匠：

第一阶段：生成“语义等价”的草图（理解与重构）

在动手修改之前，SEMREP 要求 AI 先做一件事：把房子重新画一遍，但保证住进去的感觉（功能）完全不变。

比喻：AI 把原来的“砖墙结构”重新画成了“木架结构”，或者把“分散的电线”重新整理成“整齐的线束”。
关键点：虽然房子的内部结构变了（代码写法变了），但住进去的人（用户）感觉不到任何区别（输入输出完全一致）。
作用：这一步强迫 AI 真正理解了房子的核心逻辑（代码语义），而不是死记硬背原来的样子。它把复杂的代码“翻译”成了 AI 更容易理解和操作的形式。

第二阶段：基于草图进行优化（精准改造）

有了这张清晰的“新草图”后，AI 再根据用户的指令（比如“加个落地窗”）进行修改。

比喻：因为 AI 已经知道哪里是承重墙，哪里是管线，所以它现在可以大胆地加落地窗，而不用担心房子塌掉。
结果：修改后的房子既满足了新需求，又保留了原本的安全性和功能性。

3. 为什么这很厉害？（核心优势）

小模型也能干大事：
以前，只有那些“超级大脑”（参数量巨大的昂贵模型）才能处理好复杂的代码修改。SEMREP 让普通的“中等大脑”（小模型）通过这种“先理解后动手”的方法，干出了比那些“超级大脑”更好的活。
- 比喻：一个受过严格“先画草图”训练的中学生，修房子的效果比一个没受过训练的天才更好。
更抗造（鲁棒性）：
如果别人把代码写得乱七八糟（比如变量名全改了，但逻辑没变），以前的 AI 可能会懵圈。SEMREP 因为学会了“透过现象看本质”，所以不管代码表面怎么变，它都能认出这是同一个功能，从而正确修改。
- 比喻：不管房子是刷了红漆还是蓝漆，SEMREP 都能认出那是同一个承重结构。
像“进化”一样寻找最优解：
SEMREP 特别适合配合一种叫“进化搜索”的技术。它不急着一步到位，而是先尝试生成几十种不同的“草图”（中间状态），哪怕有些草图看起来暂时变差了，但可能隐藏着通往完美方案的路径。
- 比喻：就像生物进化，先尝试各种变异，哪怕有些变异看起来没用，但最终可能演化出最适应环境的物种。

4. 实际效果怎么样？

论文在几个硬核测试中证明了 SEMREP 的厉害：

修 Bug 和改功能：在通用的代码编辑任务中，它的准确率比现有的顶尖方法高了近 7%。
性能优化：在优化 GPU（显卡）代码时，它不仅改得对，而且速度提升了 1.1 倍。
发现新算法：在一个复杂的数学优化问题（最小生成树）中，SEMREP 发现了一个连那些拥有 6850 亿参数（超级巨大）的模型都发现不了的高效算法。

总结

SEMREP 的核心思想就是：不要急着改代码，先让 AI 把代码“翻译”成它自己能完全理解且功能不变的新版本，然后再在这个新版本上进行优化。

这就好比在修车前，先让技师把发动机拆下来彻底清洗、重新组装一遍（确保理解透彻），然后再去调校马力。这种方法让 AI 从“盲目试错”变成了“深思熟虑”，从而在软件工程中表现得更加智能和可靠。

SEMREP 论文技术总结：基于代码变换的生成式代码表示学习

1. 研究背景与问题定义

核心问题：
代码变换（Code Transformation）是软件工程中的基础任务，涵盖性能优化、重构、Bug 修复等。现有的基于大语言模型（LLM）的方法通常将代码变换视为端到端的学习任务，存在以下局限性：

隐式表示：模型将语义理解隐含在权重参数中，缺乏显式的中间表示来指导变换。
刚性抽象：部分方法依赖编译器级别的抽象（如 AST、控制流图），但这些结构对自然语言指令的泛化能力有限，且构建成本高。
语义与编辑的耦合：直接尝试根据指令修改代码，往往难以在“保持原有语义”和“实现新目标”之间取得平衡，导致生成的代码存在逻辑错误或性能未达预期。

核心挑战：
如何解耦“需要保留的语义”与“需要修改的逻辑”，并让模型显式地学习代码的语义表示，从而指导更高质量的代码变换？

2. 方法论：SEMREP 框架

SEMREP（Generative Code Representation Learning with Code Transformations）提出了一种新的框架，通过生成式代码表示学习（Generative Code Representation Learning）来增强代码变换能力。其核心思想是利用语义保持的代码变换（Semantics-Preserving Transformations）作为中间表示。

2.1 核心流程

SEMREP 将代码编辑过程分解为两个阶段，并在推理时采用迭代进化搜索：

阶段一：生成式代码表示学习 (Generative Code Representation Learning)
- 目标：训练模型生成与原始代码语义等价（Semantically Equivalent）但结构、语法或算法不同的变体（ $C_{rep}$ ）。
- 机制：使用基于测试的等价性（Test-based Equivalence）作为奖励信号。模型被鼓励探索多样化的实现方式（例如不同的循环结构、API 调用），只要它们在给定的测试用例集 $U_{sem}$ 上输出一致。
- 作用：这迫使模型显式地理解代码的“意图”而非表面的“语法”，为后续变换提供丰富的中间表示。
阶段二：指令特定变换学习 (Instruction-Specific Transformation Learning)
- 目标：基于阶段一生成的语义等价代码，根据自然语言指令（如“优化性能”）生成最终目标代码（ $C_{tgt}$ ）。
- 机制：模型需同时满足指令遵循（Instruction Adherence）和语义保持（Semantic Preservation）。
- 训练策略：采用两阶段训练（Mid-training + Finetuning），总训练预算与基线模型保持一致，确保公平比较。
推理阶段：迭代进化搜索 (Iterative Inference & Test-Time Scaling)
- 结合进化算法（Evolutionary Search），模型在推理时交替进行“语义探索”（生成多样化的等价代码）和“指令变换”（应用优化）。
- 通过维护一个候选代码池（Candidate Pool），不断选择表现最好的代码进行下一轮迭代，从而发现单步生成难以触及的最优解。

2.2 奖励函数设计

使用强化学习（RL，具体为 GRPO 算法）进行训练，奖励函数包含：

可编译性：代码必须能成功编译。
语义不变性：在测试集 $U_{sem}$ 上，输出必须与原始代码一致。
指令遵循度：在测试集 $U_{edit}$ 上，代码必须满足用户指令（如速度提升）。

3. 关键贡献

显式语义表示学习：首次提出将“生成语义等价代码”作为中间训练任务，将隐式的语义理解转化为显式的、可验证的代码表示，解决了端到端模型难以解耦语义与变换的问题。
两阶段训练范式：设计了一种通用的训练流程，先通过语义保持变换建立对代码行为的深刻理解，再进行特定指令的微调，显著提升了模型的泛化能力和鲁棒性。
测试时扩展（Test-Time Scaling）的兼容性：由于中间表示是显式的代码，SEMREP 天然适合与进化搜索结合。模型可以生成非贪心的中间状态（即使暂时性能下降），从而跳出局部最优，发现更优的算法结构。
小模型超越大模型：证明了通过正确的表示学习，较小的模型（如 32B）在代码变换任务上可以超越参数量大 12 倍的模型（如 685B DeepSeek-V3）及商业闭源模型。

4. 实验结果

论文在 EditBench（通用代码编辑）和 KernelBench（GPU 内核优化）两个基准上进行了评估。

4.1 主要性能指标

正确性 (Correctness)：在 KernelBench 上，SEMREP 比当前最先进（SOTA）的 Kevin-32B 模型高出 43.1%（Best@16）。
性能提升 (Speedup)：在 GPU 内核优化任务中，SEMREP 实现了 1.1 倍 的性能提升（相比基线）。
通用性 (Generalization)：在未见过的硬件设备（如 H200 GPU）上，SEMREP 的泛化能力比微调基线高出 10.6% 的速度提升，且正确率高出 61.4%。
鲁棒性 (Robustness)：面对代码的语义保持扰动（如变量重命名、格式调整），SEMREP 的 Consistency（一致性）比基线高出 6.7%。

4.2 消融实验

仅训练表示学习：即使不进行指令微调，仅进行语义等价代码生成训练，也能显著提升性能（Speedup 提升 21%）。
仅推理搜索：仅使用推理时的语义探索（TTS），在 EditBench 上也能提升 Pass@1 约 5%。
完整 SEMREP：结合训练和推理，各项指标均达到最优。

4.3 案例研究

最小生成树 (MST)：SEMREP 结合进化代理（OpenEvolve），在 14 步内实现了 7.28 倍 的加速，超越了 685B 参数的 DeepSeek-V3-Reasoner。它成功发现了迭代版并查集（Union-Find）等高级优化，而其他模型未能发现。
圆填充问题 (Circle Packing)：SEMREP 在资源受限的情况下，通过进化搜索发现了从网格模式到环形模式的转变，最终达到 SOTA 水平的 93.88%。
CUDA 内核优化：在矩阵乘法等任务中，SEMREP 通过融合操作、内存合并等技术，实现了显著的加速。

5. 意义与影响

重新定义代码理解：SEMREP 表明，让 LLM 显式地“重写”代码以验证其语义理解，比单纯依赖隐式权重更能提升代码生成和编辑的质量。
降低算力门槛：通过高效的表示学习和推理策略，使得中小规模模型（32B 级别）能够胜任复杂的系统级优化任务，降低了对超大参数模型的依赖。
推动 AI 辅助科学发现：SEMREP 与进化搜索的结合展示了 AI 在算法发现领域的潜力，能够探索人类专家可能忽略的非直观优化路径（如先降维再升维的中间状态）。
工程实践价值：该方法不仅适用于学术研究，在真实的代码库迁移、性能优化（如 PyTorch/CUDA 优化）中具有极高的实用价值，能够直接生成可部署的高效代码。

总结：SEMREP 通过引入“生成式代码表示学习”，成功解耦了代码语义理解与指令执行，利用显式的中间表示和进化搜索，显著提升了 LLM 在复杂代码变换任务中的正确性、性能、泛化性和鲁棒性，为下一代 AI 编程助手提供了新的范式。