💬 NLP

SuperCoder: Assembly Program Superoptimization with Large Language Models

本文介绍了 SuperCoder，一种基于大语言模型的汇编超优化方法，该方法通过构建一个新的大规模基准测试集和强化学习微调，实现了 95% 的正确率以及相比于行业标准编译器 1.46 倍的加速，证明了在超越传统启发式算法的程序性能优化方面，大语言模型具有可行性。

原作者： Anjiang Wei, Tarun Suresh, Huanmi Tan, Yinglun Xu, Gagandeep Singh, Ke Wang, Alex Aiken

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Anjiang Wei, Tarun Suresh, Huanmi Tan, Yinglun Xu, Gagandeep Singh, Ke Wang, Alex Aiken

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一份由世界级大厨已经完善过的蛋糕食谱。大厨已经测量了每一种原料，选择了最佳的烤箱温度，并将烘焙时间精确到了秒。这就是你的“优化后”代码（例如使用 gcc -O3 编译出的代码）。

现在，想象一下你要求一位才华横溢但缺乏经验的学徒（即大语言模型，或称 LLM）看着这份完美的食谱说：“我可以让这个蛋糕做得更快。”

这正是 SuperCoder 论文所研究的内容。以下是他们实验过程的简单解释。

挑战：超越大师级大厨

几十年来，计算机科学家一直试图编写能够自动寻找最快执行方式的程序。这被称为超优化（Superoptimization）。

旧方法： 以前的尝试就像是在优化单个句子。它们只能处理极其微小、简单的任务，且不包含循环（重复动作）。这就像是试图让制作三明治的速度变快，但你甚至无法添加第二片面包。
新目标： 作者想要观察现代 AI 是否能够优化一顿完整的“大餐”（即包含循环和逻辑的复杂程序），而这顿大餐已经由最专业的厨师（工业编译器）烹饪过了。

工具箱：一个庞大的全新游乐场

为了进行测试，研究人员不能仅仅使用旧的微型数据集。他们需要一个庞大的健身房来训练他们的 AI。

数据集： 他们构建了一个包含 8,072 个汇编程序（计算机实际运行的底层指令）的库。
规模： 这些并非微小的片段；它们的平均长度为 130 行代码，并且包含了复杂的循环。你可以把它想象成从优化一块乐高积木转向优化一座完整的城堡。
安全网： 他们创建了数千个“测试用例”（类似于味觉测试），以确保如果 AI 修改了食谱，蛋糕的味道依然完全一致，只是烘焙得更快了。

实验：训练学徒

他们选取了 23 种不同的 AI 模型，并要求它们重写汇编代码以提高速度。

初步结果： 大多数 AI 在这方面表现得很糟糕。它们要么写出的代码导致崩溃（蛋糕塌陷了），要么写出的代码速度与原版一样慢。
明星选手： 其中一个模型，Claude-opus-4，表现最为出色。它成功地使代码平均提速了 1.43 倍，同时仍能保证正确运行。这就像是在不破坏蛋糕的前提下，将 10 分钟的烘焙时间缩短到了 7 分钟。

秘密配方：强化学习

研究人员意识到，仅仅要求 AI “做得更好”是不够的。他们需要像训练电子游戏角色一样训练它。

奖励系统： 他们使用了**强化学习（Reinforcement Learning）**技术。
- 如果 AI 写的代码崩溃或给出了错误答案，它会得到 0 分。
- 如果代码运行正确，它会根据速度提升了多少获得分数。
结果： 他们采用了一个表现稳健的模型（Qwen2.5-Coder-7B），并利用这种奖励系统对其进行训练。
- 训练前： 它的正确率为 61%，速度仅提升了 10%。
- 训练后（SuperCoder）： 它变得在 95% 的情况下正确，且平均速度提升了 46%。

如何打磨这颗宝石

即使在训练之后，他们还使用了两个聪明的技巧来获得更好的效果：

Best-of-N 采样： 他们不再只向 AI 索要一个答案，而是要求它提供 8 个不同的版本，并从中挑选出绝对最好的那一个。这进一步提升了加速效果。
迭代优化（Iterative Refinement）： 如果 AI 犯了错，他们会将错误信息展示给它，并询问：“再试一次，但请修复这个特定的问题。” AI 会利用这些反馈进行自我修正，从而变得越来越聪明。

AI 究竟改变了什么？

当研究人员观察 AI 是如何让代码变快的时，他们发现 AI 正在进行如下操作：

循环重构（Loop Restructuring）： 重新排列步骤的顺序，使其更加高效。
指令选择（Instruction Selection）： 将冗长、缓慢的指令替换为短小、专门的 CPU 特技（就像使用秘密捷径一样）。
消除冗余（Removing Bloat）： 删除了编译器虽然保留但对于特定任务并非严格必要的安全检查或复杂数学运算。

核心结论

这篇论文首次证明了 AI 可以充当超优化器（Superoptimizer）。它可以接收已经被世界上最优秀的工程化编译器优化过的代码，并在不破坏功能的前提下，找到让其运行得更快的方案。

他们不仅仅是在猜测；他们构建了一个庞大的测试场，通过严格的奖励系统训练 AI，并展示了通过正确的训练，AI 可以超越目前的“行业金标准”优化水平。

技术摘要：SuperCoder：基于大语言模型的汇编程序超优化

问题定义

本文探讨了**超优化（superoptimization）**的挑战：即在严格保持输入输出行为不变的前提下，将程序转化为更快的变体。虽然传统编译器（如 gcc -O3）经过了数十年的精炼，但它们依赖于启发式转换规则，且无法保证最优性。现有的超优化研究仅限于非常短的、直线型的汇编程序（通常为 2–15 条指令）且不包含循环，这类研究依赖于 CPU 驱动的搜索启发式算法，难以实现规模化扩展。

本研究调查了大语言模型（LLM）是否可以作为大规模、包含循环的汇编程序的超优化器。其具体任务是生成能够超越工业标准编译器最高优化等级（gcc -O3）输出结果的汇编代码，这比从自然语言规范生成代码是一个更具挑战性的任务。

研究方法

1. 数据集构建

为了解决大规模汇编数据集匮乏的问题，作者构建了一个新的基准测试集，包含 8,072 个汇编程序（7,872 个用于训练，200 个用于评估）。

来源： 源自 CodeNet 竞赛编程提交内容的语料库。
筛选标准： 根据 gcc -O0 与 gcc -O3 之间的高相对加速比进行采样，以确保复杂度和优化潜力。
规模： 平均程序长度为 130 行，较之以往受限于小于 15 行的数据集有了显著提升。
验证： 通过执行原始提交来重新生成测试套件，以确保正确性，实现了 96.2% 的行覆盖率和 87.3% 的分支覆盖率。

2. 任务形式化

该问题被构造成一个上下文多臂老虎机（contextual multi-armed bandit）问题，其中：

上下文 ( $s$ )： 源 C 程序、基准 gcc -O3 汇编以及一组测试用例。
动作 ( $a$ )： 生成一个候选汇编程序。
目标： 最大化加速比（Speedup），定义为基准执行时间与候选程序执行时间的比值。
约束： 候选程序必须是有效的（可编译）且正确的（通过所有测试用例）。如果候选程序编译失败或不符合正确性，则分配默认加速比 1.0（回退至基准版本）。

3. 强化学习（RL）框架

作者采用强化学习来微调 LLM，优化一个同时编码正确性和性能的奖励函数。

算法： 近端策略优化（PPO）和群体相对策略优化（GRPO）。
奖励函数：
- 如果程序编译失败或未能通过任何测试用例，则 $r = 0$ 。
- 如果程序通过所有测试，则 $r = \text{加速比}$ 。
- 这种设计确保了模型会对幻觉或错误的优化受到惩罚，而仅对有效的、更快的代码给予奖励。
基座模型： 选择 Qwen2.5-Coder-7B-Instruct 进行微调，因为它具有强大的基准正确性。

4. 推理阶段技术

为了进一步提升性能，研究评估了以下技术：

Best-of-N 采样： 生成多个候选程序，并从中选择通过所有测试且加速比最高的那个。
迭代细化（Iterative Refinement）： 将编译错误或测试失败的信息反馈到模型的提示词中，以引导后续生成。
监督微调（SFT）： 使用 Best-of-8 采样中的最佳候选程序作为 ground truth 进行 LoRA 微调。

关键结果

基准评估

作者评估了 23 个最先进的 LLM（包括 GPT-4o、DeepSeek-R1、Claude-3.7 以及专门的编译器模型）。

性能差距： 大多数模型表现挣扎，许多模型仅达到 1.00× 加速比（无改进）或编译失败。
顶尖基准： Claude-opus-4 取得了最佳的基准性能，测试通过率为 51.5%，且相对于 gcc -O3 的平均加速比为 1.43×。
失效模式： 像 DeepSeek-R1 这样的模型无法生成可执行代码（编译率为 0%），通常输出冗长的推理过程。GPT-4o 实现了较高的编译率（81%）但正确性较低（5%），经常为了追求优化而违反底层约定（例如堆栈金丝雀/stack canaries、调用约定）。

强化学习微调 (SuperCoder)

使用 RL 微调基座模型（Qwen2.5-Coder-7B-Instruct）带来了显著提升：

正确性： 从 61.4% 提高到 95.0%。
加速比： 从 1.10× 提高到 1.46×（平均）。
对比： 经 RL 训练的模型优于所有其他评估的模型，包括专有的 Claude-opus-4 基准。PPO 和 GRPO 产生的结果几乎一致。

推理阶段收益

Best-of-N： 对经 RL 训练的模型应用 Best-of-8 采样，使平均加速比进一步提升至 1.93×。
迭代细化： 提供错误反馈提高了所有模型的性能，其中在 RL 训练的模型中观察到的增益最为显著。

变换分析

对优化后代码的分析揭示了 LLM 超越 gcc -O3 的九类变换：

循环重构（展开、重排序）。
指令选择（使用专门的 CPU 指令，如 popcnt、cmov）。
算法简化（用标准库例程替换自定义逻辑）。
移除堆栈金丝雀（消除安全检查）。
寄存器分配改进。
分支消除（使用条件移动）。
地址计算优化。
函数调用优化。
算术优化（例如，用位移代替除法）。

重要性与主张

本文声称是首个成功将 LLM 应用于已被工业标准编译器优化过的汇编程序超优化研究。其主要贡献在于：

新基准： 引入了一个大规模、真实的基准数据集（8,072 个程序，平均 130 行），超越了以往超优化研究中的玩具示例。
用于性能的 RL： 证明了强化学习（配合显式整合正确性和加速比的奖励函数）对于代码性能优化非常有效，其表现优于标准的监督微调和提示策略。
可行性： 确立了 LLM 可以发现标准编译器启发式算法遗漏的汇编代码性能改进，相对于 gcc -O3 实现高达 1.46× 的加速（使用 Best-of-N 采样时可达 1.93×）。

作者将这项工作定位为未来研究程序性能优化（超越传统编译器启发式限制）的基础。