🤖 machine learning

HLS-Seek: QoR-Aware Code Generation for High-Level Synthesis via Proxy Comparative Reward Reinforcement Learning

HLS-Seek 是一个感知质量与资源（QoR）的代码生成框架，它利用带有不确定性感知蒙特卡洛 Dropout 切换机制的比较代理奖励模型，高效训练一个 70 亿参数的大语言模型以用于高层次综合，在实现卓越的延迟与资源优化的同时，在语法正确性和帕累托优势方面显著超越前沿模型。

原作者： Qingyun Zou, Feng Yu, Hongshi Tan, Yao Chen, Bingsheng He, WengFai Wong

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qingyun Zou, Feng Yu, Hongshi Tan, Yao Chen, Bingsheng He, WengFai Wong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位首席建筑师，正试图设计一座定制的、高速的工厂（在本例中，这座工厂即计算机芯片）。你拥有一份用纯英语或简单代码写成的蓝图。你的目标是将这份蓝图转化为一座运行速度尽可能快、同时使用最少建筑材料（如铜线和内存块）的工厂。

这就是高层次综合（High-Level Synthesis, HLS）所面临的挑战。它是将人类思想转化为硬件指令的过程。问题在于：“最佳”设计不仅仅关乎工厂能否运转，更关乎其效率。一座能运转但需要 10 小时才能造出一辆汽车的工厂，与另一座仅需 10 分钟就能造出同样汽车的工厂相比，毫无用处，即便两辆车完全相同。

以下是论文HLS-Seek如何解决这一问题的简要说明：

问题：“慢速教师”

此前，当人工智能试图学习如何设计这些工厂时，它面临着一个巨大的瓶颈。

旧方法：为了训练人工智能，你需要让它编写一个设计方案，然后将其发送至一个真实的物理工厂模拟器（称为“综合工具”），以测试其速度。
弊端：该模拟器极其缓慢。测试仅一个设计方案就需要数分钟甚至数小时。若要有效训练人工智能，你需要测试成千上万个设计方案。使用这种缓慢的模拟器进行训练，就像试图通过每三天只允许测试一次引擎来学习驾驶赛车一样。这既昂贵又缓慢，完全不切实际。
结果：现有的 AI 模型能够编写出能运行的代码（工厂不会烧毁），但它们不知道如何让工厂变得快速或高效。它们是“功能正确”但“质量无知”的。

解决方案：“快速代理教练”

HLS-Seek 的作者意识到，要训练 AI，并不需要知道每一个单一设计的确切速度。他们只需要知道两个设计方案中哪一个更好。

他们构建了一个巧妙的系统，包含三个主要部分：

1. “品鉴师”（代理奖励模型）

他们训练了一位“代理教练”，而不是将每个设计方案都发送给缓慢的真实工厂模拟器。

工作原理：这位教练并排查看两个设计方案，并瞬间判断：“设计 A 比设计 B 快。”
类比：想象一位品尝过成千上万道菜肴的美食评论家。他们无需称量每种食材或测量烹饪时间，就能凭经验知道哪个汉堡更好；这位“代理教练”就是那位评论家。与真实模拟器（需数分钟）相比，它快如闪电（仅需毫秒）。
准确性：这位教练表现极佳，在**99.5%**的情况下能做出正确的比较判断。

2. “安全网”（不确定性感知切换）

如果 AI 尝试了一个奇怪、疯狂的设计，而“代理教练”从未见过，该怎么办？教练可能会猜错。

修正方案：系统为教练配备了一个“置信度计”。如果教练不确定（置信度低），系统会自动暂停，并将该特定设计发送至真实的、缓慢的模拟器以获取实际答案。
学习循环：一旦真实模拟器给出答案，系统就会将该结果反馈给“代理教练”以进行教学。随着时间的推移，教练学到的东西越来越多，需要向缓慢模拟器求助的次数越来越少，最终成为一位自我完善的专家。

3. “三阶段训练营”

AI（一个拥有 70 亿参数的模型）经历了一个严格的训练营：

阶段 1（多样性）：它学习以多种不同方式编写代码，仅为了掌握基础。
阶段 2（推理）：它学习在“说话”之前先“思考”。它会生成逐步解释，说明为何选择某些设置，从而帮助其理解硬件设计的逻辑。
阶段 3（强化学习）：奇迹在此发生。AI 生成许多设计方案，“代理教练”对其进行排名。AI 因更好的设计获得“奖励”，并学会重复成功的做法。由于教练速度极快，AI 可以在过去仅能练习一次的时间内，练习数千次。

结果：新的冠军

论文将这一新系统HLS-Seek与现有的最佳 AI 模型（包括 GPT-5.1 等巨头以及专用硬件模型）进行了测试。

速度：与使用真实缓慢模拟器的方法相比，其训练速度快了8.5 倍。
准确性：尽管它是一个较小的模型（70 亿参数），但它编写的代码在语法正确性和功能完美性方面，往往优于那些庞大且昂贵的模型。
质量（重大胜利）：就硬件的实际性能（延迟和资源使用情况）而言，HLS-Seek 在 30 个测试用例中的16 个中产生了最快的设计。在许多情况下，它不仅仅是微调设置，而是完全重构了代码，以解锁其他模型无法找到的速度。

总结

可以将HLS-Seek想象成一名学生，过去他必须等待数天才能等到老师批改作业。现在，他拥有一位超快速、高精度的“导师”，能在过去批改一道题所需的时间内批改 1,000 道练习题。如果导师偶尔不确定，他们会向首席老师双重确认，从中学习，并变得更加聪明。结果如何？这名学生学习得更快，犯错更少，并且比任何人都能建造出更好、更快的工厂。

技术摘要：HLS-Seek

问题陈述

高层次综合（HLS）将算法性的 C/C++ 描述编译为寄存器传输级（RTL）硬件。结果质量（QoR）——特别是执行延迟和资源利用率（LUTs、DSPs、BRAMs、FFs）——对于现实世界的加速器部署至关重要。然而，QoR 由微架构结构、pragma 配置和代码优化决定，仅凭软件代码分析无法准确推断；它需要昂贵的综合与实现评估。

现有用于 HLS 代码生成的大语言模型（LLM）方法主要关注功能正确性（生成可编译、可运行的代码），但对QoR 不敏感。它们同等对待所有可编译的设计，无论其硬件性能如何。虽然利用真实综合反馈（综合在环）的强化学习（RL）在 RTL 领域已显示出前景，但将其应用于 HLS 则成本高得令人望而却步。单次 HLS 综合运行可能需要数分钟至数小时，而 RL 训练通常需要数千次评估，使得该方法在大规模应用上不可行。

方法论

作者提出了HLS-Seek，这是一个感知 QoR 的自然语言到 HLS 框架，它用比较代理奖励模型（辅以不确定性感知切换机制）替代了昂贵的真实综合 RL。

1. 核心洞察

作者观察到，HLS 的 RL 并不需要来自综合的绝对 QoR 值（精确的延迟/资源数值）。相反，它只需要候选设计之间的相对比较来估算组内相对优势。这一洞察使得训练一个轻量级代理模型来预测两个设计中哪一个更优成为可能，从而在大多数训练步骤中绕过对综合的需求。

2. 三阶段训练流程

HLS-Seek 采用三阶段训练过程：

阶段 1：面向多样性的监督微调（SFT）：在包含 QoR 描述的广泛 HLS 语料库上对基础 LLM 进行微调，使模型接触多样化的 pragma 配置和编码模式，建立 HLS 语法基础。
阶段 2：带推理轨迹的冷启动 SFT：利用经过增强的帕累托邻近设计（最优权衡）数据集，并辅以由商业推理模型生成的思维链（CoT）推理轨迹，使模型学习结构化的硬件推理以及如何选择最优的 pragma 配置。
阶段 3：组相对策略优化（GRPO）：使用包含四个组成部分的奖励信号对模型进行细化：
1. 推理格式：确保带有 CoT 轨迹的结构化输出。
2. 编译：检查语法正确性（GCC 编译）。
3. 功能正确性：根据测试平台验证语义正确性。
4. 代理 QoR 奖励：源自孪生网络的比较奖励，用于预测成对优势。

3. 比较代理奖励模型

架构：一种 Bradley-Terry 孪生架构，接收两个 HLS 设计作为输入，输出其中一个优于另一个的概率。
训练：基于设计空间探索（DSE）结果中的成对比较进行训练，区分完全帕累托优势（在所有 5 项指标上均更好）和延迟优势。
不确定性感知切换：为防止“奖励黑客”（即策略利用代理模型的盲点），系统在推理期间采用蒙特卡洛（MC）丢弃来估计不确定性。
- 如果候选设计具有高不确定性，系统将触发真实的 Vitis HLS 综合以获取真实 QoR。
- 这些真实综合结果被反馈用于在线更新代理奖励模型，持续扩展其覆盖范围和可靠性。
- 该机制确保代理保持准确性的同时，将综合触发率保持在低位（收敛时目标 <5%）。

4. 数据策划

该框架采用帕累托邻近质量 - 多样性采样策略。它不仅仅使用严格的帕累托最优设计（数量太少），而是包括帕累托前沿附近的设计，并按其到前沿的欧几里得距离进行排名，确保模型学习细粒度的资源 - 延迟权衡。

主要贡献

相对奖励洞察：识别出 HLS RL 仅需相对 QoR 信号，而非绝对综合结果，从而使得使用比较代理模型成为可能。
不确定性感知代理系统：一种新颖机制，结合了孪生比较奖励模型、MC 丢弃不确定性估计以及通过选择性真实综合进行的在线更新。这防止了奖励黑客并确保自我改进。
HLS-Seek 框架：一个完整的自然语言到 HLS 流水线，仅使用 70 亿参数即实现了最先进的性能，利用三阶段训练策略（多样性 SFT $\to$ 推理冷启动 SFT $\to$ 代理奖励 GRPO）。

实验结果

在HLS-eval基准测试和ForgeHLS测试集上进行了评估：

语法和功能正确性：
- 在 HLS-eval 上实现了81.5% 的 pass@1语法正确率和81.4% 的 pass@5功能正确率。
- 尽管参数显著更少（70 亿 vs. 2350 亿+或更大的代码模型），其表现仍优于前沿模型（包括 GPT-5.1、DeepSeek-V3.2 和 Qwen3-235B）以及专用 HLS 基线（SAGE-HLS、Gai 等人）。
- 具体而言，在 HLS-eval 的功能 pass@5 指标上，它比 GPT-5.1 高出 2.3 个百分点。
结果质量（QoR）：
- 在30 个内核中的 16 个上实现了最低延迟。
- 在9 个内核上帕累托主导了 HLS 专用基线（SAGE-HLS 和 Gai 等人）（5 个优于 SAGE-HLS，4 个优于 Gai 等人），仅出现 1 次反向胜利。
- 展示了进行算法代码重构（例如标量扩展和循环分裂）的能力，而不仅仅是插入 pragma，从而实现了显著的延迟降低（例如 GEMVER 中降低了 4.1 倍）。
训练效率：
- 与真实奖励 RL 相比，实现了8.5 倍的训练加速。
- 在 73 小时的墙钟时间预算内，HLS-Seek 完成了 12,500 个训练步骤，而真实奖励方法仅完成了 1,460 个步骤。
- 代理奖励机制在收敛时将综合开销降低至 5% 以下，同时保持了高准确率（99.53% 的帕累托优势准确率）。

意义与主张

本文主张，HLS-Seek证明了利用学习到的 QoR 奖励的领域特定 RL 是实现全自动、硬件高效 HLS 代码生成的可行路径。通过将绝对综合结果的需求与 RL 训练循环解耦，作者克服了综合在环方法的可扩展性瓶颈。

这项工作强调：

通过利用相对比较，可以在不进行昂贵综合在环的情况下实现QoR 感知。
当使用适当的 QoR 感知信号和推理轨迹进行训练时，**小模型（70 亿参数）**可以在专用硬件生成任务中超越巨大的前沿模型。
算法重构是通过此过程学习到的关键能力，它超越了简单的 pragma 调整，从根本上优化代码结构以利用硬件并行性。

作者总结道，他们的不确定性感知代理奖励系统成功平衡了训练速度与奖励保真度之间的权衡，使得生成的硬件设计不仅功能正确，而且在延迟和资源使用方面得到优化。