💻 computer science

Synthesis-in-the-Loop Evaluation of LLMs for RTL Generation: Quality, Reliability, and Failure Modes

本文引入了一种基于硬件质量指数（HQI）的闭环合成评估框架，用于评估 32 种语言模型在 RTL 生成方面的表现，揭示了明显的性能层级和系统性失败模式，凸显了功能正确性与硬件实现质量之间的差距。

原作者： Weimin Fu, Zeng Wang, Minghao Shao, Ramesh Karri, Muhammad Shafique, Johann Knechtel, Ozgur Sinanoglu, Xiaolong Guo

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Weimin Fu, Zeng Wang, Minghao Shao, Ramesh Karri, Muhammad Shafique, Johann Knechtel, Ozgur Sinanoglu, Xiaolong Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在聘请一支建筑师团队来设计一座房子。在过去，你可能只是让他们画一张房子的图纸，然后检查图纸是否美观。如果图纸上有屋顶和门，你就会说：“干得漂亮！”

但在制造芯片（计算机的大脑）的现实世界中，一张漂亮的图纸远远不够。设计必须是可制造的、高效的，并且是安全的。如果建筑师画了一面实际上无法建造的玻璃墙，或者画了一段占用过多空间的楼梯，整个项目就会失败。

这篇论文就像一份针对 32 位不同"AI 建筑师”（大型语言模型）的严格检查报告，这些模型正试图编写计算机芯片的蓝图。研究人员没有仅仅检查 AI 的图纸看起来是否正确，而是构建了一台特殊的测试机器，尝试实际制造该设计，以验证其是否可行。

以下是他们研究发现的简要说明，使用了简单的类比：

1. “动手造”测试（合成闭环）

大多数之前的 AI 编程测试就像拼写比赛：它们检查 AI 是否正确地写出了单词（语法），以及故事是否通顺（仿真）。

这篇论文增加了一个“施工阶段”。他们将 AI 生成的代码放入一个工厂流程（称为综合）中，将代码转化为实际的芯片蓝图。

结果：许多 AI 通过了“拼写比赛”，却在“施工”中失败了。它们编写的代码看起来正确，但一旦尝试建造就会崩塌。
新评分：他们创建了一个“硬件质量指数”（HQI）。你可以将其理解为 0 到 100 的分数，它不仅衡量设计是否可行，还衡量其利用空间和时间的效率，以及工厂给出了多少警告。

2. 建筑师三大梯队

在对 32 个 AI 模型进行排名时，他们并没有发现一条从“差”到“好”的平滑曲线。相反，这些模型分成了三个截然不同的群体，就像三个不同级别的体育联赛：

精英联赛（第一梯队）：这 14 个模型是“大师级建筑师”。它们持续产出不仅可制造，而且高度高效的设计。表现最佳的模型是Gemini-3-Pro，得分高达 85 分（满分 100）。
业余联赛（第二梯队）：这 15 个模型是“初级建筑师”。它们能建造简单的房子，但一旦设计变得复杂，就开始犯错。它们的得分比精英联赛低约 10 分。
新手联赛（第三梯队）：这 3 个模型是“实习生”。它们甚至难以完成基本结构。它们的设计通常完全无法通过施工测试。

3. “五次尝试取最佳”与“首次尝试”的问题

想象一下，你让一位建筑师设计一座房子。

“五次尝试取最佳”得分：如果你让建筑师画 5 个不同的版本并挑选最好的一个，他们可能会做得非常出色。
“首次尝试”得分：如果你只允许他们画一个版本，并且必须立即使用，质量往往会显著下降。

论文在此发现了巨大的差距。有些模型如果你给它们五次尝试，就能创作出杰作，但它们的第一次尝试往往平平无奇。

为何这很重要：在未来，我们需要能够自动工作的 AI 代理（就像一个设计好芯片后直接进入下一步、无需人工检查的机器人）。如果机器人必须等待五次尝试才能获得好结果，这会拖慢一切。论文指出，这些 AI 尚未准备好承担这种“机器人”工作，因为它们的“首次尝试”还不够可靠。

4. 失败方式：“晚期”崩溃与“早期”崩溃

研究人员分析了设计失败的原因，发现了一个基于 AI 来源的有趣模式：

专有模型（大型科技公司）：这些 AI 就像那些学习非常努力但在期末考试中困惑的学生。它们通常写出的代码起初看起来完美，但当工厂尝试建造时，会在流程后期撞上墙壁（就像在墙建好后才发现门的位置不对）。
开源权重模型（社区项目）：这些 AI 就像那些跳过了基础课程的学生。它们失败得非常早。它们经常忘记在设计周围加上“包装”，或者试图使用现实中不存在的材料（就像试图用水建造一座桥）。

论文指出，这种情况发生的原因是，“开源”AI 主要是在用于测试（仿真）的代码上训练的，而“专有”AI 似乎看到了更多用于建造（综合）的代码。

5. 成本与质量

最后，他们检查了价格标签。

昂贵的陷阱：一些最昂贵的 AI 模型（例如那些在回答前花费大量时间“思考”的模型）在建造芯片方面并非最佳。它们速度慢且成本高，但并未产生更好的蓝图。
高性价比之选：一些更便宜、更快的模型（如Gemini-3-Flash）以极低的成本产出了顶级设计。事实证明，对于这项特定工作，“更努力地思考”并不意味着“建造得更好”。

结论

这篇论文告诉我们，虽然 AI 在编写看起来正确的代码方面已经非常出色，但在编写准备好可制造的代码方面仍然挣扎。要利用 AI 设计真实的计算机芯片，我们需要停止仅仅检查代码是否通过测试，转而检查它是否实际上能够被高效地制造出来。在“首次尝试”的可靠性得到改善之前，我们无法完全信任这些 AI 建筑师独立工作。

技术摘要：面向 RTL 生成的“合成在环”大语言模型评估

问题陈述

利用大语言模型（LLM）生成寄存器传输级（RTL）代码提出了一个与软件合成截然不同的独特挑战。软件生成仅需满足语法有效性和功能正确性，而 RTL 生成则要求设计在语法上有效、可综合为门级网表、在仿真下功能正确，并在面积和时序方面具备硬件效率。现有基准测试（如 VerilogEval、RTLLM）主要基于仿真通过率（$pass@k$）评估模型，这无法区分那些仅能通过测试台的设计与那些能编译为高效、可综合硬件的设计。此外，能够编排端到端电子设计自动化（EDA）工作流的智能体 AI（Agentic AI）的兴起，要求评估重点从“最佳 $k$ 次”能力转向单次尝试的质量（$pass@1$），因为自主智能体无法承受多采样策略带来的组合爆炸。当前的评估方法未能捕捉部署可靠性所需的“结果质量”（QoR）指标（面积、延迟、警告）。

方法论

作者提出了一种**“合成在环”**评估框架以解决上述差距。

基准与模型：本研究评估了32 个大语言模型（包括来自 OpenAI、Google、Anthropic、Meta、DeepSeek 等的专有和开源权重变体），测试任务为202 个 Verilog 任务，源自 VerilogEval（155 个单模块任务）和 RTLLM（47 个现实世界多模块任务）。每个模型针对每个任务被提示进行五次独立尝试。
评估流程：生成的设计必须通过三个连续的门控才能进行质量评估：
1. 语法有效性：通过 Icarus Verilog 验证。
2. 可综合性：在 Nangate45 45nm 标准单元库下，通过 Yosys 细化（elaboration）和映射验证。
3. 功能正确性：通过带有“失败优先匹配”的测试台仿真验证。
硬件质量指数（HQI）：对于通过所有门控的设计，基于相对于专家“黄金”参考的综合后指标计算 0–100 的分数。该分数由归一化面积（ $\hat{a}$ ）、延迟（ $\hat{d}$ ）和超额警告计数（ $\hat{w}$ ）得出：
$\text{cost} = 0.5 \cdot \frac{\hat{a}}{a^*} + 0.5 \cdot \frac{\hat{d}}{d^*} + 0.1 \cdot \max(0, \hat{w} - w^*)$
$\text{HQI} = \min\left(\frac{100}{\text{cost}}, 100\right)$
未能通过任何门控的设计其 HQI 为 0。
聚合指标：本研究定义了复杂度加权覆盖率（任务解决率）、全局 HQI（最佳 5 次能力上限）和预期 HQI（单次尝试质量）。全局 HQI 与预期 HQI 之间的差距量化了“部署就绪”差距。
失败分类：综合失败（通过 Icarus 但未能通过 Yosys）根据 Yosys 诊断输出被归类为九类分类法。

主要结果

1. 三层能力格局

对 32 个模型的 K 均值聚类揭示了三个截然不同的能力层级：

第一层（前沿）：14 个模型的全局 HQI $\ge$ 66。由Gemini-3-Pro（覆盖率 87.5%，HQI 85.1）领衔，其次是 GPT-5.4-Pro 和 Gemini-3-Flash。该层级包括来自 OpenAI、Google 和 Anthropic 的顶级变体。
第二层（密集集群）：15 个模型的全局 HQI 介于 43 到 66 之间。包括强大的开源权重模型如 DeepSeek-V3.2 和 Qwen3.5-397B-OSS，以及中端专有模型。
第三层（低性能）：3 个模型的全局 HQI < 43，包括 Mistral-Nemo 和 GPT-5-Nano。

2. 仿真与综合的差异

基于仿真的通过率系统地高估了硬件就绪度。平均而言，最佳 5 次通过率比全局 HQI 高出7.5 分，部分模型的差距高达 14.9 分。仅依赖仿真通过率会导致排名倒置；例如，GPT-4.1 按通过率排名第 14，但按 HQI 排名第 17，而 GPT-5.4-Pro 在考虑质量后从第 9 位跃升至第 2 位。

3. 部署就绪差距

一个关键发现是全局 HQI（最佳 5 次）与预期 HQI（单次尝试）之间存在显著差距。

在第一层中，差距范围为 3.7 到 17.8 分（中位数为 8.7）。
在较低层级中，差距超过 15 分，最大达到22.1 分。
这表明单次模型调用可能仅保留多尝试策略一半的质量，从而构成了集成到自主智能体流水线中的障碍。

4. 失败模式分类法

对 195 次综合失败的分析揭示了模型类型之间的系统性差异：

专有模型：在流程中后期失败。主要失败模式是“后期语法错误”（代码通过解析器但因结构问题在细化阶段失败）和“综合超时”（复杂网表）。这表明训练数据中暴露了综合级 RTL。
开源权重模型：在流程中早期失败。主要模式是“未定义的模块引用”（缺少包装器）和“不可综合结构”（例如 while 循环、initial 块）。这种模式与偏向仿真导向代码而非综合级 RTL 的训练语料库相一致。

5. 推理特征

成本与质量的相关性较差。具有高推理开销的高成本模型（如 GPT-5-Pro）并不能保证更优越的 RTL 质量。Gemini-3-Flash作为一种高性价比的前沿模型脱颖而出，以顶级推理模型一小部分的成本提供了第一层质量（81.2 HQI）。

意义与贡献

本文声称有三项主要贡献：

合成在环框架：引入了一种流程和硬件质量指数（HQI），超越了二元的通过/失败指标，根据专家参考评估实现质量（面积、延迟、警告）。
实证表征：对 32 个模型进行了全面评估，揭示了结构化的三层格局，并量化了“部署就绪差距”，即单次尝试质量显著落后于最佳 $k$ 次潜力。
失败分类法：揭示了专有模型与开源权重模型在失败模式上的系统性分歧，并将这些差异与训练数据构成（综合级与仿真级）联系起来。

作者得出结论，虽然 LLM 在 RTL 生成方面显示出前景，但当前模型尚无法在提高单次尝试可靠性之前集成到自主智能体流水线中。仿真通过率与综合感知质量指标之间的差距 necessitates 硬件设计自动化评估标准的转变。未来的工作应侧重于结合综合反馈的迭代优化，以及策划综合级训练语料库，以解决开源权重模型的特定失败模式。