🤖 AI

Structured Testbench Generation for LLM-Driven HDL Design and Verification-Oriented Data Curation

该论文介绍了 STG，这是一个利用硬件设计固有结构的结构化框架，用于生成确定性测试平台，在速度、可靠性和覆盖率方面显著优于现有的基于大语言模型的方法，同时作为 RTL 工作流中数据策划和测试时扩展的高效工具。

原作者： En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H. T. Kung

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H. T. Kung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位大师级建筑师（AI），能够根据简单的描述（如“建造一座有三个卧室的房子”）瞬间绘制出新房子（计算机芯片）的蓝图。这很棒，但有一个巨大的问题：你如何知道这张蓝图是否真的安全且可行？

传统上，为了检查一张蓝图，你必须雇佣一个人工检查团队，建造一个全尺寸的模型，让它经历各种可能的风暴，看看它是否会坍塌。这既耗时又昂贵。

最近，人们尝试使用另一种 AI 来编写检查报告。但这个新 AI 就像一个紧张、会产生幻觉的实习生。它会瞎猜测试内容，有时会编造规则，而且经常在房子着火时还说“一切正常！”它既慢又贵，而且不可靠。

迎来 STG（结构化测试平台生成，Structured Testbench Generation）。

论文作者构建了一个名为 STG 的新工具。STG 不再要求 AI 去“想象”一个测试，而是像一个智能的自动化流水线一样，根据蓝图的实际结构构建出一个完美的测试。

以下是它的工作原理，使用简单的类比：

1. “模板”方法（不再靠猜）

想象你有一套乐高说明书。

旧方法 (LLM)： 你要求一个机器人“写一个测试”。机器人会试图写一个关于测试乐高房子的故事。它可能会漏掉步骤、发明虚假规则，或者感到困惑。它很有创意，但很混乱。
STG 的方式： STG 查看乐高房子，看到它有一个门、一扇窗户和一个屋顶。然后，它会抓取一个预先制作好的、完美的“检查工具包”模板。它会自动填充具体的细节（比如“检查门”、“检查窗户”）并运行测试。它不靠猜测；它遵循严格的逻辑配方。

2. 三种不同的“检查工具包”

论文解释说，不同类型的芯片需要不同的测试，就像不同的车辆需要不同的安全检查一样：

组合逻辑设计（静态房屋）： 这些芯片对输入做出即时反应（就像电灯开关）。STG 将其视为一个组合锁。它会尝试每一个可能的按键组合，以确保灯能正确亮起。它是穷举式的，不留任何死角。
通用时序逻辑设计（移动的汽车）： 这些芯片拥有时钟和存储功能（就像汽车发动机）。STG 扮演的是驾驶教练的角色。它不仅会在红绿灯处检查汽车，还会检查汽车在转向或踩油门的过程中是如何反应的。它能捕捉到其他测试会漏掉的“Mealy”错误（即瞬时反应错误）。
有限状态机（FSM）主导的设计（迷宫）： 一些芯片就像具有许多状态的复杂迷宫。随机驾驶无法带你走到出口。STG 扮演的是带有地图的 GPS。它读取芯片的内部地图，并引导测试专门通过迷宫中的每一条路径，确保没有任何死路被遗漏。

3. 为什么这很重要（结果）

论文声称 STG 是一个游戏规则改变者，主要基于三个原因：

它是速度达人： STG 比旧的 AI 方法快 720 倍。如果旧方法检查一批芯片需要一整天，STG 只需要几分钟。这就像是用赛车取代了蜗牛。
它是真相传递者： 旧的 AI 方法经常给出“假通过”（即判定损坏的芯片为合格）。STG 要可靠得多。它发现了旧方法错过的 7.8% 的损坏芯片。它还帮助修复了行业标准测试工具中的一个隐藏漏洞（一种“竞争条件”，即测试在错误的时间检查了错误的东西）。
它节省了大量资金和能源： 因为 STG 运行在简单的计算机处理器（CPU）上，而不是庞大且耗能的 AI 超级计算机（GPU）上，所以它的能耗低了 127 倍。这就像是用一个高效的单人工作站，对比用 100 个疯狂叫嚣、过度劳累的机器人来运营工厂。

4. “老师与学生”的类比

论文还使用 STG 来训练更小、更聪明的 AI 模型（这个过程称为“蒸馏”）。

想象一位老师（大型 AI）试图教一名学生（小型 AI）如何设计芯片。
老师生成数千个练习题。
STG 充当严厉的阅卷人。 它能瞬间检查老师的答案是正确还是错误。
因为 STG 如此快速且廉价，老师可以生成更多、更高质量的练习题。学生学得更快，并且能变得和老师一样出色，而不需要消耗老师那庞大的脑力。

总结

简而言之，STG 不再试图为计算机芯片“凭空构思”测试。相反，它分析蓝图，并根据芯片的实际设计自动构建一个完美的、结构化的测试。它比目前的 AI 方法更快、更便宜、更准确且更可靠，是未来自动化芯片设计中至关重要的工具。

技术摘要：面向 LLM 驱动的 HDL 设计与验证导向型数据清洗的结构化测试平台生成技术

问题定义

本文针对大语言模型（LLM）驱动的寄存器传输级（RTL）工作流中一个关键的瓶颈问题进行了研究：即如何生成可靠且高覆盖率的测试平台（testbench）来验证生成的硬件设计。现有方法将测试平台生成视为不受约束的代码合成，依赖于随机性的 LLM 提示词（prompting）。这导致了三个主要局限性：

高成本与低可复现性： 提高可靠性需要迭代提示或集成生成，这显著增加了 Token 成本。
覆盖率不足： 随机生成往往会遗漏极端情况（corner cases），特别是在控制流和状态依赖行为方面。
判定不可靠： 不一致的测试平台会导致对错误的被测设计（DUT）产生误判（false-pass），且无法区分部分正确的设计与完全错误的设计。

在诸如测试时扩展（test-time scaling，其中验证是迭代搜索循环的一部分）和验证导向型数据清洗（verification-oriented data curation，其中必须对大规模候选 DUT 进行过滤以用于训练数据）等新兴 LLM 趋势下，这些问题被进一步放大。在这些场景中，验证不再仅仅是一个下游步骤，而是一种核心的模型改进机制，因此要求测试平台具备低成本、确定性和行为意义。

方法论：STG 框架

作者提出了 STG（结构化测试平台生成） 框架，该框架将测试平台的创建从不受约束的代码合成转变为一种确定性的、感知结构的流程。STG 利用硬件设计的内在结构，通过基于模板的渲染来生成测试平台。

核心工作流

模块解析与分析： STG 使用 Icarus Verilog 和轻量级启发式算法解析 DUT 以及一个受信任的金标准参考模型（或“银级”参考模型）。
- 设计类型分类： 将设计分为三类：组合逻辑（Combinational）、通用时序逻辑（General Sequential） 或 FSM 主导型（FSM-dominated）。
- 信号分类： 将输入端口分类为时钟（Clock）、复位（Reset）、控制（Control）或数据（Data），利用基于最长公共子序列（LCS）的模糊匹配，结合名称提示和宽度启发式信息进行分类。
- FSM 检测： 对于时序设计，STG 使用确定性模式匹配（扫描带有状态寄存器的 always_ff 块）或 LLM 辅助分析来提取有限状态机（FSM）结构。
特定策略的测试平台生成： 根据分类结果，STG 渲染带有特定激励策略的参数化 Jinja 模板：
- 组合逻辑： 对所有控制信号组合进行穷举（ $2^{b_c}$ ），并对每个控制向量使用随机化数据信号（ $N_s$ 个样本）。
- 通用时序逻辑： 采用两阶段、感知复位的策略。它在时钟周期内（而非仅仅在边沿）驱动输入，以捕捉 Mealy 型的周期内响应，并在时钟边沿及周期内变化后同时检查输出。它通过在周期之间概率性地插入复位操作来处理复位恢复。
- FSM 引导： 对于 FSM 主导型设计，STG 提取状态转移图并执行深度优先搜索（DFS）遍历。它将可驱动的输入条件与内部等待条件分离，通过确定性地驱动输入以满足转移守卫（transition guards），从而确保实现完整的转移覆盖，而非随机探索。
银级参考扩展（Silver-Reference Extension）： 虽然主要设计用于已知参考设置（DUT 对比 Golden RTL），但 STG 也可以扩展到没有受信任 Golden 参考的场景，即通过将 Golden 模块替换为 LLM 生成的 C++/SystemC “银级”参考模型。

核心贡献

STG 框架： 一个确定性的、感知结构的测试平台生成框架，在效率、覆盖率和可靠性方面均优于基于提示的 LLM 生成。
验证导向型数据清洗： 证明了 STG 能够高效地过滤大规模训练数据集，支持通过简单的监督微调（SFT）流水线来训练强大的蒸馏 RTL 生成模型。
测试时扩展后端： 证明了 STG 可作为 LLM 引导的优化循环（如 MCTS）的有效验证后端，提升了多种基座模型在搜索质量和效率方面的表现。

实验结果

该框架在 Verilog 生成基准测试（VerilogEval、RTLLM-v2、CVDP）上针对三种场景进行了评估：

1. 测试平台质量与效率

速度： STG 生成测试平台的速度比迭代式 LLM 流水线快 720 倍（每个测试平台 0.13 秒 vs. 92.4 秒）。
覆盖率： STG 实现了更高的行覆盖率（95.88% vs. 93.97%）和翻转覆盖率（95.77% vs. 85.40%）。
可靠性： STG 减少了对错误 DUT 的误判。在对 3,046 个 DUT 的研究中，STG 比基于 LLM 的方法多正确识别了 7.8% 的错误设计，这主要是通过避免在微妙缺陷上的误判实现的。
FSM 覆盖率： 在深层状态 FSM 设计中，随机激励无法到达深层状态（S11–S14），而 STG 的 FSM 引导遍历实现了 100% 的转移覆盖。

2. 验证导向型数据清洗

资源效率： 使用单个 CPU 核心通过 STG 过滤 115k 个问题仅需 5.6 小时，消耗 0.56 kWh 的能量。相比之下，在高端 GPU 上运行纯 LLM 方法需要 59.1 小时，并消耗 70.9 kWh（能耗降低 127 倍，速度提升 10.6 倍）。
模型性能： 使用由 STG 策展的数据训练的蒸馏模型（仅使用单阶段 SFT），在 VerilogEval、RTLLM-v2 以及极具挑战性的 CVDP 基准测试中达到了最先进或具有竞争力的水平。这些模型优于或匹配了涉及多阶段 SFT 和强化学习（RL）的复杂流水线，表明复杂的 RL 工作流在较新的基准测试中可能无法产生一致的收益。

3. 测试时扩展

搜索效率： 当集成到基于 MCTS 的优化循环中时，STG 在四种基座模型（参数量从 7B 到 685B 不等）中，将解决问题所需的搜索节点数减少了 14–47%。
信号质量： STG 确定性且信息丰富的验证信号使得搜索循环能够更早地拒绝弱候选方案，并以更少的迭代次数收敛到正确的设计。

其他发现

基准测试修正： STG 的确定性生成和人工检查揭示了 VerilogEval 测试平台中存在系统性的竞态条件（即激励与检查器在同一个时钟边沿触发，缺乏顺序保证）。作者修正了这一点，并指出之前的评估可能因这些错误失败而受到影响。
可复现性： 作者指出 VeriRL 方法存在显著的可复现性问题，其复制的检查点在不同基准测试中的表现与原论文的声明不一致。

意义与主张

本文声称，STG 为 LLM 驱动的 HDL 工作流建立了实用的、低成本的验证后端。通过将验证视为一个结构化生成问题而非不受约束的代码合成，STG 解决了当前阻碍 LLM 在硬件设计领域应用的扩展性和可靠性问题。

作者认为，近期复杂的训练和强化学习工作流的有效性值得商榷，尤其是在面对较新的基准测试时，其简单的、由 STG 驱动的流水线提供了具有竞争力的性能，且计算开销显著更低。他们将 STG 定位为硬件设计持续学习循环的关键赋能者，因为在这些循环中，高效且可靠的数据清洗对于迭代模型重训至关重要。