💻 computer science

CHORUS: Complementary Experts for High-Coverage Testbench Stimulus Generation

CHORUS 是一个后训练框架，它利用行为多样化的检查点和密集奖励强化学习来创建互补的专家模型，随后将这些模型整合为一个 4B 模型，该模型在高覆盖率硬件验证测试平台激励生成方面显著优于更大的最先进模型。

原作者： Hejia Zhang, Sheng Lu, Zhongming Yu, Chia-Tung Ho, Brucek Khailany, Jishen Zhao

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Hejia Zhang, Sheng Lu, Zhongming Yu, Chia-Tung Ho, Brucek Khailany, Jishen Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机就像一座座巨大且极其复杂的乐高城堡。在工程师们真正建造这些城堡之前，他们必须确保每一块积木都能完美契合，并且整个结构在风吹时不会坍塌。为了做到这一点，他们会编写特殊的“测试脚本”——就像一个机器人在城堡周围奔跑，摇晃墙壁、开关门，检查一切是否正常工作。这个过程被称为硬件验证（hardware verification），它是确保我们的手机、汽车和电脑没有隐藏漏洞的重要环节。

长期以来，人们认为提高这一能力的唯一方法是构建越来越大的“大脑”（计算机模型）来寻找最佳测试方案。但最近，一种新型的聪明计算机大脑——大语言模型（LLM）开始提供帮助。这些模型擅长编写代码，但它们通常需要一点“推力”来从错误中学习。它们不仅仅是在读教科书，而是能够“运行”自己的代码，观察是否出错，然后尝试再次运行。这就像玩电子游戏，你不仅是在读说明书，而是在闯关，通过死亡和重来不断学习如何通关。现在的重大问题是：我们如何在不让这些模型变得无限庞大且昂贵的前提下，让它们真正成为硬件测试的大师？

CHORUS 应运而生，它是一种改变游戏规则的新方法。研究人员意识到，与其试图建立一个巨大的、全能的超级智能模型，不如发现通往专家之路充满了有趣的弯路。他们发现，如果对模型进行分阶段训练，最终会得到几个不同的“版本”。尽管这些版本的整体得分相似，但它们实际上各有所长——比如，一个擅长测试厨房，而另一个则是测试车库的高手。

论文表明，通过整合这些不同的“专家”版本，我们可以创造出一个单一的、功能更强大的超级模型。事实上，这个全新的 40 亿参数模型（相对而言规模较小且紧凑）在一次主要的硬件测试挑战中取得了 88.0% 的得分。这是一个巨大的飞跃，它击败了名为 DeepSeek-R1 的著名大型模型（拥有 6710 亿 参数），领先了 13.5 个百分点。

以下是他们是如何做到的，我们用一个简单的类比来说明：

“阶段性”训练：
想象你正在训练一群运动员。通常情况下，你会挑选最优秀的一个并持续训练直到他趋于完美。但 CHORUS 团队采取了不同的做法。他们通过同样的严苛阶段训练了三名不同的运动员。最终，三人的体能几乎一样强健，但特长各异：一个是短跑选手，一个是马拉松选手，还有一个是跳高选手。

“互补性”的发现：
研究人员注意到，这些运动员并不是在做同样的事情。当面对特定的障碍时，短跑选手可能会失败，但跳高选手却能轻松跨越。他们是“互补”的。如果你只看他们的平均分，你会觉得他们是一样的；但如果你观察他们能克服哪些障碍，你会发现他们完全不同。

“合并”的魔力：
随后，团队提出了疑问：“我们能否将这三名运动员组合成一名超级运动员？”

简单混合（无需训练的合并）： 他们尝试将肌肉直接平均化。这起到了微小的作用，让新运动员比任何单个运动员都强，但并不完美。
聪明教练（自适应蒸馏）： 这是真正的突破。他们创造了一名新的学生运动员，并扮演教练的角色。对于每一个新的障碍，教练都会观察三位专家，并询问：“谁最擅长处理这个特定的任务？”如果短跑选手表现最好，学生就向短跑选手学习；如果跳高选手表现最好，就向跳高选手学习。至关重要的是，如果没有任何一位专家能比学生做得更好，教练就会跳过该任务，以免学生学坏。

结果：
通过使用这种“聪明教练”的方法，这个全新的单一模型成为了所有障碍的大师。它不仅仅是技能的平均值，而是为每种情况选择了最合适的技能。结果证明，一个规模小巧、高效的模型，其表现优于那些庞大的行业巨头。

论文明确排除了“仅仅需要更大的模型来解决这些问题”的观点。他们展示了即使是一个拥有 6710 亿参数的庞大模型，也无法达到他们这个 40 亿参数的小型模型所能达到的水平。他们还发现，仅仅延长单个模型的训练时间并无帮助；关键在于保留不同的训练“阶段”，以保存那些独特的、互补的优势。

简而言之，CHORUS 证明了在硬件测试领域，拥有一支由专业人士组成的多元化团队，并懂得如何结合他们独特的才能，远比拥有一个单一的、无所不知的庞大大脑更为强大。它提醒我们，有时，成为天才的最佳方式是学会倾听你内心不同的声音。

技术摘要：CHORUS

问题陈述
硬件验证是芯片设计中的关键环节，特别是高覆盖率测试平台激励（testbench stimuli）的生成。与标准的代码生成不同，测试平台的质量取决于一个可测量的、不可微的执行信号：即在硬件仿真器中运行该激励时所达到的覆盖率。尽管大语言模型（LLMs）通过可执行反馈推动了代码生成的进步，但前沿模型（即使是拥有数千亿参数的模型）在处理这一任务时仍显得力不从心。如论文所示，单纯增加模型规模带来的收益递减，且标准的后训练流程（监督微调 SFT 紧随强化学习 RL）往往会在可实现的性能天花板之下趋于饱和。

方法论
作者提出了 CHORUS（用于高覆盖率测试平台激励生成的互补专家），这是一个旨在从紧凑的领域专业化模型（具体为 4B 参数模型）中提取最大能力的后训练框架。该框架建立在两个核心观察和三个阶段的流水线之上：

互补优势的观察： 作者观察到，分阶段的监督微调（SFT）课程生成的检查点（checkpoints）虽然在初始性能上有所不同，但在接受相同的执行引导强化学习（RL）时，会演化成截然不同的“专家”。尽管这些专家的总体准确率相当，但它们在特定任务层面的能力各异，在不同的硬件设计子集上表现出色。
CHORUS 流水线：
- 阶段 1：独立 RL 训练： 该框架获取来自分阶段 SFT 过程（具体为 LLM4Cov 流水线）的中间检查点，并对每个检查点应用相同的基于执行引导的 RL 程序（基于 DAPO）。这使得这些检查点转化为一组 RL 专家（ $\pi^0_{RL}, \pi^1_{RL}, \pi^2_{RL}$ ），它们的总体准确率相当，但在具体能力上具有互补性。
- 阶段 2：整合： 为了将这些互补优势整合进单个可部署的模型中，CHORUS 探索了两种整合方法：
  - 免训练合并（Training-Free Merging）： 对专家权重进行简单的权重平均（Model Soup）或考虑干扰的合并（TIES, DELLA）。
  - 自适应多教师在策略蒸馏（Adaptive Multi-Teacher On-Policy Distillation, OPD）： 这是主要方法。学生模型在其自身的采样（rollouts）上进行训练，但受到一组教师专家的引导。至关重要的是，系统采用了奖励门控路由（reward-gated routing）：对于每个任务，系统根据执行奖励识别表现最佳的教师。只有当该教师的表现优于当前学生模型时，才会进行蒸馏；否则，跳过该任务。这防止了学生学习到劣质行为，并确保仅在存在证明更好的目标时才进行更新。

核心贡献

识别冗余与多样性： 论文证明，一旦应用执行引导的 RL，后续阶段的 SFT 几乎不再提供额外收益，但中间检查点是多样性的重要来源。这些检查点在经过独立的 RL 微调后，会成为互补的专家，而非冗余的变体。
奖励门控蒸馏： 引入了一种自适应多教师蒸馏机制，能够动态地将任务路由至最佳专家，并在没有任何专家能提供改进时跳过任务。这种方法避免了静态模型合并中常见的“平均化导致专业化丧失”的问题。
高效性： 该框架使用单个 4B 参数模型实现了最先进（SOTA）的结果，挑战了复杂硬件验证任务必须依赖大规模模型的观念。

结果
在 CVDP-ECov 基准测试（包含 83 个硬件仓库）下，采用智能体细化（agentic refinement）协议进行评估：

性能： 最终的 CHORUS 模型（通过自适应 OPD 整合）实现了 88.0% 的 Pass@1。
对比： 这一结果比 671B 参数的 DeepSeek-R1 高出 13.5 个百分点，并显著超越了之前的最先进水平（LLM4Cov Stage-2）。
多样性分析： 三个独立专家的“预言机并集”（oracle union）达到了 90.8% 的 Pass@1，表明其相对于最佳单个专家存在约 5 个百分点的理论提升空间。CHORUS 的整合方法成功回收了大部分差距，其中免训练合并达到 86.7%，自适应 OPD 达到 88.0%。
鲁棒性： 结果在不同的推理模式（智能体细化和直接推理）以及覆盖率指标下均保持稳健。

意义
论文声称，CHORUS 证明了针对性的后训练策略可以解锁紧凑模型在专门工程任务中超越大规模前沿模型的能力。通过将中间 SFT 检查点视为互补专家的来源，而非仅仅是通往最终模型的阶梯，并利用执行引导的 RL 来精炼和整合这些专家，该框架实现了高覆盖率的激励生成，而无需承担扩展模型规模的计算成本。这项工作表明，“SFT-to-RL”流水线的潜力不仅在于最终的检查点，更在于它所遍历的多样化专家景观。

技术摘要：CHORUS

类似论文