💻 computer science

Verified Self-Improving Learning of Large Language Models for Multi-Objective Point-Spec Circuit Design

本文介绍了 \methodfull，这是一个仿真驱动的自我改进框架，它通过使用帕累托验证偏好优化（Pareto-Verified Preference Optimization）和安全近端策略优化（Safe Proximal Policy Optimization），迭代地生成、验证并修复电路网表，从而在多种模拟电路族中实现高精度、多目标的定点规格电路设计。

原作者： Juzheng Zhang, Kehao Zhang, Jinwen Liu, Yangfan Tang, Lijuan Li, Hongliang Liu, You Chen

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Juzheng Zhang, Kehao Zhang, Jinwen Liu, Yangfan Tang, Lijuan Li, Hongliang Liu, You Chen

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一名才华横溢但缺乏经验的学徒如何设计复杂的电子电路（比如手机充电器中的电源转换器或扬声器中的放大器）。目标不仅仅是让电路“能用”；目标是达到一个非常特定的目标（例如，“输出正好为 5 伏特”）同时还要符合严格的工程规则（例如，“不得过热”且“必须高效”）。

这篇论文介绍了一种名为 MO-SIMI（多目标自我改进模型迭代）的新型训练方法，它将大语言模型（LLM）作为那个“学徒”。以下是它的工作原理，通过简单的概念进行拆解：

1. 问题所在：“试错法”陷阱

传统的电路设计就像是在草堆里找一根针，但你只能通过向墙上乱扔针来尝试。

旧的 AI 方法 就像是一个读过教科书（训练数据）然后就开始盲目猜测答案的学生。他们通常能掌握大体思路，但在需要达到“精确数值”时往往会失败。
其他的 AI 方法 会在猜测后尝试微调答案，但它们往往会在调整过程中把电路搞坏，或者陷入小幅、无意义修改的死循环中。

2. 解决方案：“教练、模拟器与安全网”系统

作者创建了一个训练循环，它就像是一个有着三个不同阶段的严谨教练课程：

阶段 A：模拟实验室（“试驾”）

AI 生成一个电路设计（即“网表”，也就是连接电子元件的配方）。系统并不只是寄希望于它能成功，而是立即将其放入电路模拟器（数字化的试驾过程）中运行。

结果： 模拟器会反馈：“通过”、“失败”或“接近”。
转折点： 如果设计“接近”正确（例如，输出为 4.9V 而不是 5.0V），系统并不会将其丢弃。它会应用一种**“受限修复”（Restricted Repair）。你可以把它想象成一名机械师，他只被允许转动几个特定的旋钮（比如调整电阻值），但被禁止**更换发动机类型或改变布线布局。如果通过转动旋钮解决了问题，那么这个“接近”就变成了“通过”。

阶段 B：偏好教练（向赢家学习）

一旦系统获得了一批设计方案，它就会对它们进行比较。

它不仅仅关注“最好的”那一个。它使用了一种叫做 Pareto 排序（Pareto Ranking） 的方法。想象一场比赛，你既看重“速度”又看重“燃油效率”。一辆速度稍慢但效率极高的车，可能比一辆快但极其耗油的车更好。
系统会创建“偏好对”：“这个设计比那个更好，因为它既达到了目标，又更高效。”
AI 随后会在这些比较的基础上进行重新训练，学习去“偏好”赢家的设计风格，而非输家的风格。这就是 PVPO 步骤。

阶段 C：安全网（“回滚”按钮）

这是最关键的创新。AI 尝试学习这些偏好并更新自身。但如果这次更新让 AI 变得更糟了怎么办？

在许多 AI 系统中，一次糟糕的更新会固化下来，导致模型遗忘原有的知识。
MO-SIMI 使用了一个“守护者”（Guard）。 在 AI 尝试更新后，系统会再次测试它。如果新版本未能达到标准（或者如果“命中率”下降了），系统就会按下**回滚（Rollback）**按钮。它会丢弃这个新的更新，回到之前的、安全的版本。
这确保了 AI 永远不会变差。它只会向前迈进，每一步的变化都会经过验证，确保是真正的进步。

3. 结果：从“也许”到“大师”

论文在三类电路上测试了该系统：

DC-DC 转换器（电源转换器，如充电器）。
放大器（用于增强信号）。
振荡器（用于产生波形）。

取得的成就：

高精度： 在电源转换器任务中，该系统达到精确目标规格的成功率高达 97.8%。
复杂度： 它成功设计了拥有 20 多个元件 的电路（对于 AI 来说，这被认为是非常复杂的）。
通用性： 一旦教会了系统如何设计电源转换器，只需更换“规则手册”（验证器），同一个系统就能以类似的成功率设计放大器和振荡器。

大背景类比

想象一位厨师试图烤出一个味道必须“完全符合”特定食谱的蛋糕，且只能使用特定的食材。

旧的 AI： 厨师阅读食谱，猜测分量，然后开始烤蛋糕；如果味道稍微不对，他们就直接从头再来。
MO-SIMI：
1. 厨师烤出一个蛋糕。
2. 试吃员（模拟器）说：“味道 90% 对了，但太甜了。”
3. 一个“受限修复”规则规定：“你只能加一点点盐，不能更换面粉。”于是厨师加了盐，蛋糕变得完美了。
4. 厨师将这个完美的蛋糕与一个糟糕的蛋糕进行比较，并学习为什么第一个更好。
5. 在厨师尝试新技巧之前，一名“安全经理”会检查：“这个新技巧是否破坏了你制作完美蛋糕的能力？”如果是，厨师就回到旧的技巧；如果不是，则保留新技巧。

结论：
论文声称，通过结合模拟验证、智能修复、偏好学习以及安全回滚，他们创造了一个能够可靠地设计复杂、高精度电子电路的 AI，且无需人工干预，并且每次尝试都会变得更加出色。

技术摘要：面向多目标定点规格电路设计的验证式自改进大语言模型学习

问题陈述
模拟电路拓扑设计仍是电子设计自动化（EDA）领域的瓶颈，原因在于设计空间的指数级扩张，以及满足严格功能要求及多种性能约束的解具有稀疏性。尽管大语言模型（LLMs）已被应用于电路设计，但现有方法面临显著局限：

无训练方法（如结合外部工具的提示工程）难以在存在多种硬约束的情况下稳定达到严格的定点规格（point specifications）。
基于训练的方法通常缺乏可扩展性（仅限于组件数少于10个的小型电路）、难以在不同电路族之间泛化，且缺乏针对特定定点目标的细粒度多目标优化机制。
当前的空白包括对定点规格的建模不足，以及缺乏利用验证后的仿真数据迭代提升生成能力的机制。

方法论：MO-SIMI
本文提出了多目标自改进模型迭代（MO-SIMI），这是一个旨在迭代优化 LLM 生成定点规格电路网表能力的仿真驱动框架。该框架基于监督微调（SFT）模型运行，并通过一个统一且受保护的训练循环进行：

初始化： 通过在从 Xyce 开源回归数据中提取的精选 INC DSL 网表语料库上进行监督微调，获得初始参考模型 ( $\pi_0$ )。
仿真验证采样： 对于给定任务，模型生成候选网表，并由统一的基于 NGSpice 的验证器进行评估。这会产生二元决策（OK, AR, CE）和连续指标。
受限修复（Restricted Repair）： 为了最大化“近失目标”（near-miss）候选样本的效用，框架对仅微弱偏离目标的仿真失败案例应用“受限修复”算子。该算子仅在固定范围内调整预定义的数值控制参数（例如被动元件 R/L/C 值或占空比），保持拓扑结构和组件类型不变。成功的修复将失败案例转化为经过验证的正例。
偏好构建 (PVPO)： 在每个任务组内，使用帕累托支配（Pareto dominance）和 NSGA-II 拥挤距离对成功的候选样本进行排序。框架构建偏好对 $(x^+, x^-)$ ，其中 $x^+$ 是最优的验证候选样本， $x^-$ 是较弱的候选样本或修复后的失败样本。这些偏好对通过**帕累托验证偏好优化（PVPO）**来训练模型，从而从仿真结果中蒸馏多目标偏好。
安全强化学习 (Safe-PPO)： 模型通过带有“护栏回滚”（guard rollback）机制的近端策略优化（PPO）进行更新。系统维护一个硬任务池，针对近期达成率较低的任务集中仿真预算。至关重要的是，任何策略更新只有在通过固定护栏集（guard set）的验收检查后才会被接受；否则，模型将回滚到之前的最佳版本。这确保了目标达成率和工程约束的单调递增。

核心贡献

验证式自我进化： 本文引入了一种训练范式，使模型通过其自身的验证设计尝试进行改进。通过受限修复扩大正向证据，并从任务局部多目标排序中提取监督信息，该系统为稀疏的定点规格模拟设计创建了一个自我进化的闭环。
工程规模生成： 该框架成功生成了包含 20 多个组件的稳定多模块 DC–DC 转换器，这一规模显著大于以往基于训练的方法（通常处理 <10 个组件）。
跨家族可迁移性： 通过仅更换任务定义和验证器，该工作流被证明可以迁移到不同的电路家族（DC–DC、放大器和振荡器），在不改变架构的情况下保持强劲性能。

实验结果
在针对 DC–DC 转换器的 Grid77 基准测试（1% 容差）以及放大器和振荡器的任务（5% 容差）上进行评估，MO-SIMI 取得了以下结果：

DC–DC 性能： 达到了 0.9779 的达成率（AR）和 0.8247 的工程约束通过率（CE）。模型保持了 1.0000 的 OK 率（仿真有效性）。
多目标能力： 系统成功生成了复杂的多模块电路（电压转换 + 滤波 + 阻尼），同时满足多个并发约束（效率、纹波、过冲）。
消融实验： 去除帕累托排序会导致 AR 降至 0.5442，去除修复引导（repair bootstrapping）会导致 AR 降至 0.6000，这证实了细粒度偏好排序与修复机制的结合对于最终性能至关重要。
稳定性： 带有回滚机制的 Safe-PPO 确保了在整个训练过程中，验收集上的达成率保持单调递增，防止了因不稳定更新导致的性能下降。

意义
本文声称 MO-SIMI 提供了一个可复用的方案，可将仿真验证的自我改进扩展到多种电路家族。通过整合受限修复、基于帕累托的偏好学习以及受验收保护的强化学习，该框架解决了生成高质量、多组件模拟电路以满足严格定点规格的关键空白。这项工作表明，验证式自我改进循环可以克服复杂模拟设计中提示词辅助工具和传统搜索优化法的局限性。