🤖 machine learning

Finding the Needle in a Haystack: Test-Time Analog Circuit Representation Adaptation for Bayesian Optimization

本文介绍了 TTARO，这是一种用于贝叶斯优化的测试时自适应框架，它通过在搜索过程中联合学习特征变换和高斯过程代理模型，动态地优化模拟电路表示，从而在各种优化设置中显著优于具有固定嵌入的方法，降低了遗憾值。

原作者： Fin Amin, Sounak Dutta, Paul D. Franzon

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Fin Amin, Sounak Dutta, Paul D. Franzon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名寻宝者，试图在一座充满了数百万块岩石的巨大且混乱的洞穴中，寻找那颗唯一的、最完美的隐藏宝石。你有一张地图，但地图有些模糊。每当你拿起一块岩石去检查它是否是宝石时，你都必须把它放入一台缓慢且昂贵的机器中运行数小时才能得到结果。你无法检查每一块岩石；你只有足够的时间测试几百块。这就是设计模拟电路时的日常挣扎——复杂的电子蓝图就像是在大海捞针，寻找完美的布局极其困难，而且测试每一个设计的设计成本也高得惊人。

为了解决这个问题，科学家们使用了一种聪明的策略，叫做“贝叶斯优化”（Bayesian Optimization）。你可以把它想象成一个聪明的向导，他能从你测试过的每一块岩石中学习。在检查了几块之后，向导会建立一个心理模型，来猜测哪些尚未测试的岩石可能是宝石。但问题在于，向导需要一张好的地图作为起点。如果地图是按颜色或大小对岩石进行分组，而不是按它们的“宝石属性”分组，向导就会感到困惑并浪费时间。通常情况下，这些地图在绘制完成后就会被固定下来，即使向导意识到地图正引导他们在原地打转。这篇论文提出了一个简单但充满力量的问题：如果向导可以在实时过程中重新绘制地图，随着它对“什么才算宝石”的了解加深，动态地移动岩石的位置，情况会怎样？

本文的作者 Fin Amin、Sounak Dutta 和 Paul D. Franzon 引入了一种名为 TTARO（测试时模拟表示自适应贝叶斯优化）的新方法。他们将设计过程视为一场“热与冷”的游戏。在旧的方法中，地图（电路的表示方式）在游戏开始前就是固定的。如果地图稍有偏差，向导就会不断跌跌撞撞，无法发现那些“热”（优秀）的岩石其实都聚集在洞穴的一个特定角落。TTARO 改变了规则：每当向导测试一块新岩石并得到结果时，它都会立即微调地图。它会重塑洞穴，让性能水平相似的岩石靠得更近，让性能水平不同的岩石离得更远。

在实验中，团队在两个分别包含 10,000 个和 50,000 个候选设计的庞大电路设计库上测试了这个想法。他们将 TTARO 与标准方法（地图永不改变）以及一种稍聪明一点的方法（地图仅在开始时更新一次，然后便固定下来）进行了对比。结果非常明确：通过不断调整地图以匹配随着发现过程而变化的岩石“宝石属性”，TTARO 能更快地找到更好的电路。平均而言，与标准方法相比，它减少了约 15% 的“遗憾值”（即在糟糕猜测上浪费的时间）；与仅在开始时更新一次地图的方法相比，减少了超过 20%。在某些特定场景下，这种提升高达 46.7%。

论文反对“静态地图足以应对复杂搜索”的观点。他们表明，即使是一张在开始时看起来很棒的地图，随着你对所追求的具体目标的了解加深，也可能会变得具有误导性。通过保持地图的灵活性，并让它随着每一条新数据的加入而进化，搜索效率会大大提高。虽然这种方法需要更多的计算能力来在每一步都重绘地图，但作者认为这种成本是值得的，因为它节省了运行不必要的、昂贵的模拟实验所带来的巨大成本。最终，TTARO 表明，在寻找完美电路的过程中，看到针头的最佳方式，是在搜索的同时不断重塑草堆。

技术摘要：用于贝叶斯优化的测试时模拟表示自适应 (TTARO)

问题陈述
模拟电路拓扑设计是一个具有挑战性的优化问题，其特点是离散且具有结构的搜索空间，以及高昂的评估成本（仿真、尺寸调整、约束检查）。贝叶斯优化 (BO) 是一种常用于导航此类空间的样本高效框架。然而，现有的基于表示的 BO 方法通常依赖于在优化开始前由预训练编码器（如图神经网络）生成的固定电路嵌入。

识别出的核心问题在于表示学习与优化目标之间的不匹配。编码器通常被训练用于重建电路结构或捕捉拓扑语义，而不是为了根据正在优化的特定性能指标 (FoM) 来组织电路。因此，潜在空间的几何结构可能无法反映性能相似性；高性能电路可能分布散乱，而结构相似但性能较低的电路可能聚集在一起。此外，深度核学习 (DKL) 等方法仅从初始的一组已评估设计中学习特征变换并将其冻结，无法合并在搜索过程中积累的新 FoM 证据。

方法论：TTARO
本文引入了用于贝叶斯优化的测试时模拟表示自适应 (TTARO)，这是一种在线深度核 BO 框架，旨在动态地使表示空间与优化目标对齐。

框架概述： TTARO 从一组有限的候选电路拓扑库开始，这些拓扑通过预训练编码器映射为固定的初始表示 ( $h_i$ )。
在线自适应： 与固定表示 BO 或标准 DKL 不同，TTARO 将特征变换视为一个在整个 BO 过程中不断演化的可学习参数。在每个迭代步 $t$ $t$ ：
1. 系统观察已评估电路的 FoM 标签 ( $y_i$ )。
2. 利用当前数据集 $D_t$ 联合训练非线性特征映射（一个两层 MLP）和高斯过程 (GP) 代理模型。
3. 特征映射将固定的初始表示转换为经过自适应的潜在表示 ( $z_i^{(t)}$ )，该表示专门针对观测到的 FoM 分布进行了对齐。
4. 定义在这些自适应表示之上的 GP 代理模型计算采集分数（使用 EI、UCB 或 TS）以选择下一个候选对象。
5. 将新的评估结果添加到数据集中，并重复该过程，利用扩展后的数据重新训练特征映射和代理模型。
代理结构： 该框架支持线性核和径向基函数 (RBF) 核。特征映射 $\phi_{\theta_t}$ 的自适应直接修改了 GP 核的协方差结构，确保随着可用数据的增加，具有相似 FoM 的电路在自适应空间中会被放置得更近。

核心贡献

新颖框架： 引入了 TTARO，这是第一个探索针对模拟电路拓扑搜索进行在线、面向目标的预训练电路嵌入自适应的框架。
泛化性： 证明了 TTARO 与各种采集函数（期望改进 EI、置信上限 UCB、汤普森采样 TS）和核类型（线性、RBF）兼容。
全面评估： 在两个公开基准测试（Ckt-Bench-101 和 Ckt-Bench-301）中，涉及 160 种主要配置的大规模研究，涵盖八种编码器/基准测试配对，并在多种核/采集设置下，每个设置均经过 20 个随机种子评估。

结果
论文报告了广泛的实验结果，将 TTARO 与以下方法进行了对比：

Fixed GP： 在固定预训练嵌入上进行的 BO。
DKL： 深度核学习，其中变换是从初始数据中学习一次后即被冻结。
GP-Oracle： 一个上界基准，其特征映射在 BO 开始前即在所有可用 FoM 标签上进行了训练（不可部署但具有参考意义）。
性能提升： 在 40 种编码器/核/采集配置中，相对于 Fixed GP，TTARO 将遗憾曲线下面积 (Regret AUC) 平均降低了 15.2%；相对于 DKL，平均降低了 20.7%。
特定基准测试：
- 在 Ckt-Bench-101 上，TTARO 比 GP 降低了 19.6% 的平均遗憾 AUC。
- 在 Ckt-Bench-301 上，相比 GP 降低了 12.2%。
- 在特定配置下（例如 Ckt-Bench-101 上的 D-VAE 编码器结合线性/EI），遗憾 AUC 的降幅高达 46.7%。
与 DKL 的比较： 虽然 DKL 显示出混合的结果（在较大的异构搜索空间如 Ckt-Bench-301 中有时会导致性能下降），但 TTARO 通过持续更新表示，一致地避免了这种性能退化。
几何对齐： UMAP 可视化和 KNN 指标表明，TTARO 成功地重组了潜在空间，将高性能电路集中在连贯的区域，从而提高了代理模型的泛化能力。

意义与主张
论文声称，基于表示的 BO 中代理模型的质量关键取决于核几何与优化目标之间的对齐程度。虽然固定表示和一次性学习的变换（DKL）是静态的，但 TTARO 证明了持续将新观测到的 FoM 标签纳入表示学习可以使搜索空间适应目标。这带来了更有效的采集决策和更高的样本效率。

作者将 TTARO 定位为解决模拟设计自动化中“不匹配”问题的通用解决方案，认为随着电路评估的积累，表示必须进化以反映真实的性能图景。该工作表明，未来的实现可以利用可扩展的 GP 技术（例如结构化核插值、稀疏变分方法）来减轻每一步重新训练特征映射带来的计算开销，尽管目前的研究重点在于验证自适应机制本身的有效性。

技术摘要：用于贝叶斯优化的测试时模拟表示自适应 (TTARO)

类似论文