🤖 AI

TRACE: Learning to Compute on Circuit Graphs

本文介绍了 TRACE，这是一种用于学习电路图功能的全新范式，它采用层次化 Transformer 来捕捉计算流，并利用函数偏移学习目标来解耦全局预测，其性能在多种电路模态下显著优于现有架构。

原作者： Ziyang Zheng, Jiaying Zhu, Jingyi Zhou, Qiang Xu

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziyang Zheng, Jiaying Zhu, Jingyi Zhou, Qiang Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《TRACE: Learning to Compute on Circuit Graphs》的通俗易懂且使用日常类比的解释。

核心问题：一个“盲目”的计算器

想象一下，你正试图教计算机理解一台复杂机器（例如数字电路）是如何工作的。这台机器由许多相互连接的小部件（逻辑门）组成，信息在部件之间传递。

长期以来，教计算机这种能力的最佳方法是使用一种叫做 MPNNs（消息传递神经网络）的方法。该论文指出，这种方法对于这项特定的工作来说，在本质上是有缺陷的。

类比：蒙着眼睛的厨师
把电路想象成一份食谱，其中的食材（输入）由一位厨师（算子，例如 MUX 或逻辑门）进行混合。

旧方法 (MPNNs)： 想象这位厨师被蒙上了眼睛。他们可以逐一闻到食材的味道，但看不出顺序。如果你递给他们“盐”然后是“胡椒”，他们处理的方式与递给他们“胡椒”然后是“盐”是一样的。但在电路中，顺序至关重要！一个开关（MUX）的行为会完全取决于哪个是控制信号，哪个是数据信号。旧方法会感到困惑，因为它把食材看作一堆杂乱无章的堆积物，而不是一个特定的序列。
另一种旧方法 (Transformers)： 想象一位厨师能一眼看到桌子上所有的食材，却不理解食谱的具体步骤。他们忽略了“第二步依赖于第一步的结果”这一事实。他们试图在不遵循烹饪过程的情况下，直接猜出最终的成品。

解决方案：TRACE

作者创建了一个名为 TRACE 的新系统。它通过改变两个主要方面来解决问题：“厨房布局”（架构）和“教学方法”（学习目标）。

1. 新的厨房布局：“循序渐进”的厨师

TRACE 使用的是层次化 Transformer (Hierarchical Transformer)，而不是盲目的厨师或困惑的厨师。

它是如何工作的： 它将电路视为像句子一样按特定顺序编写的内容（例如数学公式：Add(Multiply(A, B), C)）。
类比： 想象这位厨师现在有了一张清晰的指令卡。他们不仅观察食材，还观察递过来的顺序。
- 首先，他们看到“算子”（动作，例如“混合”）。
- 然后，他们看到“输入 1”（第一个食材）。
- 接着，他们看到“输入 2”（第二个食材）。
为什么有效： 因为厨师看到了顺序，所以他们确切知道如何混合。如果食谱说“将盐加入胡椒中”，他们的做法会与“将胡椒加入盐中”不同。这使得计算机能够理解精确的逻辑，尊重电路的层级结构（谁依赖谁）以及每根导线的具体位置。

2. 新的教学方法：“函数偏移学习”

即使有了优秀的厨师，预测一道极其复杂的菜肴最终的味道也是很难的。有时，食材会以令人惊讶的方式相互作用，因为它们在食谱之前的多个步骤中已被多次使用（这在电路中被称为“重收敛”）。

问题所在： 如果你问厨师，“最终的味道是什么？”面对复杂性，他们可能会感到不知所措。
TRACE 的改进方案： 作者并没有要求厨师从零开始预测整个最终味道，而是教他们去预测一个简单猜测与真实答案之间的差异（即“偏移”）。
- 步骤 A（简单的猜测）： 厨师做一个快速猜测，假设所有食材都是独立的（例如，“如果我有 50% 的盐和 50% 的胡椒，混合后就是 50/50”）。这很容易且快速。
- 步骤 B（真实答案）： 真实的答案更复杂，因为盐和胡椒在之前的过程中可能已经发生了相互作用。
- 任务： 模型被训练去寻找差距（“偏移”）——即简单猜测与真实答案之间的差值。
类比： 这就像一个学生在做数学考试。与其试图从零开始解一个庞大、可怕的方程，不如这样教他：“这是一个简单、容易的答案。现在，请告诉我你需要对这个答案进行多少调整才能得到正确结果。”这使得学习过程变得更加容易且更加准确。

结果：明显的胜利

作者在三种不同类型的电路“语言”（RTL、AIGs 和 Netlists）上测试了 TRACE，并将其与所有之前的最佳方法进行了对比。

结果： TRACE 每次都赢了。它在以下方面表现得更好：
1. 寻找孪生兄弟： 识别出两个执行相同功能的电路（即使它们看起来不同）。
2. 预测行为： 准确预测电路在不同条件下的行为。
意义所在： 论文表明，通过修复旧方法的“盲目性”并简化学习任务，我们可以构建出更智能的工具来理解电子电路。

总结

TRACE 是一种让计算机学习电路工作方式的新方法。

它不再将电路输入视为一堆杂乱的物体，而是将其视为一个有序序列（像句子一样），从而理解逻辑流。
它不再试图一次性猜出整个复杂的答案，而是通过预测简单猜测与真相之间的微小差异来进行学习。

这种结合使得它成为了目前最准确的理解电子电路“功能行为”的工具。

技术摘要：TRACE：学习在电路图上进行计算

1. 问题陈述

本研究解决的核心挑战是学习计算（learning to compute），即准确建模电路图功能行为的能力。电路图（包括寄存器传输级 (RTL) 图、与非门反向器图 (AIG) 以及映射后的网表）捕捉了通过代表操作和变量的有向节点进行的计算流。

作者认为，主流的图表示学习范式——消息传递神经网络 (MPNNs) 和 图 Transformer (Graph Transformers) ——在处理这一特定任务时存在架构上的不匹配，主要由于三个关键缺陷：

MPNNs 无法建模输入交互： MPNNs 依赖于置换不变的聚合器（例如 sum, mean），这些聚合器独立地组合来自邻居的消息。这导致模型无法捕捉位置感知且具有特定算子特性的交互。例如，对于一个满足 $MUX(S, A, B) \neq MUX(A, S, B)$ 的多路复用器 (MUX)，由于输入顺序在聚合过程中丢失，模型无法对其进行正确建模。
原生 Transformer 缺乏层级感知能力： 标准 Transformer 将图展平为序列，破坏了建模逐步计算所需的显式层级结构和中间依赖关系（例如，无法捕捉 $f(g(a,b), c)$ 对中间结果 $g(a,b)$ 的依赖）。
边缘掩码 Transformer 继承了 MPNN 的局限性： 使用注意力掩码来遵循图拓扑结构的 Transformer，往往会退化为加权求和（类似于图注意力网络），从而继承了无法对多个输入进行精确、非线性交互建模的缺陷。

此外，捕捉由复杂拓扑结构产生的全局函数存在更深层的挑战，特别是重收敛依赖（reconvergent dependencies）。在电路中，一个节点的全局函数可能与假设输入独立的简单局部近似显著不同。以往直接在全局函数上进行监督的方法，会将这些复杂的上下文效应隐式地捆绑到嵌入中，使得模型难以区分真实的函数依赖与伪相关性。

2. 方法论

作者提出了 TRACE（用于推理代数与计算表达式的 Transformer），这是一种由两个核心部分组成的新范式：一个架构合理的骨干网络和一个原则性的学习目标。

2.1 层级 Transformer 骨干网络

为了解决先前模型的架构缺陷，TRACE 采用了能够镜像计算逐步流的层级 Transformer (Hierarchical Transformer)。

逻辑层级计算： 节点根据其拓扑逻辑深度进行逐层处理。初级输入 (PIs) 处于第 0 层。
前缀表示法 (Prefix Notation)： 受前缀表示法启发，特定逻辑层级的每个计算步骤都被表示为一个有序序列：[算子, 输入_1, 输入_2, ...]。
位置感知编码： Transformer 编码器使用位置编码处理这些序列。这使得模型能够捕捉算子特定的交互和位置感知能力（例如，区分 MUX 中的控制信号与数据输入）。
递归处理： 算子节点的嵌入根据该序列第一个 token 的 Transformer 输出进行更新。随后，这个更新后的嵌入将作为下一逻辑层后续算子的输入。
效率： 不同于具有长尾度分布的一般图，电路图具有较小的、有界的入度，这避免了通常与 Transformer 相关的二次方内存开销。

2.2 函数偏移学习 (FSL)

为了解决直接预测复杂全局函数的困难，TRACE 引入了 函数偏移学习 (Function Shift Learning)，这是一种解耦学习问题的创新目标。

全局函数 ( $y_{global}$ )： 节点为逻辑 1 的真实概率，它考虑了所有的依赖关系（包括重收敛）。直接计算该值成本极高 ( $O(2^k)$ )。
局部函数 ( $y_{local}$ )： 一个假设输入相互独立的简单近似。它计算高效 ( $O(1)$ )，但在存在重收敛时无法捕捉真实行为。
函数偏移 ( $y_{FSL}$ )： 模型被训练用于仅预测全局函数与局部函数之间的差异：
$y_{FSL} = y_{global} - y_{local}$
训练： 模型通过 L1 损失回归函数偏移。地面真值（ground truth）偏移量是从训练数据中预先计算得出的。
推理： 在推理过程中，全局函数通过迭代重建。对于每个节点，模型预测偏移量，并将其加到局部函数（使用其前驱节点的估计全局函数计算得出）上，从而得到最终的全局估计。

3. 核心贡献

架构对齐： 引入了层级 Transformer，用位置感知、基于序列的处理取代了置换不变的聚合，忠实地镜像了电路图的计算流。
解耦的学习目标： 提出了函数偏移学习，它将重收敛的复杂上下文效应（“偏移”）从简单的局部近似中分离出来，简化了学习任务。
且。
最先进的性能表现： 证明了这种结合的范式在多种电路模态下均显著优于现有的 MPNNs 和图 Transformer。

4. 实验结果

作者在三种电路模态（RTL、AIG、PM 网表）和两种任务类型（对比学习和预测任务）上评估了 TRACE。

4.1 对比任务

在检索任务（识别功能等效的电路）中，TRACE 一致优于所有基线模型：

RTL： 实现了 94.45% 的 Recall@1（相比之下，次优模型约为 88%）。
AIG： 实现了 92.68% 的 Recall@1（相比之下，次优模型约为 88%）。
PM 网表： 实现了 90.81% 的 Recall@1（相比之下，次优模型约为 86%）。
值得注意的是，许多图 Transformer 基线（如 GraphGPS, SGFormer）在 AIG 和 PM 网表上出现了严重的性能下降或显存溢出 (OOM) 错误，而 TRACE 保持了稳定性。

4.2 预测任务

在预测节点属性（逻辑-1 概率、相似性、翻转概率）的任务中，TRACE 取得了最低的平均绝对误差 (MAE) 和最高的 $R^2$ 分数：

组合 AIG： 逻辑-1 概率的 MAE 为 0.015（相比之下，DeepGate4 为 0.027）。
时序 AIG： 逻辑-1 概率的 MAE 为 0.009，翻转概率的 MAE 为 0.005。
PM 网表： 逻辑-1 概率的 MAE 为 0.013（相比之下，GraphSAGE 为 0.048）。

4.3 消融实验与分析

函数偏移学习： 移除 FSL 会显著降低性能。例如，在 PM 网表概率预测中，移除 FSL 使 MAE 从 0.013 增加到 0.036（相对误差增加了 63.9%）。
误差累积： 跨逻辑层级的分析表明，即使在深层逻辑层级，TRACE 仍能保持稳定的性能，这表明其在迭代推理过程中对误差累积具有鲁棒性。

5. 意义

论文声称 TRACE 建立了新的最先进水平 (State-of-the-art)，并更广泛地为电路图学习提供了一个更稳健且架构合理的范式。通过解决标准图学习架构与计算本质（特别是位置感知和层级结构）之间的根本不匹配，TRACE 证明了将模型的归纳偏置与问题结构相对齐，对于捕捉功能行为至关重要。这项工作作为一个原则证明，展示了将局部近似与全局上下文偏移解耦，可以实现跨不同电子设计自动化 (EDA) 领域的卓越泛化。