🤖 machine learning

AttentionCap: Transformer Based Capacitance Matrix Learning Toward Full-Chip Extraction

该论文介绍了 AttentionCap，这是一种基于 Transformer 的模型，其具有 Gram 表示框架和物理对齐的注意力机制，在跨多个工艺节点的全芯片电容提取方面，实现了优于现有 CNN 方法的准确度以及显著更快的推理速度，并具备极强的可迁移性。

原作者： Jiechen Huang, Hector R. Rodriguez, Dingcheng Yang, Zuochang Ye, Yibo Lin, Wenjian Yu

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiechen Huang, Hector R. Rodriguez, Dingcheng Yang, Zuochang Ye, Yibo Lin, Wenjian Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图弄清楚数以千计的微小导线之间有多少电量“泄漏”或“耦合”。在计算机芯片的世界里，这被称为电容提取（capacitance extraction）。如果你算错了，芯片可能会运行过慢、过热甚至完全失效。

长期以来，工程师们通过一种“模式匹配”游戏来解决这个问题。他们会观察芯片的一个小切片，将其与一个巨大的、预先制作好的已知形状字典进行对比，并以此进行猜测。但随着芯片变得越来越小且越来越复杂（在先进技术节点下），这个字典变得过于庞大而难以管理，且猜测的准确度也会降低。

于是，AttentionCap 登场了。这是论文中描述的一种新型 AI 工具，它扮演着芯片导线的“超级侦探”。以下是它的工作原理，我们使用简单的类比来解释：

1. 旧方法 vs. 新方法

旧方法 (CNN-Cap)： 想象一下，试图通过一张模糊、低分辨率的人群对话照片来理解一场对话。你必须裁剪照片，一次只聚焦于两个人，才能猜出他们在说什么。如果要理解一个 10 人的群体，你必须拍摄 100 张不同的照片（每对人一张），这既缓慢又笨拙。此外，如果房间环境变了（有了新的芯片设计工艺），你必须扔掉旧的照片字典并重新开始。
新方法 (AttentionCap)： 想象一位侦探，他可以同时观察整个群体。他不需要拍照，而是能同时倾听所有人的声音，并瞬间理解每个人之间是如何相互关联的。他不需要预先制作好的字典；他能实时学习对话的规则。

2. 核心秘诀：“Transformer”

这篇论文使用了一种叫做 Transformer 的 AI 类型（这也是现代聊天机器人背后的技术）。

“注意力”（Attention）机制： 在正常的对话中，你会关注正在说话的人。在芯片中，每一根导线都会“关注”附近的每一根导线。论文发现，用于计算导线如何相互影响的数学原理，与 Transformer 计算“注意力”的方式几乎完全相同。
“Gram 表示法”（Gram Representation）： 这可以理解为给每根导线一个独特的“身份证”或“指纹”（称为嵌入/embedding）。AI 并不是直接计算导线 A 与导线 B 之间的关系，而是创建这些身份证，然后进行比较。如果身份证相似，说明导线之间的耦合很强。这使得 AI 能够通过一个步骤计算出所有导线的关系，而不是像以前那样一对一地进行。

3. 从“伪造”数据中学习

真实的芯片设计通常是保密的（专有的）且难以获取。为了训练这个 AI，研究人员并没有使用真实的芯片。相反，他们构建了一个虚拟工厂（合成数据生成器）。

他们编写了一个程序，随机生成数百万个虚构的导线布局，并确保它们遵循基本的物理规则。
他们使用了一个极其精确（但速度很慢）的物理模拟器来计算这些虚构导线的“正确答案”。
他们教导 AI 去观察这些虚构的导线布局并预测答案。

4. “通用翻译官”（多节点学习）

芯片设计中最大的难题之一是，每一代新芯片（例如 7nm, 65nm）的规则都略有不同。通常情况下，你需要为每个节点准备一个不同的 AI 模型。

AttentionCap 的妙招： 研究人员给了 AI 一个特殊的“工艺节点徽章”（一个嵌入）。当 AI 看到一根导线时，它也能看到这根导线所属的“徽章”。
结果： AI 学到了适用于“所有”芯片的通用电学规则，同时也学习了每种芯片类型的特定特性。这意味着，如果你想把它用于一个它从未见过的全新芯片类型，你只需要展示极少量的（5,000 个）新样本来进行“微调”。这就像教一位通晓多种语言的翻译官学习一种新语言：他已经掌握了语法，所以只需要学习几个新单词即可。

5. 结果：快速且准确

论文声称，当他们在真实的、未见的芯片设计上测试时：

准确性： 它表现得极其精准，在计算导线相互作用时极少出错。它的准确度是之前最好方法 (CNN-Cap) 的 4.6 到 5.7 倍。
速度： 它的预测速度快了 192 倍。旧方法必须进行成千上万次微小的计算，而 AttentionCap 只需要一次大规模的整体运算。
效率： 它可以处理包含多层导线的复杂场景，而旧方法在处理这些场景时会感到吃力，或者需要针对每种组合使用单独的模型。

总结

AttentionCap 是一种全新的 AI，它将芯片导线视为房间里的一群人，利用“倾听”机制（Transformer）来瞬间理解它们是如何相互影响的。通过从数百万个虚构示例中学习，并理解不同芯片制造工艺的“方言”，它能以极高的速度和准确度预测电学行为，解决了现代芯片设计中的一个主要瓶颈。

技术摘要：AttentionCap：面向全芯片提取的基于 Transformer 的电容矩阵学习

问题陈述

随着集成电路（IC）设计向更小工艺节点演进，利用传统的基于规则的模式匹配进行寄生电容提取的准确性正变得难以维持。虽然存在高精度的场求解器（field solvers），但面对不断增长的设计规模，其面临着扩展性挑战，导致无法用于全芯片提取。因此，基于深度学习的二维电容模型已成为一种可行的替代方案。然而，现有的方法（主要基于多层感知机 MLP 和卷积神经网络 CNN）存在关键局型限制：

固定输入约束： 大多数模型受限于固定的导体数量或固定的金属层组合（通常为 3 层），这限制了它们在复杂、多变布局设计中的适用性。
低效推理： 基于密度网格的 CNN 方法（如 CNN-Cap）对于 $n$ 个导体的布局需要进行 $n^2$ 次推理过程，因为它们仅预测单对电容。
泛化能力差： 现有模型通常针对特定的工艺节点和层组合进行训练，这导致在覆盖具有 $m$ 层金属的单个工艺节点时，需要创建大量数据集并重新训练多个模型（需要 $\binom{m}{3}$ 个模型）。

方法论

作者提出了 AttentionCap，一种专门设计的定制化 Transformer 架构，旨在学习完整的 $n \times n$ 电容矩阵。该方法利用了电容矩阵与自注意力机制之间的结构相似性，两者都对 $n$ -to- $n$ 的相互作用进行建模。

1. Gram 表示框架

认识到电容矩阵 $C$ 是对称且半正定的，作者利用了 Gram 表示法，其中 $C = GG^\top$ 。模型并非预测单个矩阵元素，而是学习一个序列到序列的映射，将每个导体转换为一个“电容嵌入”（即 $G$ 中的行向量）。最终通过这些嵌入的点积来重建完整的电容矩阵。

2. 模型架构

AttentionCap 对标准 Transformer 架构进行了符合物理特性的专门化改进：

输入表示： 模型接受一系列导体坐标 $(x, y, w, h)$ 以及可选的工艺节点嵌入。与语言模型不同，它不使用位置编码，因为电容映射本质上是置换等变的（输入的导体顺序不会影响物理结果）。
对称注意力输出： 输出层由一个 RMSNorm 后接一个线性投影组成。最终的电容矩阵通过 $\hat{C} = \frac{1}{\sqrt{d}} \hat{G}\hat{G}^\top$ 计算，实际上起到了对称注意力层的作用。为了强制执行对角线元素（自电容）等于非对角线元素之和（耦合电容）这一物理属性，模型设置 $\hat{C}_{ii} = \sum_{j \neq i} \hat{C}_{ij}$ 。
工艺节点嵌入： 为了实现多节点学习，一个代表特定工艺节点（介质堆叠和导线特征）的可学习嵌入向量被添加到导体坐标嵌入中。这使得单个模型能够区分不同的技术节点。

3. 标准化拉普拉斯损失 (Normalized Laplacian Loss)

为了解决电容值动态范围过大的问题，作者引入了标准化拉普拉斯损失。在计算 Frobenius 范数误差之前，先将真实值矩阵和预测矩阵通过其对角线元素的平方根进行归一化（ $D^{-1/2} C D^{-1/2}$ ）。这防止了较大的电容值主导损失函数，并确保了在不同尺度下的训练稳定性。

4. 合成数据生成

鉴于专有布局数据的稀缺性，作者开发了一个合成截面生成器。该工具通过随机选择金属层、通过泊松分布采样导体数量以及生成符合设计规则的几何参数（宽度、位置）来创建多样化的训练样本。这种方法允许在数百万个合成样本上进行训练，而不会过拟合于特定的布局模式。

核心贡献

用于电容的 Transformer： 首次将 Transformer 架构应用于电容矩阵学习，实现了可变长度输入和单次推理过程中的全矩阵输出。
物理对齐设计： 集成了 Gram 表示、对称注意力和标准化拉普拉斯损失，确保模型遵循电容矩阵的物理特性（对称性、半正定性和拉普拉斯结构）。
多节点可迁移性： 引入的工艺节点嵌入使得单个模型可以跨多个工艺节点和金属层组合进行学习，显著减少了重新训练的需求。
数据效率： 展示了在极少量数据下迁移至未见过的工艺节点的能力（5,000 个样本和 4,000 个步骤）。

实验结果

模型在合成数据上进行训练，并在来自 7nm 和 65nm 节点的未见真实设计截面上进行评估。

准确度： 在具有挑战性的多层和多节点设置下，AttentionCap 在未见过的真实设计上实现了 0.67% 的自电容误差和 3.99% 的耦合电容误差。与 CNN-Cap 基准相比，这代表了 4.6 $\times$ 至 5.7 $\times$ 的误差降低。
效率： 由于消除了密度网格处理并能够在单次推理中生成完整矩阵，AttentionCap 的推理速度比 CNN-Cap 快了 192 $\times$ 。训练速度也快了 18.5 $\times$ 。
可迁移性： 一个在 15nm、28nm 和 65nm 混合节点上预训练的模型，仅通过 5,000 个样本微调即可成功迁移至新的 7nm 节点。该微调模型甚至优于一个使用 90% 可用 7nm 训练数据从头开始训练的模型。
消融实验： 实验证实，标准化拉普拉斯损失和 SwiGLU 激活函数对于实现高精度至关重要，而注意力机制本身对于捕捉复杂的多个导体相互作用是必不可少的（MLP 基准模型无法提供可用的预测）。

重要性

论文声称 AttentionCap 为现代电子设计自动化（EDA）工作流提供了极高的实用价值。通过克服固定层数和固定导体数量模型的局限性，它提供了一个统一、可迁移的解决方案，用于全芯片提取。利用合成数据并在极少数据下迁移至新工艺节点的能力，解决了开发先进工艺节点电容模型的主要瓶颈。作者将 AttentionCap 定位为不仅仅是一个增量改进，而是向可扩展、基于深度学习的寄生参数提取迈出的基础性转变，能够适应不断演进的 IC 设计复杂性。