Technische Samenvatting: AttentionCap: Transformer-gebaseerd leren van capacitiematrices voor full-chip extractie

Probleemstelling

Naarmate de integratie van circuits (IC-ontwerp) vordert naar kleinere procesnodes, wordt het steeds moeilijker om de nauwkeurigheid van traditionele op regels gebaseerde patroonmatching voor parasitaire capaciteitsextractie te handhaven. Hoewel nauwkeurige field solvers bestaan, kampen deze met schaalbaarheidsuitdagingen bij groeiende ontwerpomvang, wat ze onpraktisch maakt voor full-chip extractie. Als gevolg hiervan zijn deep learning-gebaseerde 2D-capaciteitsmodellen een levensvatbaar alternatief geworden. De huidige benaderingen, die primair gebaseerd zijn op Multi-Layer Perceptrons (MLP's) en Convolutional Neural Networks (CNN's), lijden echter aan kritieke beperkingen:

1. Vaste Invoerbeperkingen: De meeste modellen zijn beperkt tot een vast aantal geleiders of vaste metaallagen-combinaties (meestal 3 lagen), wat hun toepasbaarheid op complexe, variabele lay-outontwerpen beperkt.
2. Inefficiënte Inferentie: Op dichtheidsroosters gebaseerde CNN-methoden (bijv. CNN-Cap) vereisen $n^2$ inferentie-passes om de volledige capacitiematrix van een $n$-geleider lay-out te extraheren, omdat ze slechts enkelvoudige paarwijze capaciteiten voorspellen.
3. Slechte Generaliseerbaarheid: Bestaande modellen zijn doorgaans getraind op specifieke procesnodes en laagcombinaties, wat het creëren van talrijke datasets en het hertrainen van modellen noodzakelijk maakt om een enkele procesnode met $m$ lagen te dekken (wat $\binom{m}{3}$ modellen vereist).

Methodologie

De auteurs stellen AttentionCap voor, een op maat gemaakte Transformer-architectuur die specifiek is ontworpen voor het leren van de volledige $n \times n$ capacitiematrix. De methodologie maakt gebruik van de structurele gelijkenis tussen de capacitiematrix en het self-attention mechanisme, die beide $n$-naar-$n$ interacties modelleren.

1. Gram-representatie Raamwerk

In het besef dat de capacitiematrix $C$ symmetrisch en positief semidefiniet is, maken de auteurs gebruik van een Gram-representatie waarbij $C = GG^\top$. In plaats van individuele matrixelementen te voorspellen, leert het model een sequence-to-sequence mapping waarbij elke geleider wordt getransformeerd naar een "capaciteits-embedding" (een rijvector in $G$). De volledige capacitiematrix wordt vervolgens gereconstrueerd via het dotproduct van deze embeddings.

2. Modelarchitectuur

AttentionCap wijzigt de standaard Transformer-architectuur met verschillende natuurkundig uitgelijnde specialisaties:

• Input-representatie: Het model accepteert een sequentie van geleidercoördinaten $(x, y, w, h)$ en, optioneel, een proces-node embedding. In tegen tegenstelling tot taalmodellen, gebruikt het geen positional encoding, aangezien de capaciteitsmapping inherent permutatie-equivariant is (de volgorde van geleiders in de input heeft geen invloed op het fysieke resultaat).
• Symmetrische-Attention Output: De outputlaag bestaat uit een RMSNorm gevolgd door een lineaire projectie. De uiteindelijke capacitiematrix wordt berekend als $\hat{C} = \frac{1}{\sqrt{d}} \hat{G}\hat{G}^\top$, wat effectief fungeert als een symmetrische attention-laag. Om de fysieke eigenschap af te dwingen dat de diagonale elementen (zelf-capaciteit) gelijk zijn aan de som van de off-diagonale elementen (koppeling), stelt het model $\hat{C}_{ii} = \sum_{j \neq i} \hat{C}_{ij}$.
• Proces-node Embedding: Om multi-node leren mogelijk te maken, wordt een leerbare embedding-vector die de specifieke procesnode (dielectrische stack en draadkenmerken) representeert, toegevoegd aan de geleider-coördinaat embeddings. Dit stelt één enkel model in staat om tussen verschillende technologie-nodes te onderscheiden.

3. Genormaliseerde Laplacian Loss

Om de brede dynamische reikwijdte van capaciteitswaarden aan te pakken, introduceren de auteurs een Genormaliseerde Laplacian Loss. De grondwaarheid en de voorspelde matrices worden genormaliseerd door de vierkantswortel van hun diagonale elementen ($D^{-1/2} C D^{-1/2}$) voordat de Frobenius-norm fout wordt berekend. Dit voorkomt dat grote capaciteitswaarden de loss-functie domineren en zorgt voor stabiele training over variërende schalen.

4. Synthetische Datageneratie

Gezien de schaarste aan propriëtaire lay-outdata, hebben de auteurs een synthetische doorsnedegenerator ontwikkeld. Dit hulpmiddel creëert diverse trainingssamples door willekeurig metaallagen te selecteren, het aantal geleiders te samplen via een Poisson-distributie en geometrische parameters (breedte, positie) te genereren die voldoen aan de design rules. Deze aanpak maakt het mogelijk om te trainen op miljoenen synthetische samples zonder te overfitten op specifieke lay-outpatronen.

Belangrijkste Bijdragen

• Transformer voor Capaciteit: De eerste toepassing van de Transformer-architectuur op capaciteitsmatrix-leren, wat variabele lengte inputs en volledige matrix-output mogelijk maakt in een enkele inferentie-pass.
• Natuurkundig Uitgelijnd Ontwerp: De integratie van Gram-representatie, symmetrische attention en genormaliseerde Laplacian loss zorgt ervoor dat het model de fysieke eigenschappen van de capacitiematrix respecteert (symmetrie, positief semidefinietheid en Laplacian-structuur).
• Multi-Node Overdraagbaarheid: De introductie van proces-node embeddings stelt een enkel model in staat om over meerdere procesnodes en metaallagen-combinaties te leren, wat de noodzaak voor hertraining aanzienlijk vermindert.
• Data-efficiëntie: Gedemonstreerde bekwaamheid om over te dragen naar ongeziene procesnodes met minimale fine-tuning (5.000 samples en 4.000 stappen).

Experimentele Resultaten

Het model werd getraind op synthetische data en geëvalueerd op ongeziene real-design doorsneden van 7nm en 65nm nodes.

• Nauwkeurigheid: Onder een uitdagende multi-layer en multi-node setting behaalde AttentionCap een fout van 0,67% voor zelf-capaciteit en 3,99% fout voor koppelingscapaciteit op ongeziene real designs. Dit vertegenwoordigt een reductie in fout van 4,6$\times$ tot 5,7$\times$ vergeleken met de CNN-Cap baseline.
• Efficiëntie: AttentionCap demonstreerde een 192$\times$ versnelling in inferentie vergeleken met CNN-Cap, voornamelijk door de eliminatie van dichtheidsrooster-verwerking en het vermogen om de volledige matrix in één enkele pass te genereren. De training was ook 18,5$\times$ sneller.
• Overdraagbaarheid: Een model dat vooraf is getraind op een mix van 15nm, 28nm en 65nm nodes, kon succesvol worden gefinetuned voor een nieuwe 7nm node met slechts 5.000 samples. Dit gefinetunede model presteerde beter dan een model dat vanaf nul (from scratch) op 7nm data was getraind, zelfs toen het scratch-getrainde model toegang had tot 90% van de beschikbare 7nm trainingsdata.
• Ablatie-studies: Experimenten bevestigden dat de genormaliseerde Laplacian loss en de SwiGLU activatiefuncties cruciaal waren voor het bereiken van hoge nauwkeurigheid, terwijl het attention-mechanisme zelf essentieel was voor het vastleggen van complexe multi-geleider interacties (MLP-baselines slaagden er niet in bruikbare voorspellingen te leveren).

Betekenis

Het artikel beweert dat AttentionCap zeer praktische waarde biedt voor moderne Electronic Design Automation (EDA) workflows. Door de beperkingen van fixed-layer en fixed-conductor modellen te overwinnen, biedt het een verenigde, overdraagbare oplossing voor full-chip extractie. Het vermogen om te trainen op synthetische data en over te dragen naar nieuwe procesnodes met minimale data adresseert de primaire flessenhals bij het ontwikkelen van capaciteitsmodellen voor geavanceerde nodes. De auteurs positioneren AttentionCap niet slechts als een incrementele verbetering, maar als een fundamentele verschuiving naar schaalbare, deep learning-gebaseerde parasitaire extractie die kan adapteren aan de evoluerende complexiteit van IC-ontwerp.