🤖 machine learning

AttentionCap: Transformer Based Capacitance Matrix Learning Toward Full-Chip Extraction

Le document présente AttentionCap, un modèle basé sur le Transformer doté d'un cadre de représentation Gram et de mécanismes d'attention alignés sur la physique, qui atteint une précision supérieure et une inférence nettement plus rapide que les méthodes CNN existantes pour l'extraction de capacité de puce complète à travers de multiples nœuds de processus avec une forte transférabilité.

Auteurs originaux : Jiechen Huang, Hector R. Rodriguez, Dingcheng Yang, Zuochang Ye, Yibo Lin, Wenjian Yu

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiechen Huang, Hector R. Rodriguez, Dingcheng Yang, Zuochang Ye, Yibo Lin, Wenjian Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de déterminer la quantité d'électricité qui « fuit » ou se « couple » entre des milliers de fils minuscules circulant à travers une puce électronique. Dans le monde des puces informatiques, cela s'appelle l'extraction de capacité. Si vous vous trompez, la puce peut devenir trop lente, surchauffer ou tomber en panne complètement.

Pendant longtemps, les ingénieurs résolvaient ce problème en utilisant un jeu de « reconnaissance de formes ». Ils examinaient une petite tranche de la puce, la comparaient à un immense dictionnaire de formes connues et devinaient la réponse. Mais à mesure que les puces deviennent plus petites et plus complexes (aux nœuds technologiques avancés), ce dictionnaire devient trop volumineux à gérer et les suppositions deviennent moins précises.

Entrez en scène AttentionCap, un nouvel outil d'IA décrit dans cet article, qui agit comme un détective super intelligent pour les fils de puces. Voici comment il fonctionne, en utilisant des analogies simples :

1. L'ancienne méthode vs La nouvelle méthode

L'ancienne méthode (CNN-Cap) : Imaginez essayer de comprendre une conversation en regardant une photo floue et à basse résolution des personnes qui parlent. Vous devez recadrer la photo pour vous concentrer sur seulement deux personnes à la fois afin de deviner ce qu'elles disent. Pour comprendre un groupe entier de 10 personnes, vous devez prendre 100 photos différentes (une pour chaque paire), ce qui est lent et laborieux. De plus, si la pièce change (un nouveau processus de conception de puce), vous devez jeter votre ancien dictionnaire de photos et tout recommencer.
La nouvelle méthode (AttentionCap) : Imaginez un détective capable de regarder l'ensemble du groupe de personnes à la fois. Au lieu de prendre des photos, il écoute tout le monde simultanément et comprend instantanément comment chacun interagit avec les autres. Il n'a pas besoin d'un dictionnaire pré-établi ; il apprend les règles de la conversation sur le vif.

2. La recette secrète : Le « Transformer »

L'article utilise un type d'IA appelé Transformer (la même technologie qui est derrière les chatbots modernes).

Le mécanisme d'« Attention » : Dans une conversation normale, vous prêtez attention à la personne qui parle. Dans une puce, chaque fil « prête attention » à tous les autres fils à proximité. L'article a réalisé que les mathématiques utilisées pour calculer comment les fils s'influencent mutuellement sont presque identiques à la façon dont les Transformers calculent l'« attention ».
La « Représentation par Gram » : Considérez cela comme le fait de donner à chaque fil une « carte d'identité » ou une « empreinte digitale » unique (appelée embedding). Au lieu de calculer la relation entre le Fil A et le Fil B directement, l'IA crée ces cartes d'identité, puis les compare. Si les cartes d'identité sont similaires, les fils sont fortement couplés. Cela permet à l'IA de calculer les relations pour tous les fils en une seule étape, plutôt que de le faire une paire à la fois.

3. Apprendre à partir de données « fictives »

Les conceptions de puces réelles sont souvent secrètes (propriétaires) et difficiles à obtenir. Pour entraîner l'IA, les chercheurs n'ont pas utilisé de vraies puces. À la place, ils ont construit une usine virtuelle (un générateur de données synthétiques).

Ils ont programmé un ordinateur pour générer aléatoirement des millions de dispositions de fils fictives, en veillant à ce qu'elles respectent les règles fondamentales de la physique.
Ils ont utilisé un simulateur de physique ultra-précis (mais très lent) pour calculer les « bonnes » réponses pour ces fils fictifs.
Ils ont appris à l'IA à observer les dispositions de fils fictifs et à prédire les réponses.

4. Le « Traducteur Universel » (Apprentissage multi-nœuds)

L'un des plus grands casse-têtes de la conception de puces est que chaque nouvelle génération de puces (par exemple, 7nm, 65nm) possède des règles légèrement différentes. Habituellement, il faut un modèle d'IA différent pour chaque génération.

L'astuce d'AttentionCap : Les chercheurs ont donné à l'IA un « badge de nœud de processus » spécial (un embedding). Lorsque l'IA voit un fil, elle voit aussi à quel « badge » il appartient.
Le résultat : L'IA a appris les règles générales de l'électricité qui s'appliquent à toutes les puces, tout en apprenant les particularités spécifiques de chaque type de puce. Cela signifie que si vous voulez l'utiliser sur un nouveau type de puce qu'elle n'a jamais vu, vous avez seulement besoin de lui montrer une petite quantité de nouvelles données (5 000 exemples) pour l'« affiner » (fine-tuning). C'est comme enseigner une nouvelle langue à un polyglotte ; il connaît déjà la grammaire, il doit juste apprendre quelques nouveaux mots.

5. Les résultats : Rapides et Précis

L'article affirme que lorsqu'ils ont testé cette IA sur des conceptions de puces réelles et inédites :

Précision : Elle était incroyablement précise, faisant très peu d'erreurs dans le calcul de l'interaction entre les fils. Elle était 4,6 à 5,7 fois plus précise que la meilleure méthode précédente (CNN-Cap).
Vitesse : Elle était 192 fois plus rapide pour faire des prédictions. Alors que l'ancienne méthode devait effectuer des milliers de petits calculs, AttentionCap effectue un seul grand balayage.
Efficacité : Elle pouvait gérer des scénarios complexes avec de nombreuses couches de fils à la fois, là où les anciennes méthodes peinaient ou nécessitaient des modèles distincts pour chaque combinaison.

Résumé

AttentionCap est une nouvelle IA qui traite les fils de puces comme un groupe de personnes dans une pièce, utilisant un mécanisme d'« écoute » (Transformer) pour comprendre instantanément comment ils s'influencent tous les uns les autres. En apprenant de millions d'exemples fictifs et en comprenant le « dialecte » des différents processus de fabrication de puces, elle prédit le comportement électrique avec une vitesse et une précision élevées, résolvant ainsi un goulot d'étranglement majeur dans la conception de puces modernes.

Résumé Technique : AttentionCap : Apprentissage de la matrice de capacité basé sur les Transformers pour l'extraction à l'échelle de la puce complète

Énoncé du Problème

À mesure que la conception de circuits intégrés (IC) progresse vers des nœuds de processus plus petits, la précision des méthodes traditionnelles de correspondance de motifs basées sur des règles devient de plus en plus difficile à maintenir. Bien que des solveurs de champ précis existent, ils font face à des défis de scalabilité avec la croissance de la taille des conceptions, ce qui les rend peu pratiques pour l'extraction de la puce complète. Par conséquent, des modèles de capacité 2D basés sur l'apprentissage profond sont apparus comme une alternative viable. Cependant, les approches existantes, principalement basées sur des perceptrons multicouches (MLP) et des réseaux de neurones convolutifs (CNN), souffrent de limitations critiques :

Contraintes d'entrée fixes : La plupart des modèles sont restreints à un nombre fixe de conducteurs ou à des combinaisons de couches métalliques fixes (typiquement 3 couches), limitant leur applicabilité aux conceptions complexes et variables.
Inférence inefficace : Les méthodes CNN basées sur des grilles de densité (ex: CNN-Cap) nécessitent $n^2$ passages d'inférence pour extraire la matrice de capacité complète pour une disposition de $n$ conducteurs, car elles ne prédisent que des capacités par paires simples.
Faible généralisabilité : Les modèles existants sont typiquement entraînés sur des nœuds de processus et des combinaations de couches spécifiques, nécessitant la création de nombreux jeux de données et le réentraînement de modèles pour couvrir un seul nœud de processus avec $m$ couches (nécessitant $\binom{m}{3}$ modèles).

Méthodologie

Les auteurs proposent AttentionCap, une architecture Transformer personnalisée conçue spécifiquement pour l'apprentissage de la matrice de capacité complète $n \times n$ . La méthodologie tire parti de la similitude structurelle entre la matrice de capacité et le mécanisme d'auto-attention, tous deux modélisant les interactions $n$ -vers- $n$ .

1. Cadre de représentation de Gram

Reconnaissant que la matrice de capacité $C$ est symétrique et semi-définie positive, les auteurs utilisent une représentation de Gram où $C = GG^\top$ . Au lieu de prédire des éléments de matrice individuels, le modèle apprend une application séquence-vers-séquence où chaque conducteur est transformé en un « embedding de capacité » (un vecteur ligne dans $G$ ). La matrice de capacité complète est ensuite reconstruite via le produit scalaire de ces embeddings.

2. Architecture du Modèle

AttentionCap modifie l'architecture standard des Transformers avec plusieurs spécialisations alignées sur la physique :

Représentation d'entrée : Le modèle accepte une séquence de coordonnées de conducteurs $(x, y, w, h)$ et, optionnellement, un embedding de nœud de processus. Contra irement aux modèles de langage, il n'utilise aucun encodage positionnel, car la cartographie de capacité est intrinsèquement équivariante par permutation (l'ordre des conducteurs dans l'entrée n'affecte pas le résultat physique).
Sortie d'Attention Symétrique : La couche de sortie consiste en une RMSNorm suivie d'une projection linéaire. La matrice de capacité finale est calculée comme $\hat{C} = \frac{1}{\sqrt{d}} \hat{G}\hat{G}^\top$ , agissant efficacement comme une couche d'attention symétrique. Pour imposer la propriété physique selon laquelle les éléments diagonaux (auto-capacité) sont égaux à la somme des éléments hors-diagonale (couplage), le modèle définit $\hat{C}_{ii} = \sum_{j \neq i} \hat{C}_{ij}$ .
Embedding de Nœud de Processus : Pour permettre l'apprentissage multi-nœud, un vecteur d'embedding apprenable représentant le nœud de processus spécifique (empilement diélectrique et caractéristiques des fils) est ajouté aux embeddings de coordonnées des conducteurs. Cela permet à un seul modèle de distinguer différents nœuds technologiques.

3. Perte de Laplacien Normalisée

Pour traiter la large plage dynamique des valeurs de capacité, les auteurs introduisent une Perte de Laplacien Normalisée. Les matrices de vérité terrain et prédites sont normalisées par la racine carrée de leurs éléments diagonaux ( $D^{-1/2} C D^{-1/2}$ ) avant de calculer l'erreur de norme de Frobenius. Cela empêche les grandes valeurs de capacité de dominer la fonction de perte et assure une stabilité de l'entraînement à travers différentes échelles.

4. Génération de Données Synthétiques

Étant donné la rareté des données de layout propriétaires, les auteurs ont développé un générateur de coupes transversales synthétiques. Cet outil crée des échantillons d'entraînement diversifiés en sélectionnant aléatoirement des couches métalliques, en échantillonnant le nombre de conducteurs via une distribution de Poisson, et en générant des paramètres géométriques (largeur, position) qui respectent les règles de conception. Cette approche permet de s'entraîner sur des millions d'échantillons synthétiques sans surapprentissage sur des motifs de layout spécifiques.

Contributions Clés

Transformer pour la Capacité : La première application de l'architecture Transformer à l'apprentissage de la matrice de capacité, permettant une entrée de longueur variable et une sortie de matrice complète en un seul passage d'inférence.
Conception Alignée sur la Physique : L'intégration de la représentation de Gram, de l'attention symétrique et de la perte de Laplacien normalisée garantit que le modèle respecte les propriétés physiques de la matrice de capacité (symétrie, semi-définie positive et structure de Laplacien).
Transférabilité Multi-Nœud : L'introduction d'embeddings de nœud de processus permet à un seul modèle d'apprendre sur plusieurs nœuds de processus et combinaisons de couches métalliques, réduisant considérablement le besoin de réentraînement.
Efficacité des Données : Capacité démontrée à se transférer à des nœuds de processus non vus avec un fine-tuning minimal (5 000 échantillons et 4 000 étapes).

Résultats Expérimentaux

Le modèle a été entraîné sur des données synthétiques et évalué sur des coupes transversales de conceptions réelles inédites des nœuds 7nm et 65nm.

Précision : Dans un contexte complexe multi-couches et multi-nœuds, AttentionCap a atteint une erreur de 0,67 % pour l'auto-capacité et de 3,99 % pour la capacité de couplage sur des conceptions réelles non vues. Cela représente une réduction de l'erreur de 4,6 $\times$ à 5,7 $\times$ par rapport à la base de référence CNN-Cap.
Efficacité : AttentionCap a démontré une accélération de 192 $\times$ de l'inférence par rapport à CNN-Cap, principalement grâce à l'élimination du traitement par grille de densité et à la capacité de générer la matrice complète en un seul passage. L'entraînement était également 18,5 $\times$ plus rapide.
Transférabilité : Un modèle pré-entraîné sur un mélange de nœuds 15nm, 28nm et 65nm a été entraîné avec succès pour un nouveau nœud 7nm en utilisant seulement 5 000 échantillons. Ce modèle fine-tuné a surpassé un modèle entraîné de zéro sur des données 7nm, même lorsque le modèle entraîné de zéro avait accès à 90 % des données d'entraînement 7nm disponibles.
Études d'Ablation : Les expériences ont confirmé que la perte de Laplacien normalisée et les fonctions d'activation SwiGLU étaient critiques pour atteindre une haute précision, tandis que le mécanisme d'attention lui-même était essentiel pour capturer les interactions complexes entre plusieurs conducteurs (les bases MLP n'ont pas fourni de prédictions utilisables).

Signification

L'article affirme qu'AttentionCap offre une valeur pratique élevée pour les flux de travail modernes d'EDA (Electronic Design Automation). En surmontant les limites des modèles à couches et conducteurs fixes, il fournit une solution unifiée et transférable pour l'extraction de la puce complète. La capacité de s'entraîner sur des données synthétiques et de se transférer à de nouveaux nœuds de processus avec un minimum de données répond au principal goulot d'étranglement du développement de modèles de capacité pour les nœuds avancés. Les auteurs positionnent AttentionCap non pas comme une simple amélioration incrémentale, mais comme un changement fondamental vers une extraction de parasite basée sur l'apprentissage profond et scalable, capable de s'adapter à l'évolution de la complexité de la conception de circuits intégrés.