Resumo Técnico: AttentionCap: Aprendizado de Matriz de Capacitância Baseado em Transformer para Extração de Chip Completo

Declaração do Problema

À medida que o design de circuitos integrados (IC) avança para nós de processo menores, a precisão das tradicionais correspondências de padrões baseadas em regras torna-se cada vez mais difícil de sustentar. Embora existam solvers de campo precisos, eles enfrentam desafios de escalabilidade com o crescimento dos tamanhos de design, tornando-os impraticáveis para a extração de chip completo. Consequentemente, modelos de capacitância 2D baseados em aprendizado profundo emergiram como uma alternativa viável. No entanto, as abordagens existentes, primariamente baseadas em Perceptrons de Camadas Múltiplas (MLPs) e Redes Neurais Convolucionais (CNNs), sofrem de limitações críticas:

1. Restrições de Entrada Fixas: A maioria dos modelos é restrita a números fixos de condutores ou combinações fixas de camadas metálicas (tipicamente 3 camadas), limitando sua aplicabilidade a designs de layout complexos e variáveis.
2. Inferência Ineficiente: Métodos de CNN baseados em grade de densidade (ex: CNN-Cap) requerem $n^2$ passagens de inferência para extrair a matriz de capacitância completa para um layout de $n$ condutores, pois predizem apenas capacitâncias pareadas individuais.
3. Baixa Generalização: Os modelos existentes são tipicamente treinados em nós de processo e combinações de camadas específicos, necessitando da criação de inúmeros datasets e do retreinamento de modelos para cobrir um único nó de processo com $m$ camadas (exigindo $\binom{m}{3}$ modelos).

Metodologia

Os autores propõem o AttentionCap, uma arquitetura Transformer customizada projetada especificamente para aprender a matriz de capacitância $n \times n$ completa. A metodologia aproveita a similaridade estrutural entre a matriz de capacitância e o mecanismo de autoatenção (self-attention), ambos modelando interações $n$-para-$n$.

1. Estrutura de Representação de Gram

Reconhecendo que a matriz de capacitância $C$ é simétrica e semidefinida positiva, os autores utilizam uma representação de Gram onde $C = GG^\top$. Em vez de prever elementos individuais da matriz, o modelo aprende um mapeamento sequência-para-sequência onde cada condutor é transformado em um "embedding de capacitância" (um vetor linha em $G$). A matriz de capacitância completa é então reconstruída via o produto escalar desses embeddings.

2. Arquitetura do Modelo

O AttentionCap modifica a arquitetura padrão do Transformer com várias especializações alinhadas à física:

• Representação de Entrada: O modelo aceita uma sequência de coordenadas de condutores $(x, y, w, h)$ e, opcionalmente, um embedding de nó de processo. Diferente de modelos de linguagem, ele emprega nenhuma codificação posicional, pois o mapeamento de capacitância é inerentemente permutação-equivariante (a ordem dos condutores na entrada não afeta o resultado físico).
• Saída de Atenção Simétrica: A camada de saída consiste em um RMSNorm seguido por uma projeção linear. A matriz de capacitância final é computada como $\hat{C} = \frac{1}{\sqrt{d}} \hat{G}\hat{G}^\top$, atuando efetivamente como uma camada de atenção simétrica. Para impor a propriedade física de que os elementos da diagonal (autocapacitância) são iguais à soma dos elementos fora da diagonal (acoplamento), o modelo define $\hat{C}_{ii} = \sum_{j \neq i} \hat{C}_{ij}$.
• Embedding de Nó de Processo: Para permitir o aprendizado multi-nó, um vetor de embedding treinável representando o nó de processo específico (pilha dielétrica e características do fio) é adicionado aos embeddings de coordenadas dos condutores. Isso permite que um único modelo distinga entre diferentes nós tecnológicos.

3. Perda de Laplacian Normalizada

Para lidar com a ampla faixa dinâmica dos valores de capacitância, os autores introduzem uma Perda de Laplacian Normalizada. As matrizes de verdade fundamental (ground truth) e preditas são normalizadas pela raiz quadrada de seus elementos diagonais ($D^{-1/2} C D^{-1/2}$) antes do cálculo do erro de norma de Frobenius. Isso evita que valores de capacitância elevados dominem a função de perda e garante um treinamento estável através de diferentes escalas.

4. Geração de Dados Sintéticos

Dada a escassez de dados de layout proprietários, os autores desenvolveram um gerador de seção transversal sintética. Esta ferramenta cria amostras de treinamento diversas selecionando aleatoriamente camadas metálicas, amostrando contagens de condutores via distribuição de Poisson e gerando parâmetros geométricos (largura, posição) que aderem às regras de design. Essa abordagem permite o treinamento em milhões de amostras sintéticas sem overfitting para padrões de layout específicos.

Principais Contribuições

• Transformer para Capacitância: A primeira aplicação da arquitetura Transformer ao aprendizado de matriz de capacitância, permitindo entrada de comprimento variável e saída de matriz completa em uma única passagem de inferência.
• Design Alinhado à Física: A integração da representação de Gram, atenção simétrica e perda de Laplacian normalizada garante que o modelo respeite as propriedades físicas da matriz de capacitância (simetria, semidefinida positiva e estrutura de Laplacian).
• Transferibilidade Multi-Nó: A introdução de embeddings de nó de processo permite que um único modelo aprenda através de múltiplos nós de processo e combinações de camadas metálicas, reduzindo significamente a necessidade de retreinamento.
• Eficiência de Dados: Demonstrou capacidade de transferir para nós de processo não vistos com fine-tuning mínimo (5.000 amostras e 4.000 passos).

Resultados Experimentais

O modelo foi treinado em dados sintéticos e avaliado em seções transversais de designs reais não vistos dos nós de 7nm e 65nm.

• Acurácia: Sob um cenário desafiador de múltiplas camadas e múltiplos nós, o AttentionCap alcançou 0,67% de erro para autocapacitância e 3,99% de erro para capacitância de acoplamento em designs reais não vistos. Isso representa uma redução de erro de 4,6$\times$ a 5,7$\times$ em comparação com o baseline CNN-Cap.
• Eficiência: O AttentionCap demonstrou um aumento de velocidade de 192$\times$ na inferência em relação ao CNN-Cap, principalmente devido à eliminação do processamento de grade de densidade e à capacidade de gerar a matriz completa em uma única passagem. O treinamento também foi 18,5$\times$ mais rápido.
• Transferibilidade: Um modelo pré-treinado em uma mistura de nós de 15nm, 28nm e 65nm foi bem-sucedido ao ser ajustado (fine-tuned) para um novo nó de 7nm usando apenas 5.000 amostras. Este modelo ajustado superou um modelo treinado do zero em dados de 7nm, mesmo quando o modelo treinado do zero teve acesso a 90% dos dados de treinamento de 7nm disponíveis.
• Estudos de Ablação: Experimentos confirmaram que a perda de Laplacian Normalizada e as funções de ativação SwiGLU foram críticas para alcançar alta acurácia, enquanto o mecanismo de atenção em si foi essencial para capturar complexas interações multi-condutor (baselines de MLP falharam em fornecer predições utilizáveis).

Significância

O artigo afirma que o AttentionCap oferece valor altamente prático para os fluxos de trabalho modernos de EDA (Electronic Design Automation). Ao superar as limitações de modelos de camadas e condutores fixos, ele fornece uma solução unificada e transferível para a extração de chip completo. A capacidade de treinar em dados sintéticos e transferir para novos nós de processo com dados mínimos aborda o principal gargalo no desenvolvimento de modelos de capacitância para nós avançados. Os autores posicionam o AttentionCap não apenas como uma melhoria incremental, mas como uma mudança fundamental em direção à extração de parasitas baseada em aprendizado profundo escalável que pode se adaptar à evolução da complexidade do design de IC.