Riepilogo Tecnico: AttentionCap: Apprendimento della Matrice di Capacità basato su Transformer per l'Estrazione Full-Chip

Problema

Con l'avanzare del design di circuiti integrati (IC) verso nodi di processo sempre più piccoli, l'accuratezza del tradizionale pattern matching basato su regole per l'estrazione della capacità parassita diventa sempre più difficile da sostenere. Sebbene esistano solver di campo accurati, essi affrontano sfide di scalabilità con la crescita delle dimensioni del design, rendendoli impraticabili per l'estrazione full-chip. Di conseguenza, i modelli di capacità 2D basati sul deep learning sono emersi come un'alternativa valida. Tuttavia, gli approcci esistenti, principalmente basati su Perceptroni Multistrato (MLP) e Reti Neurali Convoluzionali (CNN), soffrono di critiche limitazioni:

1. Vincoli di Input Fissi: La maggior parte dei modelli è limitata a un numero fisso di conduttori o a combinazioni fisse di strati metallici (tipicamente 3 strati), limitando la loro applicabilità a design layout complessi e variabili.
2. Inferenza Inefficiente: I metodi CNN basati su griglie di densità (es. CNN-Cap) richiedono $n^2$ passaggi di inferenza per estrarre l'intera matrice di capacità per un layout con $n$ conduttori, poiché prevedono solo singole capacità a coppie.
3. Scarsa Generalizzabilità: I modelli esistenti sono tipicamente addestrati su specifici nodi di processo e combinazioni di strati, rendendo necessario la creazione di numerosi dataset e il riaddestramento di modelli per coprire un singolo nodo di processo con $m$ strati (richiedendo $\binom{m}{3}$ modelli).

Metodologia

Gli autori propongono AttentionCap, un'architettura Transformer personalizzata progettata specificamente per apprendere l'intera matrice di capacità $n \times n$. La metodologia sfrutta la somiglianza strutturale tra la matrice di capacità e il meccanismo di self-attention, entrambi modellano interazioni $n$-a-$n$.

1. Framework di Rappresentazione di Gram

Riconoscendo che la matrice di capacità $C$ è simmetrica e semidefinita positiva, gli autori utilizzano una rappresentazione di Gram dove $C = GG^\top$. Invece di prevedere i singoli elementi della matrice, il modello apprende una mappatura sequence-to-sequence in cui ogni conduttore viene trasformato in un "embedding di capacità" (un vettore riga in $G$). L'intera matrice di capacità viene poi ricostruita tramite il prodotto scalare di questi embedding.

2. Architettura del Modello

AttentionCap modifica l'architettura standard dei Transformer con diverse specializzazioni allineate alla fisica:

• Rappresentazione di Input: Il modello accetta una sequenza di coordinate dei conduttori $(x, y, w, h)$ e, opzionalmente, un embedding del nodo di processo. A differenza dei modelli linguistici, non utilizza nessuna codifica posizionale, poiché la mappatura di capacità è intrinsecamente permutazione-equivalente (l'ordine dei conduttori nell'input non influenza il risultato fisico).
• Output di Attenzione Simmetrica: Lo strato di output consiste in un RMSNorm seguito da una proiezione lineare. La matrice di capacità finale è calcolata come $\hat{C} = \frac{1}{\sqrt{d}} \hat{G}\hat{G}^\top$, agendo efficacemento come uno strato di attenzione simmetrica. Per imporre la proprietà fisica per cui gli elementi diagonali (auto-capacità) sono uguali alla somma degli elementi fuori diagonale (accoppiamento), il modello imposta $\hat{C}_{ii} = \sum_{j \neq i} \hat{C}_{ij}$.
• Embedding del Nodo di Processo: Per abilitare l'apprendimento multi-nodo, un vettore di embedding apprendibile che rappresenta il nodo di processo specifico (stack dielettrico e caratteristiche del filo) viene aggiunto agli embedding delle coordinate dei conduttori. Ciò consente a un singolo modello di distinguere tra diversi nodi tecnologici.

3. Perdita Laplaciana Normalizzata

Per affrontare l'ampio intervallo dinamico dei valori di capacità, gli autori introducono una Perdita Laplaciana Normalizzata. Le matrici ground truth e predette vengono normalizzate tramite la radice quadrata dei loro elementi diagonali ($D^{-1/2} C D^{-1/2}$) prima di calcolare l'errore della norma di Frobenius. Questo evita che i grandi valori di capacità dominino la funzione di perdita e garantisce una stabilità dell'addestramento attraverso scale variabili.

4. Generazione di Dati Sintetici

Data la scarsità di dati di layout proprietari, gli autori hanno sviluppato un generatore di sezioni trasversali sintetiche. Questo strumento crea campioni di addestramento diversificati selezionando casualmente strati metallici, campionando il numero di conduttori tramite distribuzione di Poisson e generando parametri geometrici (larghezza, posizione) che aderiscono alle regole di design. Questo approccio consente l'addestramento su milioni di campioni sintetici senza overfitting su specifici pattern di layout.

Contributi Chiave

• Transformer per la Capacità: La prima applicazione dell'architettura Transformer all'apprendimento della matrice di capacità, consentendo input a lunghezza variabile e output di matrice completa in un singolo passaggio di inferenza.
• Design Allineato alla Fisica: L'integrazione della rappresentazione di Gram, dell'attenzione simmetrica e della perdita Laplaciana normalizzata assicura che il modello rispetti le proprietà fisiche della matrice di capacità (simmetria, semidefinitezza positiva e struttura Laplaciana).
• Trasferibilità Multi-Nodo: L'introduzione di embedding del nodo di processo consente a un singolo modello di apprendere attraverso molteplici nodi di processo e combinazioni di strati metallici, riducendo significativamente la necessità di riaddestramento.
• Efficienza dei Dati: Capacità dimostrata di trasferirsi su nodi di processo non visti con un fine-tuning minimo (5.000 campioni e 4.000 step).

Risultati Sperimentali

Il modello è stato addestrato su dati sintetici ed è stato valutato su sezioni trasversali di design reali non viste di nodi a 7nm e 65nm.

• Accuratezza: In un setting multi-strato e multi-nodo impegnativo, AttentionCap ha raggiunto un errore dello 0,67% per l'auto-capacità e del 3,99% per la capacità di accoppiamento su design reali non visti. Ciò rappresenta una riduzione dell'errore da 4,6$\times$ a 5,7$\times$ rispetto al baseline CNN-Cap.
• Efficienza: AttentionCap ha dimostrato un'accelerazione di 192$\times$ nell'inferenza rispetto a CNN-Cap, principalmente grazie all'eliminazione dell'elaborazione della griglia di densità e alla capacità di generare l'intera matrice in un unico passaggio. Anche l'addestramento è stato 18,5$\times$ più veloce.
• Trasferibilità: Un modello pre-addestrato su un mix di nodi a 15nm, 28nm e 65nm è stato sottoposto con successo a fine-tuning per un nuovo nodo a 7nm utilizzando solo 5.000 campioni. Questo modello sottoposto a fine-tuning ha superato un modello addestrato da zero su dati a 7nm, anche quando il modello addestrato da zero aveva accesso al 90% dei dati di addestramento disponibili per i 7nm.
• Studi di Ablazione: Gli esperimenti hanno confermato che la perdita Laplaciana normalizzata e le funzioni di attivazione SwiGLU sono state critiche per raggiungere un'alta accuratezza, mentre il meccanismo di attenzione stesso era essenziale per catturare complesse interazioni multi-conduttore (i baseline MLP non sono riusciti a fornire predizioni utilizzabili).

Significato

Il paper afferma che AttentionCap offre un valore altamente pratico per i moderni workflow di Electronic Design Automation (EDA). Superando i limiti dei modelli a strati e conduttori fissi, fornisce una soluzione unificata e trasferibile per l'estrazione full-chip. La capacità di addestrare su dati sintetici e trasferire a nuovi nodi di processo con dati minimi affronta il principale collo di bottiglia nello sviluppo di modelli di capacità per i nodi avanzati. Gli autori posizionano AttentionCap non solo come un miglioramento incrementale, ma come un cambiamento fondamentale verso un'estrazione parassita basata sul deep learning scalabile che può adattarsi all'evoluzione della complessità del design IC.