Riepilogo Tecnico: RulePlanner

Enunciato del Problema

Il floorplanning è una fase critica e NP-difficile nella progettazione moderna di Circuiti Integrati Specifici per Applicazione (ASIC), responsabile della determinazione delle coordinate e delle forme dei moduli funzionali. Man mano che i nodi tecnologici si riducono (ad esempio, fino a 5 nm) e i progetti si spostano verso scenari 3D con più livelli sovrapposti, la complessità dell'aderenza alle regole di progettazione hardware è aumentata significativamente. Queste regole includono vincoli di confine (allineamento dei blocchi con terminali specifici), vincoli di raggruppamento (blocco adiacenti fisicamente per isole di tensione), allineamento dei blocchi tra i die, requisiti di pre-posizionamento, non sovrapposizione, adattamento al contorno e vincoli di forma.

I metodi attuali all'avanguardia, inclusi quelli analitici, basati su euristiche e gli approcci esistenti di apprendimento per rinforzo (RL), faticano a gestire questi vincoli simultaneamente. La maggior parte dei metodi è adattata a regole specifiche (ad esempio, non sovrapposizione o allineamento) e spesso fallisce nel soddisfare altre contemporaneamente. Di conseguenza, le violazioni di regole non gestite richiedono un post-processing manuale, laborioso e dispendioso in termini di tempo, da parte di ingegneri esperti. I metodi RL esistenti si basano tipicamente sull'incorporazione di penalità nelle funzioni di ricompensa, il che è spesso insufficiente per affrontare con precisione vincoli complessi e rigidi senza un'ampia ottimizzazione fine o senza convergere a soluzioni valide.

Metodologia

Il documento propone RulePlanner, un framework di apprendimento per rinforzo profondo progettato per unificare la gestione di diverse regole di progettazione hardware nel floorplanning 3D. L'approccio inquadra il problema come un Processo Decisionale di Markov (MDP) episodico risolto da un agente attore-critico. L'innovazione centrale risiede in un framework unificato composto da tre componenti chiave:

1. Nuove Rappresentazioni Matriciali per le Regole di Progettazione

Invece di trattare i vincoli esclusivamente come penalità soft, RulePlanner introduce rappresentazioni matriciali esplicite per modellare le regole di progettazione:

• Maschera del Terminale Adiacente: Una matrice $T \in \mathbb{R}^{W \times H}$ in cui ogni elemento rappresenta la distanza Manhattan tra una posizione potenziale del blocco e un terminale adiacente richiesto. Questo modella i vincoli di confine.
• Maschera del Blocco Adiacente: Una matrice $B \in \mathbb{R}^{W \times H}$ che rappresenta la lunghezza di adiacenza tra un blocco mobile e i blocchi già posizionati. Questo modella i vincoli di raggruppamento (ad esempio, isole di tensione).
• Maschera di Allineamento: Utilizzata per modellare i vincoli di allineamento dei blocchi tra i die.

Queste maschere sono calcolate in modo efficiente utilizzando la parallelizzazione GPU (ad esempio, operazioni meshgrid) per gestire il costo computazionale della valutazione di tutte le posizioni possibili.

2. Vincoli dello Spazio delle Azioni

Invece di affidarsi esclusivamente alle penalità di ricompensa per scoraggiare mosse non valide, RulePlanner applica vincoli rigidi direttamente allo spazio delle azioni per filtrare le azioni non valide prima che vengano campionate.

• Filtraggio delle Posizioni: La rete politica genera logit per le posizioni dei blocchi. Una Maschera di Disponibilità binaria ($M$) è costruita combinando le maschere adiacenti binarizzate (terminale, blocco, allineamento) e la maschera di posizione. Questa maschera viene applicata alla distribuzione di output della politica (tramite moltiplicazione elemento per elemento e softmax) per azzerare le probabilità delle posizioni non valide, assicurando che l'agente campioni solo posizionamenti che soddisfano le regole di confine, raggruppamento e allineamento.
• Ritaglio del Rapporto d'Aspect: Il rapporto d'aspect è modellato come una distribuzione Gaussiana ma è ritagliato nell'intervallo valido $[AR_{min}, AR_{max}]$ per soddisfare i vincoli di forma.

3. Analisi Quantitativa e Modellazione della Ricompensa

Il framework impiega metriche quantitative per valutare la soddisfazione dei vincoli, che sono integrate nella funzione di ricompensa:

• Metriche: Distanza blocco-terminale (da minimizzare), lunghezza di adiacenza blocco-blocco (da massimizzare), punteggio di allineamento (da massimizzare), Lunghezza del Filo a Semiperimetro (HPWL) e sovrapposizione.
• Funzione di Ricompensa: Viene utilizzato uno schema di ricompensa densa, che incorpora una normalizzazione auto-adattiva per gestire le diverse magnitudini delle diverse metriche (ad esempio, HPWL rispetto ai punteggi di allineamento). La ricompensa include termini ponderati per queste metriche, guidando la politica a soddisfare più regole simultaneamente.

Architettura del Modello

• Input: Lo stato è composto da matrici di regole di progettazione impilate (maschere, telaio, maschera dei fili) e un grafo netlist.
• Codificatore: Un codificatore basato su Transformer elabora il grafo netlist, mentre una CNN elabora le matrici spaziali.
• Spazio delle Azioni Ibrido: L'agente outputta una posizione discreta $(x, y)$ e un rapporto d'aspect continuo $AR$.
• Addestramento: Il sistema utilizza l'Ottimizzazione della Politica Prossimale (PPO) con uno spazio delle azioni ibrido.

Contributi Chiave

1. Framework Unificato per Regole Diverse: RulePlanner è presentato come il primo framework capace di soddisfare simultaneamente oltre sette regole di progettazione industriali (confine, raggruppamento, allineamento tra die, pre-posizionamento, non sovrapposizione, contorno e forma) nel floorplanning 3D. Il framework è modulare ed estendibile a nuove regole.
2. Nuove Rappresentazioni: L'introduzione di maschere di terminale adiacente e di blocco adiacente per modellare esplicitamente vincoli complessi, andando oltre i semplici approcci basati su penalità.
3. Potatura dello Spazio delle Azioni: Il metodo impone vincoli rigidi filtrando lo spazio delle azioni tramite maschere binarie, assicurando che le azioni campionate soddisfino intrinsecamente le regole di progettazione critiche, riducendo così lo spazio di ricerca e accelerando l'addestramento.
4. Metriche Quantitative: La proposta di metriche specifiche (ad esempio, distanza di adiacenza blocco-blocco) per valutare e ottimizzare quantitativamente i vincoli complessi.

Risultati Sperimentali

Gli autori hanno valutato RulePlanner su benchmark pubblici (MCNC e GSRC) in tre compiti con combinazioni variabili di vincoli di progettazione.

• Soddisfazione dei Vincoli: RulePlanner ha raggiunto una distanza blocco-terminale di 0.000 su tutti i circuiti testati nel Compito 1, indicando un allineamento perfetto con i terminali. Nel Compito 2, ha raggiunto una lunghezza di adiacenza blocco-blocco media di 0.223, superando significativamente il miglior baseline (0.082).
• Confronto con i Baseline: Rispetto ai baseline analitici, euristici (B*-3D-SA, WireMask-BBO) e basati su RL (GraphPlace, DeepPlace, MaskPlace, FlexPlanner), RulePlanner ha soddisfatto costantemente tutte le regole di progettazione simultaneamente. Mentre alcuni baseline (ad esempio, Analitico, WireMask-BBO) hanno ottenuto un HPWL inferiore su specifici circuiti grandi, hanno fallito nel soddisfare vincoli di confine, raggruppamento o allineamento, risultando spesso in violazioni significative.
• Generalizzazione e Trasferibilità:
  • Zero-Shot: Un modello addestrato sul circuito n100 ha dimostrato una forte generalizzazione zero-shot su circuiti non visti (da n10 a n300), mantenendo alte prestazioni sulle metriche di soddisfazione dei vincoli senza ottimizzazione fine.
  • Fine-Tuning: Il fine-tuning dei pesi pre-addestrati su circuiti più grandi (n200, n300) ha raggiunto prestazioni comparabili o superiori rispetto all'addestramento da zero con costi computazionali significativamente ridotti.

Significato e Affermazioni

Il documento afferma che RulePlanner affronta un collo di bottiglia critico nella progettazione moderna dei chip: l'incapacità degli attuali strumenti automatizzati di gestire i vincoli multifaccettati e simultanei della progettazione di IC 3D. Unificando regole diverse in un singolo framework attraverso nuove rappresentazioni matriciali e vincoli dello spazio delle azioni, il metodo elimina la necessità di un esteso post-processing manuale.

Gli autori sottolineano che il loro approccio rappresenta un cambiamento strategico nelle priorità: garantire la piena conformità a regole di progettazione complesse è considerato più critico rispetto al raggiungimento dell'HPWL assoluto più basso in isolamento. L'estendibilità del framework è evidenziata come una caratteristica chiave per affrontare le sfide emergenti nei futuri progetti di chip, come l'ottimizzazione termica (proposta come direzione futura) e altri vincoli impliciti. Il lavoro dimostra che l'apprendimento per rinforzo profondo, quando potenziato da vincoli strutturali specifici del dominio e rappresentazioni, può risolvere efficacemente il problema NP-difficile del floorplanning 3D vincolato.