Résumé Technique : RulePlanner

Énoncé du Problème

La planification de l'étage (floorplanning) est une étape critique et NP-difficile dans la conception moderne de circuits intégrés spécifiques à une application (ASIC), responsable de la détermination des coordonnées et des formes des modules fonctionnels. À mesure que les nœuds technologiques évoluent (par exemple, vers 5 nm) et que les conceptions se dirigent vers des scénarios 3D avec plusieurs couches empilées, la complexité de la conformité aux règles de conception matérielle a considérablement augmenté. Ces règles incluent les contraintes de limite (alignement des blocs avec des terminaux spécifiques), les contraintes de regroupement (mise en contact physique de blocs pour les îlots de tension), l'alignement des blocs inter-puces, les exigences de pré-positionnement, l'absence de chevauchement, l'ajustement au contour et les contraintes de forme.

Les méthodes actuelles de l'état de l'art, incluant les approches analytiques, heuristiques et les méthodes d'apprentissage par renforcement (RL) existantes, peinent à gérer ces contraintes simultanément. La plupart des méthodes sont adaptées à des règles spécifiques (par exemple, l'absence de chevauchement ou l'alignement) et échouent souvent à satisfaire les autres simultanément. Par conséquent, les violations de règles non gérées nécessitent un post-traitement manuel laborieux et chronophage par des ingénieurs experts. Les méthodes RL existantes reposent généralement sur l'intégration de pénalités dans les fonctions de récompense, ce qui est souvent insuffisant pour traiter avec précision des contraintes complexes et rigides sans un ajustage fin extensif ou sans échouer à converger vers des solutions valides.

Méthodologie

L'article propose RulePlanner, un cadre d'apprentissage par renforcement profond conçu pour unifier la gestion de diverses règles de conception matérielle dans la planification d'étage 3D. L'approche formule le problème comme un processus de décision markovien (MDP) épisodique résolu par un agent acteur-critique. L'innovation centrale réside dans un cadre unifié comprenant trois composants clés :

1. Représentations Matricielles Novatrices pour les Règles de Conception

Au lieu de traiter les contraintes uniquement comme des pénalités douces, RulePlanner introduit des représentations matricielles explicites pour modéliser les règles de conception :

• Masque de Terminal Adjacent : Une matrice $T \in \mathbb{R}^{W \times H}$ où chaque élément représente la distance de Manhattan entre une position de bloc potentielle et un terminal adjacent requis. Cela modélise les contraintes de limite.
• Masque de Bloc Adjacent : Une matrice $B \in \mathbb{R}^{W \times H}$ représentant la longueur d'adjacence entre un bloc mobile et des blocs déjà placés. Cela modélise les contraintes de regroupement (par exemple, les îlots de tension).
• Masque d'Alignement : Utilisé pour modéliser les contraintes d'alignement des blocs inter-puces.

Ces masques sont calculés efficacement en utilisant la parallélisation GPU (par exemple, des opérations meshgrid) pour gérer le coût computationnel de l'évaluation de toutes les positions possibles.

2. Contraintes de l'Espace d'Action

Plutôt que de s'appuyer uniquement sur des pénalités de récompense pour décourager les mouvements invalides, RulePlanner applique des contraintes rigides directement à l'espace d'action pour filtrer les actions invalides avant leur échantillonnage.

• Filtrage de Position : Le réseau de politique génère des logits pour les positions de blocs. Un Masque de Disponibilité binaire ($M$) est construit en combinant les masques binarisés de terminal adjacent, de bloc adjacent, d'alignement et de position. Ce masque est appliqué à la distribution de sortie de la politique (via une multiplication élément par élément et un softmax) pour annuler les probabilités des positions invalides, garantissant que l'agent n'échantillonne que des placements satisfaisant les règles de limite, de regroupement et d'alignement.
• Recadrage du Rapport d'Aspect : Le rapport d'aspect est modélisé comme une distribution gaussienne mais est recadré à la plage valide $[AR_{min}, AR_{max}]$ pour satisfaire les contraintes de forme.

3. Analyse Quantitative et Façonnage de la Récompense

Le cadre utilise des métriques quantitatives pour évaluer la satisfaction des contraintes, qui sont intégrées dans la fonction de récompense :

• Métriques : Distance bloc-terminal (à minimiser), longueur d'adjacence bloc-bloc (à maximiser), score d'alignement (à maximiser), longueur de fil demi-périmètre (HPWL) et chevauchement.
• Fonction de Récompense : Un schéma de récompense dense est utilisé, incorporant une normalisation auto-adaptative pour gérer les magnitudes variables des différentes métriques (par exemple, HPWL par rapport aux scores d'alignement). La récompense inclut des termes pondérés pour ces métriques, guidant la politique à satisfaire plusieurs règles simultanément.

Architecture du Modèle

• Entrée : L'état consiste en des matrices de règles de conception empilées (masques, canevas, masque de fil) et un graphe de netlist.
• Encodeur : Un encodeur basé sur Transformer traite le graphe de netlist, tandis qu'un CNN traite les matrices spatiales.
• Espace d'Action Hybride : L'agent sort une position discrète $(x, y)$ et un rapport d'aspect continu $AR$.
• Entraînement : Le système utilise l'optimisation de politique proximale (PPO) avec un espace d'action hybride.

Contributions Clés

1. Cadre Unifié pour des Règles Diverses : RulePlanner est présenté comme le premier cadre capable de satisfaire simultanément plus de sept règles de conception industrielles (limite, regroupement, alignement inter-puces, pré-positionnement, absence de chevauchement, contour et forme) dans la planification d'étage 3D. Le cadre est modulaire et extensible à de nouvelles règles.
2. Représentations Novatrices : L'introduction de masques de terminal adjacent et de bloc adjacent pour modéliser explicitement des contraintes complexes, allant au-delà des approches basées sur de simples pénalités.
3. Élagage de l'Espace d'Action : La méthode impose des contraintes rigides en filtrant l'espace d'action via des masques binaires, garantissant que les actions échantillonnées satisfont intrinsèquement les règles de conception critiques, réduisant ainsi l'espace de recherche et accélérant l'entraînement.
4. Métriques Quantitatives : La proposition de métriques spécifiques (par exemple, la distance d'adjacence bloc-bloc) pour évaluer et optimiser quantitativement des contraintes complexes.

Résultats Expérimentaux

Les auteurs ont évalué RulePlanner sur des benchmarks publics (MCNC et GSRC) à travers trois tâches avec des combinaisons variables de contraintes de conception.

• Satisfaction des Contraintes : RulePlanner a atteint une distance bloc-terminal de 0,000 sur tous les circuits testés dans la Tâche 1, indiquant un alignement parfait avec les terminaux. Dans la Tâche 2, il a atteint une longueur d'adjacence bloc-bloc de 0,223 en moyenne, surpassant significativement la meilleure base de référence (0,082).
• Comparaison avec les Bases de Référence : Comparé aux bases de référence analytiques, heuristiques (B*-3D-SA, WireMask-BBO) et basées sur RL (GraphPlace, DeepPlace, MaskPlace, FlexPlanner), RulePlanner a constamment satisfait toutes les règles de conception simultanément. Alors que certaines bases de référence (par exemple, Analytical, WireMask-BBO) ont atteint un HPWL plus faible sur des circuits spécifiques de grande taille, elles ont échoué à satisfaire les contraintes de limite, de regroupement ou d'alignement, entraînant souvent des violations significatives.
• Généralisation et Transférabilité :
  • Zero-Shot : Un modèle entraîné sur le circuit n100 a démontré une forte généralisation zero-shot à des circuits non vus (n10 à n300), maintenant des performances élevées sur les métriques de satisfaction des contraintes sans ajustage fin.
  • Ajustage Fin : L'ajustage fin de poids pré-entraînés sur des circuits plus grands (n200, n300) a atteint des performances comparables ou supérieures à un entraînement à partir de zéro avec un coût computationnel considérablement réduit.

Importance et Revendications

L'article revendique que RulePlanner adresse un goulot d'étranglement critique dans la conception de puces modernes : l'incapacité des outils automatisés actuels à gérer les contraintes multifacettes et simultanées de la conception de circuits intégrés 3D. En unifiant des règles diverses dans un cadre unique grâce à des représentations matricielles novatrices et des contraintes d'espace d'action, la méthode élimine le besoin d'un post-traitement manuel extensif.

Les auteurs soulignent que leur approche représente un changement stratégique de priorité : assurer une conformité totale aux règles de conception complexes est jugé plus critique que d'atteindre le HPWL absolu le plus bas de manière isolée. L'extensibilité du cadre est mise en avant comme une caractéristique clé pour répondre aux défis émergents dans les conceptions de puces futures, telles que l'optimisation thermique (proposée comme une direction future) et d'autres contraintes implicites. Le travail démontre que l'apprentissage par renforcement profond, lorsqu'il est augmenté de contraintes structurelles et de représentations spécifiques au domaine, peut résoudre efficacement le problème NP-difficile de la planification d'étage 3D contrainte.