Technische Samenvatting: RulePlanner

Probleemstelling

Vloerplanning is een kritieke, NP-hard-fase in het moderne ontwerp van Application-Specific Integrated Circuits (ASIC's), verantwoordelijk voor het bepalen van de coördinaten en vormen van functionele modules. Naarmate technologieknopen schalen (bijvoorbeeld naar 5 nm) en ontwerpen zich verplaatsen naar 3D-scenario's met meerdere gestapelde lagen, is de complexiteit om te voldoen aan hardwareontwerpregels aanzienlijk toegenomen. Deze regels omvatten randbeperkingen (het uitlijnen van blokken met specifieke terminals), groeperingsbeperkingen (fysiek aanliggende blokken voor spanningseilanden), uitlijning van blokken tussen verschillende chips, pre-plaatsingseisen, niet-overlappendheid, het passen in een omlijning en vormbeperkingen.

Huidige state-of-the-art-methoden, waaronder analytische, op heuristieken gebaseerde en bestaande versterkingsleer (RL) -benaderingen, worstelen met het gelijktijdig hanteren van deze beperkingen. De meeste methoden zijn op maat gemaakt voor specifieke regels (bijvoorbeeld niet-overlappendheid of uitlijning) en slagen er vaak niet in om anderen gelijktijdig te voldoen. Bijgevolg vereisen schendingen van onbehandelde regels arbeidsintensieve, tijdrovende handmatige nabewerking door expert-engineers. Bestaande RL-methoden vertrouwen doorgaans op het opnemen van straffen in beloningsfuncties, wat vaak onvoldoende is om complexe, harde beperkingen nauwkeurig aan te pakken zonder uitgebreide fijnafstemming of zonder te convergeren naar geldige oplossingen.

Methodologie

Het artikel stelt RulePlanner voor, een deep reinforcement learning-framework dat is ontworpen om de verwerking van diverse hardwareontwerpregels in 3D-vloerplanning te verenigen. De aanpak formuleert het probleem als een episodisch Markov-beslissingsproces (MDP) dat wordt opgelost door een actor-critic-agent. De kerninnovatie ligt in een unified framework dat bestaat uit drie belangrijke componenten:

1. Nieuwe Matrixrepresentaties voor Ontwerpregels

In plaats van beperkingen uitsluitend als zachte straffen te behandelen, introduceert RulePlanner expliciete matrixrepresentaties om ontwerpregels te modelleren:

• Masker voor Aanliggende Terminal: Een matrix $T \in \mathbb{R}^{W \times H}$ waarbij elk element de Manhattan-afstand vertegenwoordigt tussen een potentiële blokkpositie en een vereiste aanliggende terminal. Dit modelleert randbeperkingen.
• Masker voor Aanliggend Blok: Een matrix $B \in \mathbb{R}^{W \times H}$ die de aanliggende lengte vertegenwoordigt tussen een verplaatsbaar blok en reeds geplaatste blokken. Dit modelleert groeperingsbeperkingen (bijvoorbeeld spanningseilanden).
• Uitlijningsmasker: Wordt gebruikt om uitlijningsbeperkingen van blokken tussen verschillende chips te modelleren.

Deze maskers worden efficiënt berekend met GPU-parallelisatie (bijvoorbeeld meshgrid-operaties) om de rekenkosten van het evalueren van alle mogelijke posities te hanteren.

2. Beperkingen van de Actieruimte

In plaats van uitsluitend te vertrouwen op beloningsstraffen om ongeldige bewegingen te ontmoedigen, past RulePlanner harde beperkingen direct toe op de actieruimte om ongeldige acties te filteren voordat ze worden bemonsterd.

• Positiefiltering: Het beleidsnetwerk genereert logits voor blokkposities. Een binaire Beschikbaarheidsmasker ($M$) wordt geconstrueerd door de binariseerde maskers voor aanliggende terminal, aanliggend blok, uitlijning en positie te combineren. Dit masker wordt toegepast op de uitgangsverdeling van het beleid (via elementsgewijze vermenigvuldiging en softmax) om de kansen voor ongeldige posities op nul te zetten, waardoor wordt gegarandeerd dat de agent alleen plaatsingen bemonstert die voldoen aan rand-, groeperings- en uitlijningsregels.
• Afplotten van Aspectratio: De aspectratio wordt gemodelleerd als een Gaussische verdeling, maar wordt afgeplakt aan het geldige bereik $[AR_{min}, AR_{max}]$ om vormbeperkingen te voldoen.

3. Kwantitatieve Analyse en Vormgeving van Beloningen

Het framework maakt gebruik van kwantitatieve metrieken om beperkingen te evalueren, die zijn geïntegreerd in de beloningsfunctie:

• Metrieken: Afstand blok-terminal (te minimaliseren), aanliggende lengte blok-blok (te maximaliseren), uitlijningsscore (te maximaliseren), Half-Perimeter Wire Length (HPWL) en overlap.
• Beloningsfunctie: Er wordt een dicht beloningsschema gebruikt, met inbegrip van zelfadaptieve normalisatie om te handelen met de variërende groottes van verschillende metrieken (bijvoorbeeld HPWL versus uitlijningsscores). De beloning bevat gewogen termen voor deze metrieken, waardoor het beleid wordt geleid om meerdere regels gelijktijdig te voldoen.

Modelarchitectuur

• Input: De toestand bestaat uit gestapelde matrixen voor ontwerpregels (maskers, canvas, draadmasker) en een netlistgrafiek.
• Encoder: Een op Transformer gebaseerde encoder verwerkt de netlistgrafiek, terwijl een CNN de ruimtelijke matrixen verwerkt.
• Hybride Actieruimte: De agent geeft een discrete positie $(x, y)$ en een continue aspectratio $AR$ uit.
• Training: Het systeem gebruikt Proximal Policy Optimization (PPO) met een hybride actieruimte.

Belangrijkste Bijdragen

1. Unified Framework voor Diverse Regels: RulePlanner wordt gepresenteerd als het eerste framework dat in staat is om gelijktijdig meer dan zeven industriële ontwerpregels te voldoen (rand, groepering, uitlijning tussen chips, pre-plaatsing, niet-overlappendheid, omlijning en vorm) in 3D-vloerplanning. Het framework is modulair en uitbreidbaar naar nieuwe regels.
2. Nieuwe Representaties: De introductie van maskers voor aanliggende terminal en aanliggend blok om complexe beperkingen expliciet te modelleren, en zo voorbij te gaan aan eenvoudige op straffen gebaseerde benaderingen.
3. Verfijning van de Actieruimte: De methode dwingt harde beperkingen af door de actieruimte te filteren via binaire maskers, waardoor wordt gegarandeerd dat bemonsterde acties inherent voldoen aan kritieke ontwerpregels, waardoor de zoekruimte wordt verkleind en de training wordt versneld.
4. Kwantitatieve Metrieken: Het voorstellen van specifieke metrieken (bijvoorbeeld afstand blok-blok) om complexe beperkingen kwantitatief te evalueren en te optimaliseren.

Experimentele Resultaten

De auteurs hebben RulePlanner geëvalueerd op publieke benchmarks (MCNC en GSRC) over drie taken met variërende combinaties van ontwerpbepalingen.

• Voldoen aan Beperkingen: RulePlanner behaalde een blok-terminal-afstand van 0,000 voor alle geteste schakelingen in Taak 1, wat een perfecte uitlijning met terminals aangeeft. In Taak 2 behaalde het gemiddeld een aanliggende lengte van blok-blok van 0,223, wat significant beter is dan de beste baseline (0,082).
• Vergelijking met Baselines: In vergelijking met analytische, op heuristieken gebaseerde (B*-3D-SA, WireMask-BBO) en op RL gebaseerde baselines (GraphPlace, DeepPlace, MaskPlace, FlexPlanner), slaagde RulePlanner er consequent in om alle ontwerpregels gelijktijdig te voldoen. Hoewel sommige baselines (bijvoorbeeld Analytical, WireMask-BBO) een lagere HPWL behaalden op specifieke grote schakelingen, slaagden ze er niet in om rand-, groeperings- of uitlijningsbeperkingen te voldoen, wat vaak resulteerde in aanzienlijke schendingen.
• Generalisatie en Overdraagbaarheid:
  • Zero-Shot: Een model dat is getraind op de n100-schakeling toonde sterke zero-shot generalisatie naar onbekende schakelingen (n10 tot n300), waarbij het hoge prestaties behield op metrieken voor het voldoen aan beperkingen zonder fijnafstemming.
  • Fijnafstemming: Fijnafstemming van voorgetrainde gewichten op grotere schakelingen (n200, n300) behaalde vergelijkbare of superieure prestaties ten opzichte van training vanaf nul, met aanzienlijk gereduceerde rekenkosten.

Betekenis en Claims

Het artikel beweert dat RulePlanner een kritieke bottleneck in modern chipontwerp aanpakt: het onvermogen van huidige geautomatiseerde tools om de veelzijdige en gelijktijdige beperkingen van 3D-IC-ontwerp aan te pakken. Door diverse regels te verenigen in een enkel framework via nieuwe matrixrepresentaties en beperkingen van de actieruimte, elimineert de methode de behoefte aan uitgebreide handmatige nabewerking.

De auteurs benadrukken dat hun aanpak een strategische verschuiving in prioriteit vertegenwoordigt: het waarborgen van volledige naleving van complexe ontwerpregels wordt als kritischer beschouwd dan het bereiken van de absolute laagste HPWL op zichzelf. De uitbreidbaarheid van het framework wordt benadrukt als een sleutelfunctie voor het aanpakken van opkomende uitdagingen in toekomstige chipontwerpen, zoals thermische optimalisatie (voorgesteld als een toekomstige richting) en andere impliciete beperkingen. Het werk toont aan dat deep reinforcement learning, wanneer verrijkt met domeinspecifieke structurele beperkingen en representaties, het NP-hard-probleem van beperkte 3D-vloerplanning effectief kan oplossen.