An Updated Assessment of Reinforcement Learning for Macro Placement

Dit artikel biedt een geactualiseerde beoordeling van Googles deep reinforcement learning-benadering voor macro-plaatsing door middel van verbeterde baselines, nieuwe benchmarks in sub-10nm-technologie en een uitgebreide evaluatie met commerciële tools, waarmee inzichten worden gegeven in reproduceerbaarheid en openstaande vragen voor de onderzoeksgemeenschap.

De kern

Stel je voor dat je een enorme, complexe stad moet bouwen op een klein stukje land. Je hebt grote gebouwen (zoals fabrieken, ziekenhuizen en scholen) en duizenden kleine huizen. De kunst is om de grote gebouwen zo neer te zetten dat de wegen ertussen zo kort mogelijk zijn, er geen files ontstaan en het hele systeem energiezuinig werkt. In de chipwereld noemen we dit macro-plaatsing.

Dit artikel is een eerlijke, grondige "check-up" van een beroemde nieuwe methode die door Google is bedacht om deze taak op te lossen met kunstmatige intelligentie (AI).

Hier is wat er aan de hand is, vertaald in begrijpelijke taal:

1. De Belofte van Google (De "Super-Held")

In 2021 kondigde Google aan dat hun AI, genaamd AlphaChip, binnen zes uur een chipontwerp kon maken dat beter was dan wat de beste menselijke ingenieurs in maanden tijd konden doen. Ze zeiden: "Onze robot is de nieuwe koning." Dit werd wereldwijd gevierd als een doorbraak.

2. De Twijfel (Het "Magie" Probleem)

Maar er was een probleem: Google gaf niet de volledige blauwdrukken of de exacte data vrij. Het was alsof ze zeiden: "Kijk, onze koekjes zijn lekkerder dan de jouwe," maar ze gaven niemand het recept of de ingrediënten om het na te maken. Wetenschappers over de hele wereld probeerden het te kopiëren, maar het lukte niet goed. De resultaten kwamen niet overeen. Dit creëerde twijfel: Was de AI echt zo goed, of was het gewoon geluk of een trucje?

3. De Nieuwe Studie (De "Eerlijke Rechter")

De auteurs van dit artikel (een team van experts) hebben besloten om de zaak op te helderen. Ze hebben niet zomaar gekeken; ze hebben alles zelf gebouwd, van de grond af, met open source tools. Ze hebben drie dingen gedaan:

• Ze hebben de AI getest: Ze hebben Google's AI (AlphaChip) opnieuw getraind, zowel vanaf nul als met de nieuwe "voorgekookte" versie die Google later vrijgaf.
• Ze hebben de "Oude Koning" versterkt: Ze hebben gekeken naar een oudere, klassieke methode genaamd Simulated Annealing (laten we het "De Slimme Optimist" noemen). In de vorige versie was deze methode wat traag en niet zo slim. De auteurs hebben hem echter opgepoetst met moderne technologie (meerdere processoren tegelijk) en slimme strategieën.
• Ze hebben echte tests gedaan: In plaats van te spelen met oude, simpele voorbeelden, hebben ze getest op de nieuwste, moeilijkste chipontwerpen (zoals die in moderne smartphones en servers worden gebruikt).

4. De Verbluffende Resultaten (De "Verjaardagsfeest")

Wat bleek eruit?

• De "Slimme Optimist" wint: De verbeterde klassieke methode (Simulated Annealing) bleek beter te presteren dan de AI van Google. Hij vond betere oplossingen voor de plaatsing van de gebouwen.
• De AI is duur en traag: Om de AI van Google te laten werken, heb je enorme rekenkracht nodig (veel dure grafische kaarten) en duurt het dagen. De "Slimme Optimist" deed hetzelfde werk in een fractie van de tijd en met een fractie van de energie.
• De AI is onvoorspelbaar: Soms gaf de AI een geweldig resultaat, en een paar minuten later (met dezelfde instellingen) gaf hij een slecht resultaat. Het was als een dobbelsteen die soms 6 gooit en soms 1, zonder dat je weet waarom. De klassieke methode was daarentegen betrouwbaar en consistent.
• De "Proef" was misleidend: De AI werd getraind om een "proefscore" te maximaliseren (een soort schatting van hoe goed het zou zijn). Maar toen ze de echte chip maakten en testten, bleek die schatting vaak niet overeen te komen met de werkelijke kwaliteit. Het was alsof je een auto test op een simulator die perfect lijkt, maar in het echte verkeer blijkt hij niet te remmen.

5. De Les voor de Wereld (Het "Recept")

De belangrijkste boodschap van dit artikel is niet dat AI nutteloos is, maar dat we voorzichtig moeten zijn met hype.

• Transparantie is cruciaal: Als je claimt dat je een nieuwe methode hebt die alles beter doet, moet je je recept (code en data) vrijgeven zodat iedereen het kan controleren. Zonder controle is wetenschap geen wetenschap, maar magie.
• Oude methoden zijn nog steeds sterk: Soms zijn de oude, goed begrepen methoden (zoals de "Slimme Optimist") nog steeds beter dan de nieuwste, dure AI, vooral als je niet genoeg tijd of geld hebt om de AI perfect te trainen.
• Reproduceerbaarheid: Wetenschap moet reproduceerbaar zijn. Als je niet kunt nadoen wat iemand anders heeft gedaan, dan is de ontdekking nog niet bewezen.

Kortom: Google's AI was een spannende nieuwe speler, maar na een eerlijke, strenge test bleek dat de "oude, slimme" methoden nog steeds de beste prestaties leverden, goedkoper waren en betrouwbaarder. De wetenschap heeft hierdoor geleerd dat we niet blindelings moeten vertrouwen op de nieuwste hype, maar altijd moeten controleren of de beloften ook in de praktijk waar zijn.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "An Updated Assessment of Reinforcement Learning for Macro Placement" in het Nederlands.

Titel: Een Bijgewerkte Beoordeling van Versterkingslering voor Macro-plaatsing

Auteurs: Chung-Kuan Cheng, Andrew B. Kahng, Sayak Kundu, Yucheng Wang en Zhiang Wang.

---

1. Het Probleem

Macro-plaatsing is een fundamenteel en NP-hard probleem in het fysieke ontwerp van VLSI-chips. Het gaat om het bepalen van de posities van grote circuitblokken (macros, zoals geheugenarrays en processorcores) op een chip-layout. De kwaliteit van deze plaatsing heeft directe invloed op de eindprestaties van de chip, waaronder stroomverbruik, prestaties (timing), oppervlakte en routeerbaarheid.

In juni 2021 publiceerden onderzoekers van Google Brain een paper in Nature waarin ze een Reinforcement Learning (RL) methode (Circuit Training, of CT) presenteerden die claimde binnen zes uur chip-plaatsingen te genereren die superieur of vergelijkbaar waren met menselijke experts en traditionele methoden. Echter, de reproduceerbaarheid van deze claims is omstreden geweest vanwege gebrek aan volledige toegang tot data en code, en onduidelijkheden over de gebruikte benchmarks en evaluatiemethoden. Dit paper stelt een strenge, transparante en reproduceerbare herbeoordeling van deze claims.

2. Methodologie

De auteurs hebben een uitgebreide experimentele opzet ontwikkeld om de prestaties van de Google-RL-methode (nu "AlphaChip" genoemd) eerlijk te vergelijken met geavanceerde alternatieven.

• Benchmarks en Technologie:
  • Het onderzoek focust op sub-10nm technologie (TSMC 7nm en open-source ASAP7 7nm).
  • Ze hebben de Google TSMC 7nm Ariane-testcase (oorspronkelijk in protobuf) geconverteerd naar LEF/DEF-formaat en schaalvarianten (x2 en x4) gemaakt.
  • Er zijn ook open-source testcases gebruikt: Ariane, BlackParrot (Quad-Core) en MemPoolGroup.
• Vergelijkende Methodes:
  • Circuit Training (CT): Drie varianten werden getest:
    1. CT-Scratch: Training van AlphaChip vanaf nul.
    2. CT-AC: Fijnafstemming (fine-tuning) van het vooraf getrainde model (pre-trained checkpoint) van Google.
    3. CT-Ours: Fijnafstemming van een model dat de auteurs zelf hebben voorgeprogrammeerd op specifieke testcase-varianten.
  • Simulated Annealing (SA): Een sterk verbeterde baseline. In plaats van de eerdere implementatie, gebruiken ze een "go-with-the-winners" (GWTW) metaheuristiek met multi-threading.
  • Andere Placers: RePlAce (academisch), CMP (commercieel placer van Cadence) en menselijke experts.
• Evaluatie Flow:
  • Een cruciaal verschil met eerdere studies is het gebruik van een volledige Place-and-Route (P&R) flow met commerciële tools (Cadence Genus en Innovus 21.1).
  • De "ware beloning" (true reward) wordt bepaald door post-route metrics: stroomverbruik, performance (WNS/TNS), oppervlakte en routeerbaarheid.
  • De auteurs hebben de compute-resources (GPU's en CPU's) en het aantal iteraties (verhoogd naar 400) zorgvuldig gekozen om te voldoen aan de specificaties van Google en convergentie te garanderen.

3. Belangrijkste Bijdragen

1. Verbeterde SA Baseline: De auteurs hebben een nieuwe SA-implementatie ontwikkeld die gebruikmaakt van multi-threading en de "go-with-the-winners" strategie. Deze methode bereikt een tot 26% betere proxy-cost binnen dezelfde runtime, maar gebruikt slechts een kwart van de rekenkracht van eerdere SA-implementaties.
2. Sub-10nm Experimentele Ondersteuning: Ze hebben publieke benchmarks beschikbaar gesteld voor TSMC 7nm (geconverteerd van protobuf naar LEF/DEF) en ASAP7, inclusief schaalvarianten om de schaalbaarheid van algoritmen te testen.
3. Pre-training Analyse: Er is een gedetailleerde studie uitgevoerd naar de effectiviteit van pre-training (volgens de instructies in de Circuit Training repository) en de impact van dataset-diversiteit op convergentie.
4. Reproduceerbaarheid en Transparantie: Alle data, scripts, flows en resultaten zijn openbaar gemaakt in de MacroPlacement GitHub repository. De auteurs benadrukken de noodzaak van "frictieloze reproduceerbaarheid" in het EDA-onderzoek.

4. Resultaten

De resultaten tonen aan dat de eerdere claims van de Nature-paper niet volledig standhouden onder strenge, reproduceerbare omstandigheden:

• Prestatie van Simulated Annealing (SA): De verbeterde SA-methode presteert consistent beter dan de nieuwste AlphaChip-versies (zowel CT-Scratch als CT-AC) op het gebied van:
  • Gefrouteerde bedrading (rWL): SA levert in 7 van de 9 gevallen een betere rWL op.
  • Proxy Cost: SA wint in 6 van de 9 gevallen.
  • Resource Efficiency: SA gebruikt aanzienlijk minder resources (CPU-uren) dan RL, die duizenden GPU-uren vereist.
• Menselijke Experts: Voor grote, complexe ontwerpen (zoals BlackParrot en MemPoolGroup) presteren menselijke experts vaak beter dan AlphaChip op de uiteindelijke PPA-metrics (Power, Performance, Area).
• Schaalbaarheid en Stabiliteit:
  • Bij de grootste testcase (CT-Ariane-X4, 532 macros) faalde training vanaf nul (divergentie) en presteerde fine-tuning slechter dan SA.
  • De pre-training methode toont beperkingen: hogere diversiteit in de trainingsdataset leidt vaak tot divergentie, en pre-training op kleinere netlists helpt niet altijd bij het oplossen van grotere problemen.
• Correlatie Proxy Cost vs. Echte Metrics: Er is een zwakke correlatie gevonden tussen de "proxy cost" (die het RL-agent optimaliseert: wirelength, dichtheid, congestie) en de uiteindelijke post-route PPA-metrics. Dit suggereert dat het optimaliseren van de proxy cost geen betrouwbare strategie is voor het bereiken van de beste chip-prestaties.

5. Betekenis en Conclusie

Dit paper is van groot belang voor de EDA- en AI-gemeenschap om de volgende redenen:

• Validatie van Klassieke Methoden: Het bewijst dat goed geoptimaliseerde klassieke heuristieken (zoals Simulated Annealing) nog steeds superieur kunnen zijn aan geavanceerde Deep Reinforcement Learning-methoden voor complexe combinatorische optimalisatieproblemen zoals macro-plaatsing, vooral gezien de enorme kosten en onzekerheid van RL.
• Kritiek op RL-claims: Het paper ondermijnt de claim dat RL-methoden "superieur of vergelijkbaar" zijn aan menselijke experts in alle scenario's, en benadrukt dat de eerdere resultaten mogelijk te danken waren aan onvolledige baselines of niet-reproduceerbare setups.
• Reproduceerbaarheid als Fundament: Het paper pleit krachtig voor open data, code en gedetailleerde documentatie. Het toont aan dat zonder volledige transparantie, wetenschappelijke vooruitgang wordt vertraagd en misleidende conclusies kunnen worden getrokken.
• Toekomstige Richting: Het stelt dat er nog veel onderzoek nodig is om de schaalbaarheid van RL voor grote ontwerpen te verbeteren en om de kloof tussen de geoptimaliseerde proxy-metrics en de echte fysieke chip-metrics te dichten.

Kortom, terwijl AI/ML veelbelovend is, toont deze studie aan dat voor macro-plaatsing op sub-10nm technologie, zorgvuldig ontworpen klassieke methoden momenteel nog de maatstaf zijn voor kwaliteit en efficiëntie.