🤖 machine learning

Addressing Large Action Spaces in 3D Floorplanning via Spatial Generalization

Dit paper introduceert een methode voor 3D-vloerplanning die schaalbaarheidsproblemen oplost door gebruik te maken van een continue actie-representatie en ruimtelijke generalisatie, waardoor modellen effectief kunnen leren zelfs wanneer ze alleen zijn getraind op willekeurige vloerplannen.

Oorspronkelijke auteurs: Fin Amin, Nirjhor Rouf, Tse-Han Pan, Sounak Dutta, Md Kamal Ibn Shafi, Paul D. Franzon

Gepubliceerd 2026-03-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fin Amin, Nirjhor Rouf, Tse-Han Pan, Sounak Dutta, Md Kamal Ibn Shafi, Paul D. Franzon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kunst van het 3D-Puzzelen: Hoe een AI beter leert door te dromen in vloeiende lijnen

Stel je voor dat je een enorme, complexe legpuzzel moet maken, maar dan in 3D. Je hebt honderden blokken (zoals processoronderdelen) die je in een klein doosje moet passen. Het doel? Zorg dat de draden tussen de blokken zo kort mogelijk zijn, dat het niet te heet wordt en dat alles netjes past. Dit noemen ingenieurs "floorplanning" (het inrichten van de vloerplaat).

Het probleem is dat dit een van de moeilijkste puzzels ter wereld is. Er zijn zoveel manieren om de blokken te plaatsen, dat zelfs de slimste computers er duizenden jaren over zouden doen om de perfecte oplossing te vinden.

Het oude probleem: Het rooster van de "strenge leraar"
Vroeger probeerden computers dit op te lossen door de ruimte in te delen in een heel fijn rooster van vierkantjes (net als een schaakbord, maar dan in 3D). De computer moest dan kiezen: "Zet blok A op vakje 1, 2 of 3?"
Dit is als een strenge leraar die zegt: "Je mag alleen op de lijntjes van het rooster staan."

Het nadeel: Als de computer een fout maakt, leert hij alleen van dat ene vakje. Als hij net naast het vakje had moeten staan, krijgt hij geen feedback. Het is alsof je probeert een bal te gooien, maar je mag alleen op de lijnen van de vloer staan. Als je net 1 centimeter naast de lijn staat, leer je niets. Dit werkt niet goed als het rooster heel groot is.

De nieuwe oplossing: De "vloeibare droom" (SGF)
De onderzoekers van deze paper (uit North Carolina State University) hebben een slimme nieuwe manier bedacht. Ze noemen het SGF (Spatial Generalization for Floorplanning).

In plaats van te denken in stijve vierkantjes, laten ze de AI dromen in vrije, vloeibare ruimte.

De analogie: Stel je voor dat je een klei-figuurtje maakt. In het oude systeem moest je het figuurtje precies op de lijnen van een raster plakken. In het nieuwe systeem mag je het figuurtje overal neerzetten. Als je het een beetje naar links duwt, ziet het er bijna hetzelfde uit als als je het op de oorspronkelijke plek had gezet.
De magie: Omdat de ruimte "vloeibaar" is, leert de AI dat een kleine beweging naar links of rechts bijna hetzelfde resultaat geeft. Als de AI een fout maakt, leert hij niet alleen van die ene fout, maar ook van alle plekken eromheen. Het is alsof de AI een "gevoel" krijgt voor de ruimte, net zoals een mens dat heeft.

Het geheim: "Dichtbij is hetzelfde"
Het belangrijkste idee in dit paper is dat dingen die dicht bij elkaar liggen, ook vergelijkbare resultaten geven.

Als je een blokje op positie X zet, is het resultaat (bijvoorbeeld de lengte van de draden) bijna hetzelfde als als je het op positie X+1 zet.
De AI maakt gebruik van dit gevoel. Hij hoeft niet elke mogelijke plek uit te proberen. Hij kan "gissen" in de buurt van een goede plek en toch iets leren.

De gekke proef: Leren van willekeur
Het meest verbazingwekkende aan dit onderzoek is hoe ze de AI trainden.
Normaal gesproken train je een AI met voorbeelden van experts (mensen die al jaren vloerplannen maken). Maar deze onderzoekers deden iets anders: ze lieten de AI willekeurig blokken neerzetten.

De analogie: Het is alsof je een kind leert koken door hem te laten staan in de keuken en willekeurig ingrediënten door elkaar te gooien. Je zou denken dat hij nooit iets goeds leert.
Het resultaat: Maar omdat de AI het "gevoel" voor de ruimte (dat de vloeibare ruimte) had, kon hij uit die chaotische, willekeurige pogingen leren wat wel en wat niet werkt. Hij zag: "Oh, als ik dit blokje hier zet, wordt het erg warm. Als ik het een beetje naar links schuif, is het koeler." Zelfs zonder een meesterkok (expert) om naar te kijken, leerde de AI door zijn eigen intuïtie.

Waarom is dit belangrijk?

Schalen: Het werkt ook voor heel grote puzzels. Omdat de AI niet meer vastzit aan een rooster van miljoenen vakjes, kan hij grotere ontwerpen aan.
Efficiëntie: De AI leert sneller omdat hij van elke beweging leert, niet alleen van de exacte keuze.
Toekomst: Dit maakt het makkelijker om 3D-chips te ontwerpen (waarbij blokken boven elkaar worden gestapeld), wat essentieel is voor de snellere en krachtigere computers van de toekomst.

Kort samengevat:
De onderzoekers hebben ontdekt dat je een computer niet hoeft te dwingen om op een streng rooster te denken. Als je hem toestaat om in een vloeibare, vlotte ruimte te denken, leert hij sneller, beter en kan hij zelfs leren van zijn eigen fouten zonder dat er een expert bij nodig is. Het is de overstap van "stappen op de tegels" naar "zwemmen in de oceaan".

Titel: Het Aanpakken van Grote Actieruimtes in 3D-Plattegrondontwerp via Ruimtelijke Generalisatie

1. Het Probleem

Plattegrondontwerp (floorplanning) is een cruciale, maar NP-moeilijke stap in het ontwerp van geïntegreerde schakelingen (IC's). De kwaliteit van de plaatsing van functionele blokken heeft een directe impact op vermogen, prestaties, oppervlakte en thermische eigenschappen.

De huidige staat der kunst in machine learning (ML)-gebaseerde aanpakken, zoals CircuitTraining en Chipformer, leunt zwaar op discrete roosterrepresentaties. Hierbij wordt het canvas opgedeeld in een vast raster van mogelijke locaties. Dit leidt tot twee fundamentele beperkingen:

Schaalbaarheid: De grootte van de actieruimte groeit lineair met de resolutie van het canvas. Voor 3D-ontwerpen (met meerdere lagen) explodeert de actieruimte combinatorisch, wat rekenkundig onbeheersbaar wordt voor grotere ontwerpen.
Gebrek aan Generalisatie: In discrete modellen ontvangt het model slechts een gradiëntfeedback voor de exact gekozen locatie. Er is geen signaal voor nabijgelegen locaties, wat het leren van ruimtelijke patronen inefficiënt maakt en generalisatie beperkt.

2. Methodologie: Spatial Generalization for Floorplanning (SGF)

De auteurs introduceren SGF, een methode die de probleemrepresentatie verschuift van een discrete naar een continue actieruimte. De kern van de aanpak is het benutten van het concept van L-actiesimilariteit (L-action similarity).

Kernconcepten:

L-actiesimilariteit: Dit is de inductieve bias dat de "opbrengst" (reward) van een actie vergelijkbaar is met die van nabijgelegen acties in de plaatsingsruimte. Kleine veranderingen in positie leiden tot kleine veranderingen in het ontwerpresultaat (bijv. draadlengte).
Decoupling: Door te leren in een continue ruimte en pas op het moment van inferentie te discretiseren, wordt de outputgrootte van het model losgekoppeld van de canvasresolutie.

Architectuur:
SGF combineert Decision Transformers (DT) met de Wolpertinger-agent architectuur:

Actor (Decision Transformer): Voorspelt een continu punt $\hat{\alpha}_t$ in de ruimte $[0, 1]^3$ (de geschatte ideale locatie voor de volgende module).
k-NN Module: Zoekt de $k$ dichtstbijzijnde legale discrete acties in het rooster rondom het voorspelde continue punt.
Critic (Decision Transformer): Evalueert de $k$ kandidaat-acties door de "return-to-go" (de verwachte toekomstige beloning) te voorspellen. De actie die het dichtst bij het doelpunt ligt, wordt geselecteerd.

Training zonder Experts:
Een opvallend aspect van deze studie is dat het model uitsluitend wordt getraind op willekeurige plattegronden (random trajectories), in plaats van op expertdata. De auteurs beweren dat de ruimtelijke structuur (L-actiesimilariteit) voldoende is om betekenisvol gedrag te leren, zelfs zonder optimale voorbeelden. Dit wordt gefaciliteerd door technieken die lijken op Hindsight Experience Replay (HER) en Goal-Conditioned Supervised Learning (GCSL).

3. Belangrijkste Bijdragen

Formalisatie als SLDAS: Het paper formaliseert chip-plaatsing als een Structured Large Discrete Action Space (SLDAS). Dit is een wiskundige formalisering die eerder niet in de context van chip-layout is toegepast.
Ruimtelijke Generalisatie: Het bewijst dat continue representaties de inductieve bias van menselijke ontwerpers (dat nabije locaties vergelijkbare resultaten geven) effectiever kunnen coderen dan discrete roosters.
Efficiëntie: De methode elimineert de noodzaak voor een enorme outputlaag (softmax over het hele rooster), waardoor het schaalbaar wordt voor complexe 3D-ontwerpen.
Robuustheid: Het model leert effectieve plaatsingspatronen zonder toegang tot experttrajecten, wat de kosten voor datacollectie drastisch verlaagt.

4. Resultaten

De auteurs vergelijken SGF met Chipformer (een toonaangevende discrete methode) op standaard benchmarks (ami33, ami49, n50, n100, ibm6).

Prestaties: SGF behaalt concurrerende en vaak superieure resultaten in termen van Manhattan-draadlengte, ondanks dat het alleen offline is getraind op willekeurige data.
- Voorbeeld (ami49): SGF bereikte 32.304 vs. Chipformer 37.530 (lagere is beter).
- Voorbeeld (n50): SGF bereikte 8.747 vs. Chipformer 13.447.
Generalisatie: Terwijl Chipformer ondanks uitgebreide online fine-tuning (extra rollouts) geen consistente verbetering boekte, presteerde SGF beter na alleen offline training. Dit suggereert dat discrete modellen worstelen met generalisatie in grote actieruimtes.
Voorspellend Vermogen: De critic van SGF toont een afnemende voorspellingsfout naarmate meer modules zijn geplaatst, wat aantoont dat het model de ruimtelijke structuur van het probleem begrijpt.

5. Betekenis en Conclusie

Dit werk markeert een verschuiving in hoe ML-toepassingen voor elektronisch ontwerp (EDA) worden benaderd.

Fundamentele Inzicht: Het toont aan dat het probleem van plattegrondontwerp een specifieke structuur heeft (ruimtelijke gladheid) die beter wordt benut door continue actieruimtes dan door discrete roosters.
Toekomstperspectief: De methode opent de deur voor schaalbare 3D-plaatsing zonder dat de rekenkracht exponentieel moet toenemen met de canvasgrootte.
Praktische Impact: Het vermogen om te leren van niet-geoptimaliseerde, willekeurige data maakt de toepassing van RL in EDA veel praktischer, omdat het geen dure expertdatasets vereist.

Kortom, SGF bewijst dat het benutten van ruimtelijke inductieve bias via continue actie-representaties de schaalbaarheidsproblemen van huidige ML-methoden voor chipontwerp kan oplossen.