🤖 machine learning

On the Limits of Machine-Learned Ranking for Modern Microarchitectural Policies

Dit artikel demonstreert dat hoewel door machine learning geleerde rangschikkingsmodellen effectief de geaggregeerde processorprestaties over variaties in structurele parameters kunnen voorspellen, ze fundamenteel falen in het betrouwbaar identificeren van lokale prestatieomkeringen in gedragsbeleidsregimes vanwege de afwezigheid van verborgen microarchitecturale toestanden in instructietracés, waardoor cyclusniveau-simulatie noodzakelijk wordt voor nauwkeurige design-ruimte exploratie.

Oorspronkelijke auteurs: Yanxin Zhang, Shayne Wadle, Yuxuan Xiong, Zheyu Fu, Trivikram Krishnamurthy, Karu Sankaralingam

Gepubliceerd 2026-08-04

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yanxin Zhang, Shayne Wadle, Yuxuan Xiong, Zheyu Fu, Trivikram Krishnamurthy, Karu Sankaralingam

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de ultieme racewagen probeert te bouwen. Je hebt een blauwdruk, maar het testen van elke mogelijke variatie van de motor, de banden en de aerodynamica door ze daadwerkelijk op een circuit te rijden, zou een eeuwigheid duren. Het zou een fortuin kosten en jaren in beslag nemen. Daarom gebruiken ingenieurs een "simulator" — een supersnelle computerprogramma dat fungeert als een virtueel circuit. Deze simulator is ongelooflijk nauwkeurig, maar nog steeds traag. Als je een miljoen verschillende ideeën wilt testen, duurt zelfs een snelle simulator te lang.

Dit is waar machine learning (AI) om de hoek komt kijken. Zie AI als een "glazen bol" die miljoenen races heeft bekeken. In plaats van elke draai van de motor te simuleren, kijkt de AI naar het ontwerp van de auto en raadt hoe snel deze zal gaan. Het is als een ervaren monteur die naar een blauwdruk kan kijken en zegt: "Die zal sneller zijn," zonder ooit een moersleutel aan te raken. De grote vraag voor computerwetenschappers is: Kan deze AI-glazen bol erop vertrouwd worden om de winnaar te kiezen wanneer twee ontwerpen heel dicht bij elkaar liggen? Of werkt het alleen wanneer de ene auto overduidelijk beter is dan de andere? Dit artikel duikt in die exacte vraag en test of AI de trage, gedetailleerde simulator kan vervangen voor de kleine, lastige beslissingen die er echt toe doen in modern computerontwerp.

De Glazen Bol versus de Stopwatch

De onderzoekers in dit artikel wilden vier verschillende soorten AI-"glazen bollen" (machine learning-voorspellers) testen. Hun doel was om te zien of deze AI's naar het ontwerp van een computerchip konden kijken en correct konden raden welke sneller zou zijn, zelfs wanneer de ontwerpen extreem vergelijkbaar waren. Ze testten dit in twee zeer verschillende scenario's, die ze het "Structurele" regime en het "Gedrags"-regime noemden.

Het Structurele Regime: De Obvious Giant
Eerst keken ze naar "Structurele Parameters". Stel je voor dat je een kleine fiets vergelijkt met een enorme vrachtwagen. De vrachtwagen heeft een bredere motor, een groter frame en meer wielen. In dit scenario zijn de verschillen groot en overduidelijk. De AI was hier erg goed in. Het kon ongeveer 77% tot 89% van de tijd correct voorspellen dat het "vrachtwagen"-ontwerp sneller zou zijn dan het "fiets"-ontwerp. Het leerde de grote, algemene regels van de weg.

De Contraintuïtieve Vensters: De Verborgen Valstrik
Echter, de onderzoekers stuitten op een verraderlijk probleem. Zelfs wanneer de AI het grote plaatje goed had, faalde het op de specifieke momenten die er het meest toe deden. Ze vonden "Contraintuïtieve Vensters" (Counter-Intuitive Windows of CIW's) — momenten waarop de AI voorspelde dat de "vrachtwagen" sneller zou zijn, maar de werkelijke simulatie liet zien dat de "fiets" op een fractie van een seconde daadwerkelijk won. Dit waren geen zeldzame fouten; ze kwamen voor in 22,4% van de momenten zonder gelijkspel.

Hier komt de crux: toen de onderzoekers controleerden of de AI deze specifieke momenten kon herkennen waarop de gebruikelijke regels werden doorbroken, presteerde de AI slechter dan een muntje opgooien. Bij deze lastige omdraaiingen lag de nauwkeurigheid van de AI slechts tussen de 23,3% en 39,9%. Het was als een weervoorspeller die geweldig is in het voorspellen van zonnige dagen, maar rampzalig in het voorspellen van de plotselinge, korte onweersbuien die je picknick verpesten. De AI leerde de "gemiddelde" trend, maar miste de lokale uitzonderingen waar de echte inzichten in het ontwerp verborgen liggen.

Het Gedragsregime: Het Touwtrekken
Vervolgens gingen ze over naar de "Gedragsbeleidsregels" (Behavioral Policies). Dit is alsof je twee racewagens vergelijkt die identiek zijn in grootte en gewicht, maar waarbij de één een iets andere brandstofinjectiestrategie heeft en de ander een ander algoritme voor bandenspanning. Deze verschillen zijn minuscuul, subtiel en hangen af van zaken die de AI niet kan zien, zoals de geschiedenis van wat de auto een seconde geleden deed.

In dit scenario had de AI het nog moeilijker.

Het Gelijkspelprobleem: In 37,8% van de vergelijkingen waren de twee ontwerpen zo perfect op elkaar afgestemd dat ze exact dezelfde tijd voltooiden. De AI kon geen winnaar kiezen omdat er geen winnaar was.
Het Margeprobleem: Voor de races die wel een winnaar hadden, was het verschil vaak slechts enkele cycli (een fractie van een seconde). De meeste van deze races hadden een marge van slechts enkele cycli.
De Baseline-fout: De onderzoekers vergeleken de geavanceerde AI-modellen met een eenvoudige "meerderheidsbaseline" — een domme regel die simpelweg voorspelt wie de winnaar is op basis van wie vaker won in het verleden, zonder naar de specifieke ontwerpdetails te kijken.
- Twee van de AI-modellen (NeuroScalar en SimNet) presteerden feitelijk slechter dan deze eenvoudige regel.
- Eén model (Concorde) was statistisch gezien gelijk aan de eenvoudige regel.
- Het beste model (OneDSE) versloeg de eenvoudige regel met slechts 2,1 procentpunt.

Waarom de AI het volledige plaatje niet kan zien

Het artikel betoogt dat dit niet komt doordat de AI-modellen "dom" zijn of niet slim genoeg, maar dat het een fundamentele beperking is van de informatie die ze mogen zien.

Stel je voor dat je probeert te raden wie een schaakspel heeft gewonnen door alleen naar het eindbord te kijken, maar je mag de stukken die zijn geslagen of de geschiedenis van de zetten niet zien. De "winnaar" hangt vaak af van verborgen details — zoals een stuk dat drie zetten geleden is verplaatst — die niet zichtbaar zijn in de huidige snapshot.

In computerchips hangt de "winnaar" van een prestatierace vaak af van de "verborgen microarchitecturale staat". Dit omvat zaken als wat er momenteel in het cachegeheugen staat, hoe vol de prefetch-queue is, of wat het vervangingsbeleid een moment geleden heeft besloten weg te gooien. De AI-modellen in deze studie mochten alleen naar de "instructiestroom" kijken — de lijst met commando's die de computer uitvoert. Ze konden de verborgen staat niet zien.

De onderzoekers gebruikten een wiskundig concept genaamd "Bayes-nauwkeurigheid" om te bewijzen dat als de winvoorwaarde afhangt van verborgen informatie die niet in de input zit, geen enkele hoeveelheid AI-slimheid dit kan oplossen. Zelfs als je de AI een supercomplex brein geeft, kan hij de verborgen staat niet raden die hij nooit heeft gezien. Het is also wordt geprobeerd de score van een wedstrijd te raden wanneer je alleen de spelers op het veld ziet, maar niet het scorebord of de fluit van de scheidsrechter.

De Conclusie: Wanneer de Glazen Bol te gebruiken

Dus, wat betekent dit voor de toekomst van computerontwerp?

AI is geweldig voor de "Grote Snij": Als je 100 verschillende chipontwerpen hebt en 90 daarvan zijn duidelijk slecht, dan is de AI perfect om ze snel uit te filteren. Het kan het "Structurele" regime aan waarbij de verschillen groot en overduidelijk zijn.
AI is nog GEEN vervanging voor de Stopwatch: Wanneer je bent afgedroogd tot de laatste twee ontwerpen die nek aan nek gaan, of wanneer je precies wilt weten waarom een ontwerp in een specifiek fractie van een seconde faalde, kan de AI niet vertrouwd worden. Het mist de "Contraintuïtieve Vensters" en slaagt er niet in om onderscheid te maken tussen ontwerpen die slechts enkele cycli van elkaar verschillen.
De "Verborgen Staat"-muur: Het artikel concludeert dat zolang we de AI alleen de lijst met instructies voeden (het "wat") en niet de verborgen interne staat (het "hoe" en "wanneer"), er een hard plafond zit aan hoe goed zij nauw aansluitende ontwerpen kan rangschikken.

Kortom, de AI-glazen bol is een fantastisch hulpmiddel om slechte ideeën snel te filteren, maar wanneer het aankomt op de laatste, zenuwslopende beslissingen tussen twee bijna perfecte ontwerpen, hebben we nog steeds de trage, gedetailleerde simulatie nodig om het echte antwoord te krijgen. De AI kan je vertellen dat de vrachtwagen meestal sneller is, maar hij kan je niet vertellen wanneer de fiets hem op een regenachtige dag toch even voorbijstreeft.

Technische Samenvatting: Over de Limieten van Machine Learning-gebaseerde Rangschikking voor Moderne Microarchitecturale Policies

Probleemstelling

Hoewel cyclus-niveau simulatie de gouden standaard blijft voor microarchitecturale design-space exploratie (DSE), beperkt de computationele kosten de breedte van de exploratie. Machine learning (ML) voorspellers zijn opgekomen om de processorprestaties sneller te benaderen dan simulatie. De bestaande literatuur evalueert deze voorspellers echter primair met regressiemetrieken (bijv. gemiddelde fout, cyclusnauwkeurigheid) of geaggregeerde rangschikkingen.

Dit artikel betoogt dat voor DSE de kritieke taak niet louter het reproduceren van de geaggregeerde prestaties of de gemiddelde hardware-ordening is, maar het betrouwbaar rangschikken van kandidaat-ontwerpen op individuele programmaphases (instructievensters), met name wanneer:

Structurele Omkeringen (Structural Reversals) optreden: Een configuratie die op basis van resource-prioriteiten trager wordt verwacht, is in werkelijkheid sneller in specifieke vensters.
Gedragsbeleidsregels (Behavioral Policies) nauw aansluiten: Moderne prefetching en replacement policies verschillen vaak slechts enkele cycli, waarbij de uitkomsten afhankelijk zijn van verborgen microarchitecturale staat die niet aanwezig is in de instructiestroom.

De centrale vraag is of ML-voorspellers de correcte ordening kunnen herstellen in deze "moeilijke" gevallen, of dat ze slechts dominante trends leren terwijl ze falen op de lokale omkeringen die drijven op architecturale inzichten.

Methodologie

Experimentele Opzet

De auteurs evalueren vier verschillende ML-voorspellerfamilies onder een verenigd protocol met 29 SPEC CPU2006 traces. De input-features zijn strikt microarchitectuur-onafhankelijk (Program Counter, opcode class, geheugenadres, bron/bestemmingsregisters), wat een lichtgewicht, "in-the-wild" implementatie simuleert waarbij simulator-specifieke staat (cache hits, prefetch confidence, replacement history) niet beschikbaar is.

De evaluatie richt zich op twee design-regimes:

Structurele Parameters (SP): Vijf processorconfiguraties variërend in resources zoals issue width, ROB grootte, LSQ capaciteit en cache grootte. Dit regime test het vermogen om Counter-Intuitive Windows (CIWs) te detecteren—vensters waar de configuratie die op basis van resource-prioriteiten trager wordt verwacht, in werkelijkheid sneller is.
Gedragsbeleidsregels (BP): Negen concurrerende policy stacks die state-of-the-art data prefetchers, instructie prefetchers en replacement policies combineren. Dit regime test het vermogen om hoog-geoptimaliseerde ontwerpen te onderscheiden waarbij de grondwaarheid-ties frequent voorkomen en de marges smal zijn.

Geëvalueerde Voorspellers

De studie instantieert vier representatieve modelfamilies, elk onafhankelijk getraind per configuratie om specialisatie te maximaliseren:

NeuroScalar-stijl: BiLSTM sequentie voorspeller.
SimNet-stijl: MLP/CNN latentie voorspeller.
Concorde-stijl: Window-summary voorspeller (distributionele features).
OneDSE-stijl: Transformer sequentie voorspeller.

Metrieken

De evaluatie geeft prioriteit aan rangschikkingskwaliteit boven regressiefout:

Pairwise Match: Nauwkeurigheid in het behouden van de strikte orde van cycli voor niet-getied vensters.
CIW Match: Nauwkeurigheid specifiek op vensters waar de verwachte hardware-prioriteit omkeert.
Baseline Vergelijking: Prestaties worden vergeleken met een feature-vrije meerderheidsbaseline (het voorspellen van de meest frequente winnaar tijdens de training) om te bepalen of het model context-afhankende ordening leert of simpelweg statische prioriteiten.
Margin Analyse: Nauwkeurigheid wordt geanalyseerd relatief aan het grondwaarheid-cyclusverschil (margin) tussen policies.

Belangrijkste Resultaten

1. Behavioral Policy (BP) Regime: Beperkt Signaal

In het BP-regime hebben ML-voorspellers moeite om eenvoudige baselines te overtreffen:

Ties en Marges: 37,8% van de paar-vensters zijn grondwaarheid-ties. Onder strikte paren heeft 50,8% een marge van ≤25 cycli.
Baseline Prestaties: Drie van de vier modelfamilies (LSTM, SimNet, Concorde) presteren gelijk aan of onder de feature-vrije meerderheidsbaseline.
Marginale Winsten: De best presterende modellen (OneDSE) verbeteren de meerderheidsbaseline met slechts 2,1 procentpunt (57,51% vs. 55,42%).
Margin Afhankelijkheid: Winsten zijn bijna volledig geconcentreerd in vensters met grote marges (>50 cycli), waar de rangschikking al eenvoudig is. In vensters met kleine marges (1–5 cycli) presteren alle modellen nabij willekeurige kans.
Workload Heterogeniteit: Terwijl sommige benchmarks (bijv. lbm, povray) leerbare patronen vertonen door consistente geheugenfasen, vertonen anderen geen signaal. Een globale gemiddelde nauwkeurigheid maskeert deze onbetrouwbaarheid voor nieuwe, onbekende workloads.

2. Structurele Parameters (SP) Regime: De CIW Falen

In het SP-regime is de geaggregeerde rangschikking sterk (77–89% all-window overeenkomst), maar dit maskeert een kritiek falen:

Counter-Intuitive Windows (CIWs): CIWs vormen 22,4% van de niet-getied vensters over vijf paren met duidelijke architecturale prioriteiten.
Falen bij Detectie van Omkeringen: Alle vier de modelfamilies presteren onder de 50% willekeurige strikte-ordening referentie op CIWs (variërend van 23,3% tot 39,9%).
Implicatie: Modellen leren succesvol de dominante hardware-trend (bijv. "bredere issue width is over het algemeen sneller"), maar falen in het identificeren van de specifieke vensters waar deze trend omkeert door complexe interacties.

3. Regressie versus Rangschikking Divergentie

Hoge regressienauwkeurigheid (bijv. >95% binnen-één-cyclus nauwkeurigheid) impliceert geen rangschikkingsbetrouwbaarheid. Een model kan een lage absolute fout hebben maar toch de orde niet bewaren wanneer de ware marge kleiner is dan de voorspellingsruis.

Theoretische Analyse: Waarom Rangschikking Faalt

Het artikel biedt een informatie-theoretische verklaring voor deze beperkingen, en voert aan dat het falen niet te wijten is aan onvoldoende modelcapaciteit maar aan partiële observeerbaarheid:

Verborgen Staat: De uitkomst van gedragsbeleidsregels hangt vaak af van verborgen microarchitecturale staat (cache inhoud, prefetch queue status, replacement history) die afwezig is in de instructietrace.
Bayes Limiet: Wanneer de rangschikkingslabel $S$ afhangt van een verborgen staat $H$ die niet aanwezig is in de input $X$ , is de Bayes nauwkeurigheid begrensd door $I(S; X)$ . Als $H$ ambiguïteit creëert voor een gegeven $X$ , kan geen enkele mate van modelexpressiviteit de nauwkeurigheid overschrijden die door de observeerbare inputs alleen wordt bepaald.
Margin Amplificatie: In scenario's met smalle marges leidt zelfs een kleine voorspellingsfout tot een omkering van de rangschikking. Omdat het signaal voor beleidsdifferentiatie schaars is en vaak gekoppeld is aan onobserveerbare staat, is de effectieve supervisie voor het leren veel lager dan de nominale datasetomvang suggereert.

Betekenis en Claims

De primaire bijdrage van het artikel is een beperkingsresultaat, geen nieuw voorspeller-architectuur. Het stelt de randvoorwaarden vast voor ML-gebaseerde microarchitecturale voorspelling:

Bruikbaarheid is Regime-Afhankelijk: ML is echt nuttig voor grove structurele pruning (het elimineren van duidelijk inferieure configuraties met grote marges) en single-configuratie fase-analyse.
Limieten van Trace-gebaseerde Voorspelling: ML-voorspellers kunnen de cyclus-niveau simulatie niet betrouwbaar vervangen voor de fijnmazige rangschikking van nauw aansluitende gedragsbeleidsregels of voor het detecteren van lokale structurele omkeringen (CIWs).
Evaluatie Verschuiving: Standaard regressiemetrieken zijn onvoldoende voor DSE. Evaluatie moet expliciet rekening houden met tie-rates, margin distributies en counter-intuitive omkeringen.
Informatie-theoretische Ceiling: Het onvermogen om nauw aansluitende policies te rangschikken is geen falen van huidige modelarchitecturen (LSTM, Transformer, etc.), maar een fundamentele limiet opgelegd door het gebrek aan verborgen staat in de input-trace.

De auteurs concluderen dat hoewel ML de initiële fasen van DSE kan versnellen, cyclus-niveau simulatie onmisbaar blijft voor diepe microarchitecturale introspectie en voor het nemen van beslissingen over ontwerpen die verschillen door slechts enkele cycli.