🤖 AI

ArchAgent v2: A Case Study with the Data Prefetching Championship

Dit artikel introduceert ArchAgent v2, een geautomatiseerd agentisch framework dat gebruikmaakt van gecascadeerde evolutionaire zoektocht en hardware-realiseerbaarheid-feedback om succesvol een multi-level data prefetcher te ontwerpen die de winnende handmatig ontworpen oplossing in de 4e Data Prefetching Championship overtreft.

Oorspronkelijke auteurs: Abraham Gonzalez, Raghav Gupta, Akanksha Jain, Hanna Alam, Alexander Novikov, Po-Sen Huang, Matej Balog, Marvin Eisenberger, Sergey Shirobokov, Ngân Vu, Hank Levy, Borivoje Nikolić, Sagar Karandikar

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Abraham Gonzalez, Raghav Gupta, Akanksha Jain, Hanna Alam, Alexander Novikov, Po-Sen Huang, Matej Balog, Marvin Eisenberger, Sergey Shirobokov, Ngân V\~u, Hank Levy, Borivoje Nikolić, Sagar Karandikar, Martin Dixon, Parthasarathy Ranganathan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de hersenen van een computer voor als een bruisende stad waar data het verkeer is. Om de stad soepel te laten draaien, moet de computer informatie ophalen uit zijn "magazijn" (het hoofdgeheugen) en naar de "werkplaats" (de processor) brengen voordat deze zelfs maar nodig is. Dit wordt data prefetching genoemd. Het is als een slimme bezorgservice die voorspelt welke pakketjes je straks nodig hebt en ze bij je aan de deur brengt terwijl je nog aan het ontbijten bent. Echter, als de bezorgservice een verkeerde gok maakt, verstopt het de straten met nutteloze dozen, waardoor iedereen vertraagt. Decennialang hebben menselijke ingenieurs geprobeerd het perfecte bezorgalgoritme te schrijven, maar de stad is zo complex en de regels zo strikt (zoals beperkte ruimte voor bezorgwagens), dat het ongelooflijk moeilijk is om de beste oplossing te vinden. Hier komt Kunstmatige Intelligentie (AI) in beeld. In plaats van een mens die probeert de perfecte route te raden, bouwen wetenschappers nu AI-agenten die hun eigen oplossingen kunnen "evolueren", waarbij ze duizenden ideeën testen in een virtuele stad om te zien welke de verkeersdoorstroming daadwerkelijk versnellen.

Dit artikel, getiteld "ArchAgent v2", vertelt het verhaal van hoe een team van onderzoekers een speciale AI-agent gebruikte om een prestigieuze wedstrijd voor het beste data-leveringssysteem te winnen. De wedstrijd, bekend als de Fourth Data Prefetching Championship (DPC4), daagde deelnemers uit om een systeem te ontwerpen dat werkt over drie verschillende niveaus van computergeheugen, terwijl het binnen strikte groottebeperkingen blijft. De vorige kampioen was een door mensen ontworpen systeem genaamd BertiGO, dat erg goed was maar niet perfect. De onderzoekers wilden zien of een AI het beter kon doen. Ze introduceerden een nieuwe versie van hun AI, ArchAgent v2, die een slimme strategie gebruikt die "cascaded evolutionary search" wordt genoemd. In plaats van te proberen alle drie de niveaus van het geheugensysteem tegelijkertijd aan te passen — wat is als het tegelijkertijd willen herontwerpen van de verkeerslichten, wegen en bezorgwagens van de hele stad — pakte de AI ze één voor één aan. Eerst optimaliseerde het het snelste, meest kritieke niveau, daarna bewoog het naar het volgende, en uiteindelijk naar het laatste, voordat het ze allemaal combineerde voor een laatste afwerking.

De resultaten waren indrukwekkend. In simulaties ontwierp ArchAgent v2 automatisch een nieuwe set prefetching-regels die de menselijke kampioen versloeg. De oplossing van de AI bereikte een prestatieverbetering van 3,8% vergeleken met de standaard baseline, en het ging zelfs net voorbij de vorige menselijke winnaar, BertiGO, met 0,3%. De AI was bijzonder briljant in "low-bandwidth" scenario's (waar de datawegen smal en druk zijn), waar het de snelheid verbeterde met 4,6%, vergeleken met de 2,6% van BertiGO. De paper merkt echter op dat de AI nog steeds een beetje moeite had in multi-core settings (waarbij veel processoren tegelijkertig werken), wat suggereert dat hoewel de AI een krachtig hulpmiddel is, het probleem van het coördineren van veel processoren tegelijkertijd een uitdagende taak blijft.

Om te begrijpen hoe de AI dit deed, keken de onderzoekers naar meer dan 12.000 verschillende ontwerpideeën die de agent genereerde. Ze ontdekten dat de AI niet alleen kleine aanpassingen maakte; het maakte vaak grote, structurele wijzigingen in de manier waarop het systeem werkte. Het winnende ontwerp slaagde erin om dynamisch aan te passen hoe ver het vooruit keek naar data, vertraagde wanneer de wegen te druk waren, en besliste slim welke data in de snelle werkplaats versus het tragere magazijn moest worden bewaard. Het artikel concludeert dat hoewel deze specifieke AI-agent een grote stap voorwaarts is, de reis van geautomatiseerd computerontwerp pas net is begonnen. De AI bewees dat het complexe logica kon synthetiseren en menselijke experts kon verslaan in een gecontroleerde omgeving, maar het pad naar volledig autonome, perfecte computerarchitectuur wordt nog steeds geplaveid.

Technische Samenvatting: ArchAgent v2 voor Multi-Level Data Prefetching

Probleemstelling

Hoewel agentische kunstmatige intelligentie veelbelovend is gebleken bij het automatiseren van algoritmeontwerp, blijft het opschalen van deze technieken naar de ontdekking van computermicroarchitectuur moeilijk. De primaire uitdagingen zijn enorme zoekruimtes, strikte hardware-opslagbudgetten en lange simulatietijden. Specifiek slaagde het oorspronkelijke ArchAgent-framework er wel in om single-level cache-vervangingsbeleid te ontdekken, maar faalde het in het opschalen naar multi-level data prefetching (L1D, L2 en LLC).

Het toepassen van geautomatiseerde ontdekking op multi-level prefetching introduceert drie specifieke architecturale moeilijkheden:

Combinatorische Explosie: De ontwerpplek breidt zich uit omdat prefetchers simultaan doeladressen, optimale timing en programma-/systeemcontext moeten berekenen.
Niet-monotone Zoekruimte: Het evolueren van prefetchers op alle niveaus tegelijkertijd creëert een complex landschap waarbij een prestatieverbeterende mutatie op één niveau de winst op een ander niveau kan ongeldig maken.
Hardwarebeperkingen: Prefetchers moeten voldoen aan strikte, onafhankelijke fysieke opslagbudgetten (bijv. 32KB voor L1D) die moeilijk af te dwingen zijn in high-level simulators zoals ChampSim, die doorgaans geen mechanismen missen om fysieke oppervlakte of vermogenskosten in te schatten.

Methodologie: ArchAgent v2

Om deze barrières te overwinnen, introduceren de auteurs ArchAgent v2, een framework dat de geautomatiseerde microarchitecturale zoektocht opschaalt naar multi-level prefetching via twee primaire methodologische toevoegingen:

1. Hardware-Realiseerbare Opslag Feedbackloop

Om te voorkomen dat het Large Language Model (LLM) algoritmen voorstelt die de fysieke beperkingen schenden, hebben de auteurs een geautomatiseerde interface geïmplementeerd die de fysieke opslagvoetafdruk van elke voorgestelde prefetcher berekent.

Mechanisme: Een aangepaste prefetcher_size() functie is geïntegreerd in de evaluatielus. Deze berekent de byte-omvang van het beleid op basis van de staat en C++ parameters.
Handhaving: Tijdens compilatie en simulatie wordt een kandidaat-beleid dat het opslagbudget van de competitie overschrijdt (32KB L1D, 128KB L2, 256KB LLC), onmiddellijk afgewezen en krijgt een negatieve beloning toegewezen.
Prompt Engineering: De LLM-prompt werd bijgewerkt (zie Figuur 3 in het paper) om het model expliciet te instrueren zowel de logica als de grootteberekeningsfunctie synchroon bij te werken, zodat de grootte-inschattingen accuraat blijven naarmate de code evolueert.

2. Gecascadeerde Evolutionaire Zoektocht

Om de complexiteit van de zoekruimte en de simulatielatentie (tot 12 uur per evaluatie) te beheersen, vervingen de auteurs simultane evolutie door een gecasseerde verdeel-en-heers-aanpak.

Sequentiële Optimalisatie: Het framework isoleert en optimaliseert prefetchers op elk cache-niveau sequentieel (L1D $\to$ $\to$ L2 $\to$ $\to$ LLC).
- Eerst wordt de L1D-prefetcher geëvolueerd (startend vanaf de Berti baseline) terwijl L2 en LLC statisch blijven.
- Zodra de L1D-prestaties een plateau bereiken, wordt de beste L1D-kandidaat "bevroren" en wordt de L2-prefetcher (startend vanaf Pythia) geëvolueerd.
- Ten slotte, met L1D en L2 bevroren, wordt de LLC-prefetcher geëvolueerd.
Globale Optimalisatie: Nadat de individuele niveaus zijn geoptimaliseerd, start het framework globale evolutionaire runs om alle prefetchers simultaan te optimaliseren. Deze runs maken gebruik van een database met succesvolle kandidaten uit individuele runs om de globale zoektocht te initiëren.
Configuratiestrategie: Individuele niveau-optimalisaties worden uitsluitend uitgevoerd op single-core configuraties om de simulatielatentie te verminderen. Multi-core configuraties worden pas geïntroduceerd tijdens de uiteindelijke globale optimalisatiefase. Dit geeft prioriteit aan de near-core cache-niveaus (L1D) waar het potentieel voor latency hiding het hoogst is.

Belangrijkste Bijdragen

Het paper levert vier primaire bijdragen:

Gecascadeerde Verdeel-en-Heers: Een nieuwe evolutionaire aanpak die subsets van verschillende cache-niveaus (L1D, dan L2, dan LLC) sequentieel evolueert voordat er een globale optimalisatie plaatsvindt.
Geautomatiseerde Opslagfeedback: Een feedbackloop die strikte fysieke opslagbeperkingen afdwingt door de voetafdruk van de prefetcher in real-time te berekenen en te valideren tijdens het evolutieproces.
Prestatievalidatie: Demonstratie dat ArchAgent v2 een multi-level prefetching-beleid ontdekt dat de state-of-the-art (SoTA) handmatig ontworpen oplossing uit de Fourth Data Prefetching Championship (DPC4) overtreft.
Evolutionaire Profilering: Een analyse van meer dan 12.000 geëvalueerde kandidaat-ontwerpen, wat inzichten biedt in hoe automatische agenten microarchitecturale ontwerpplekken verkennen, waarbij wordt vastgesteld dat grote doorbraken vaak voortkomen uit architecturale verschuivingen die daaropvolgende kleine verfijningen vereisen.

Resultaten

Geëvalueerd onder de regels van de Fourth Data Prefetching Championship (DPC4), produceerde ArchAgent v2 een winnend beleid met de volgende resultaten:

Algemene Prestaties: Behaalde een 3,8% geometrisch gemiddelde IPC-snelheidsverhoging ten opzichte van de competitie-baseline (Berti bij L1D, Pythia bij L2, geen prefetcher bij LLC).
Vergelijking met SoTA: Presteerde 0,3% beter dan het voorheen kampioenschap-winnende handmatig ontworpen beleid, BertiGO.
Low-Bandwidth Single-Core: Het beleid leverde een 4,6% snelheidswinst op over de baseline in low-bandwidth single-core configuraties, wat de 2,6% verbetering van BertiGO aanzienlijk overtrof.
Multi-Core Beperkingen: Het beleid vertoonde beperkte winst in multi-core settings vergeleken met single-core, met een lichte prestatievermindering (~1,5%) ten opzichte van BertiGO in multi-core mengsels. De auteurs wijten dit aan het feit dat de cascade prioriteit geeft aan single-core optimalisatie en dat de hoge latentie van multi-core simulaties de evolutiesnelheid belemmert.

Ontwerkarakteristieken van het Winnende Beleid

L1D: Verbeterde de baseline Berti-engine met een Global Stride Tracker (GST) en een Global Delta History Table (GDHT) om cross-IP ruimtelijke stromen te vangen. Het introduceerde een Reinforcement Learning (RL) Arbitrator om te kiezen tussen engines en om de bandbreedte dynamisch te regelen op basis van geheugensignalen.
L2: Verfijnde de Pythia baseline door de RL feature representaties te upgraden (van 2 naar 5 features) en de actieruimtes (van 15 naar 18 keuzes), met een focus op power-of-two strides en sum-pooling om pollutie te verminderen.
LLC: Voegde twee generatoren toe: één voor onregelmatige pointer-chasing sequenties en één voor regelmatige lineaire/gestreepte patronen. Een arbitrator schakelt tussen hen op basis van de "chaos" van de geheugenverzoeken.

Betekenis en Claims

Het paper claimt dat ArchAgent v2 aantoont dat geautomatiseerde agentische ontdekking een nuttig instrument is voor computerarchitecten, in staat om te concurreren met en te boven te gaan van door mensen ontworde oplossingen in complexe, beperkte omgevingen.

De auteurs benadrukken dat het succes van het systeem rust op:

Hardware Realiseerbaarheid: Het inbedden van fysieke beperkingen direct in de evolutionaire lus is cruciaal voor het genereren van levensvatbare hardwareontwerpen.
Zoektocht Decompositie: Het opdelen van de enorme zoekruimte in beheersbare, sequentiële subproblemen stelt het systeem in staat om de niet-monotone aard van multi-level prefetching te navigeren.
Synthese boven Nieuwigheid: De analyse van de 12.000+ ontwerpen suggereert dat de kracht van de agent ligt in het synthetiseren en combineren van bestaande concepten (bijv. pad-signatures, velocity monitoring, depth masking) in plaats van het uitvinden van geheel nieuwe paradigma's. Het "winnende" ontwerp slaagde door dynamisch lookahead te schalen, bandbreedte te regelen en intelligent te arbitreren tussen geheugenstromen.

Het paper concludeert dat hoewel multi-core evolutie een uitdaging blijft vanwege de simulatielatentie, het framework een robuuste methodologie biedt voor het verkennen van microarchitecturale logica, wat een blik werpt op hoe AI-geaugmenteerde tools kunnen helpen bij de ontdekking van complexe hardware-policies.