🤖 AI

AI-PROPELLER: Warehouse-Scale Interprocedural Code Layout Optimization with AlphaEvolve

AI-PROPELLER introduceert een agentic workflow genaamd Magellan die de Propeller post-link optimizer evolueert om de eerste succesvolle fijnmazige interprocedurale code-layout optimalisatie voor grote warehouse-scale applicaties te bereiken, wat prestatieverbeteringen van 0,23% tot 1,6% oplevert door gebruik te maken van echte hardware-executie voor precieze beloningssignalen.

Oorspronkelijke auteurs: Chaitanya Mamatha Ananda, Rajiv Gupta, Mircea Trofin, Aiden Grossman, Sriraman Tallam, Xinliang David Li, Amir Yazdanbakhsh

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chaitanya Mamatha Ananda, Rajiv Gupta, Mircea Trofin, Aiden Grossman, Sriraman Tallam, Xinliang David Li, Amir Yazdanbakhsh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk complexe bibliotheek hebt (een computerprogramma) met miljoens boeken (functies) en miljarden pagina's (code-instructies). Jarenlang hebben bibliothecarissen (optimizers) geprobeerd de boeken op de planken te ordenen om ze makkelijker vindbaar te maken.

De oude manier van doen was als het organiseren van één boekenplank tegelijk. Als een boek 100 hoofdstukken had, herstructureerde de bibliothecaris die hoofdstukken zodat de populairste hoofdstukken direct naast elkaar stonden. Dit wordt intraprocedurale optimalisatie genoemd. Het hielp wel, maar het miste een enorme kans: het meest populaire hoofdstuk van Boek A zou direct gevolgd kunnen worden door het meest populaire hoofdstuk van Boek B. Als die twee boeken aan de andere kant van de bibliotheek stonden, moest de lezer (de computerprocessor) de hele kamer doorrennen om de pagina om te slaan, wat tijd en energie kostte.

AI-PROPELLER is een nieuwe, super-slimme bibliothecaris die dit oplost door de gehele bibliotheek in één keer te herschikken, in plaats van slechts één boekenplank tegelijk.

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. Het Probleem: De "Combinatorische" Nachtmerrie

Het herschikken van één boek is moeilijk. Het herschikken van miljoens boeken zodat elke populaire pagina direct naast de pagina staat die erop volgt (zelfs als die pagina in een ander boek zit) is een wiskundig probleem dat zo groot is dat menselijke hersenen en traditionele computers het niet kunnen oplossen. Het is als het proberen te vinden van de perfecte zitopstelling voor een stadion van 100.000 mensen waarbij iedereen naast zijn beste vriend wil zitten, maar de vrienden verspreid over verschillende secties liggen.

Bovendien gebruikten de oude bibliothecarissen "gokwerk" (statische modellen) om te beslissen waar ze dingen plaatsten. Ze testten de opstelling niet echt; ze berekenden alleen wat er zou moeten werken.

2. De Oplossing: De "AI Agent" (Magellan)

De onderzoekers gebruikten een systeem genaamd Magellan, dat fungeert als een onvermoeibaar, experimenteel robotteam. Dit team heeft twee hoofdarbeiders:

De Architect (AlphaEvolve): Een AI die de regels schrijft en herschrijft voor hoe de boeken te ordenen. Het probeert nieuwe ideeën uit, zoals: "Wat als we Boek A in drie delen splitsen en het middelste deel naast Boek B plaatsen?"
De Tuner (Vizier): Een hulpmiddel dat de specifieke getallen in die regels fijn afstemt (zoals: "hoe ver uit elkaar kunnen boeken staan?").

3. Het Geheim: Testen in de echte wereld (Niet gokken)

Dit is het belangrijkste deel. In plaats van dat de AI gokt of een nieuwe opstelling goed is, bouwt het systeem de bibliotheek daadwerkelijk en test het deze.

De AI creëert een nieuwe opstelling van de code.
Het compileert het programma naar een werkbare, echte binary (zoals het bouwen van een nieuwe versie van de software).
Het draait deze nieuwe versie op echte computerhardware.
Het meet exact hoe snel het draait met behulp van echte prestatie-tellers (zoals een stopwatch en een brandstofmeter).

Dit geeft de AI een "beloningssignaal". Als de nieuwe opstelling sneller is, krijgt de AI een gouden ster en leert hij om meer van dat soort acties te doen. Als het langzamer is, leert hij die fout te vermijden. Omdat dit op echte hardware in een gecontroleerde omgeving is getest, zijn de resultaten ongelooflijk nauwkeurig, niet slechts theoretisch.

4. De Resultaten: Kleine Winst, Grote Impact

Het paper testte dit op enorme, real-world software, waaronder de LLVM Clang compiler (een tool die wordt gebruikt om andere software te bouwen) en een gigantische Google Search service.

De Clang Compiler: Het nieuwe systeem maakte het 1,6% sneller.
De Google Search Service: Het maakte de zoekservice 0,23% sneller.

Je denkt misschien: "0,23% is niets!" Maar in de wereld van enorme datacentra is dit als het vinden van een verborgen goudmijn. Als je 0,23% tijd bespaart op miljarden zoekopdrachten elke dag, bespaar je miljoenen dollars aan elektriciteit en serverkosten. Het is het verschil tussen een hardloper die een race voltooid in 9,58 seconden versus 9,56 seconden — een klein fractie die het verschil maakt tussen een wereldrecord en de tweede plaats.

5. Hoe het eigenlijk werkt (De "Splitsing" Truc)

Het paper belicht een specifieke truc die de AI ontdekt heeft.

Oude Manier: Als een functie (een stukje code) een "hot" (veel gebruikt) deel en een "cold" (weinig gebruikt) deel heeft, zou het oude systeem de functie in tweeën splitsen: Hot op één plank, Cold op een andere plank.
AI-PROPELLER Manier: De AI realiseerde zich dat een functie soms in drie of meer stukken gesplitst moet worden. Het ontdekte dat een specifiek "hot" blok van Functie A direct naast een "hot" blok van Functie B geplaatst moest worden, ook al zitten ze in verschillende bestanden. Het knipt de code in feite in kleine, precieze puzzelstukjes en zet ze weer in elkaar zodat de meest gebruikte stukjes altijd tegen elkaar aan liggen, ongeacht uit welke "boek" ze oorspronkelijk kwamen.

Samenvatting

AI-PROPELLER is het eerste systeem dat er succesvol in is geslaagd om AI te gebruiken om de interne code van massieve, industriële software over functiegrenzen heen te herschikken. Het gokt niet alleen; het bouwt, test en leert van echte hardware. Door dit te doen, haalt het extra prestaties (0,23% tot 1,6%) uit software die al als "perfect geoptimaliseerd" werd beschouwd, wat bewijst dat zelfs in volwassen systemen er nog verborgen snelheid te vinden is als je naar het hele plaatje kijkt in plaats van naar slechts één onderdeel tegelijk.

Technische Samenvatting: AI-PROPELLER

Probleemstelling

Post-link optimalisaties (PLO's) zoals Propeller en BOLT hebben de prestaties van grootschalige warehouse-applicaties succesvol verbeterd door middel van precieze, profielgestuurde intraprocedurale code-layout. Deze tools herordenen basic blocks binnen functies en splitsen hot/cold code-regio's om de instructiecache en TLB-utilisatie te optimaliseren. Echter, zij laten de interprocedurale code-layout grotendeels onbenut.

Interprocedurale layout—het herordenen van basic blocks over functie-grenzen heen—is historisch gezien moeilijk vanwege:

Combinatorische Explosie: De zoekruimte is enkele ordes van grootte groter dan de intraprocedurale exploratie (bijv. een warehouse-scale applicatie kan ~1,4 miljoen functies en ~40 miljoen basic blocks hebben).
Complexe Semantiek: In tegenstelling tot intraprocedurale layout, waarbij fall-through jumps geëlimineerd kunnen worden, moet interprocedurale layout strikt voldoen aan call-return semantiek. Het naast elkaar plaatsen van blocks van verschillende functies elimineert niet op dezelfde manier het aantal dynamische instructies, wat de kostenmodellering complex maakt.
Gebrek aan Bewezen Waarde: Eerdere pogingen tot interprocedurale layout resulteerden in lange bouwtijden (3x–10x) met marginale of onbewezen prestatiewinsten, waardoor de community het als "toekomstig werk" behandelde.

Consequentueel blijft het prestatiepotentieel van fijngestuurde interprocedurale layout in industriële, warehouse-scale omgevingen onbewezen.

Methodologie

Het paper introduceert AI-PROPELLER, een framework dat gebruikmaakt van de Magellan agentic workflow om compiler-heuristieken voor interprocedurale code-layout te evolueren.

1. Het Magellan Framework

AI-PROPELLER integreert twee componenten om de Propeller code layout policy te optimaliseren:

AlphaEvolve (LLM Agent): Evolueert de broncode van de layout-heuristiek (specifiek code_layout.cc). Het neemt een initiële policy en een prompt, en genereert nieuwe code-edits (toevoegingen, modificaties, verwijderingen) om de heuristiek te verbeteren.
Vizier (Black-box Optimizer): Fine-tunt de numerieke hyperparameters (compiler flags) die door de geëvolueerde policy worden geëxposeerd.

2. High-Fidelity Beloningssignaal

Een cruciale innovatie is de overstap weg van benaderende statische kostenmodellen. Om ervoor te zorgen dat de evolutionaire loop een precies, ruisvrij beloningssignaal ontvangt:

Hardware Executie: Het systeem compileert meerdere layout-varianten en voert deze uit op echte hardware (Intel Skylake systemen).
Ruisreductie: De omgeving is strikt gecontroleerd (Turbo Boost, SMT, en ASLR uitgeschakeld; CPU-frequentie vastgezet op 75% van de piek).
Statistische Stabiliteit: Elk binair bestand wordt 10 keer uitgevoerd om te garanderen dat de variantie tussen runs onder de 0,05% ligt.
Beloningsberekening: De beloning wordt afgeleid van echte prestatie-tellers (cycle counts), berekend als $1 - (\text{cycles} / \text{reference})$ .

3. De Geëvolueerde Policy

Het framework evolueert een policy die drie kernfactoren van interprocedurale herordening beheert:

Chain Split Threshold: Bepaalt wanneer sequenties van basic blocks gesplitst moeten worden. AI-PROPELLER verhoogde deze drempel (van 0 naar 213), waardoor meer sequenties gesplitst en elders in de functies opnieuw ingevoegd kunnen worden.
Memory Offsets (Forward/Backward): Definieert de maximale afstand tussen blocks zodat een edge als winstgevend wordt beschouwd. De geëvolueerde policy breidde deze limieten aanzienlijk uit (bijv. forward van 1024 naar 3059 bytes) om langere verbanden tussen caller en callee te vangen.
Global Sorting Logic: Verving de functie-specifieke block ID sortering door een globale layout index om te waarborgen dat de uiteindelijke binary de beoogde interprocedurale volgorde behoudt.

Belangrijkste Bijdragen

Eerste Demonstratie van Interprocedurale Winsten: Dit is de eerste studie die duidelijke prestatieverbeteringen demonstreert met behulp van fijngestuurde interprocedurale code-layout op echte, grootschalige warehouse-binaries.
Schaalbare Optimalisatie: Het framework optimaliseert industriële-schaal applicaties (bijv. LLVM Clang, Search) zonder merkbare verslechtering in bouwtijd of geheugengebruik, waarmee de historische engineering-barrière van interprocedurale optimalisatie wordt overwonnen.
Nieuwe Heuristische Ontdekking: Het systeem ontdekte autonoom niet-intuïtieve layout-policies die beter presteren dan state-of-the-art statische heuristieken (Ext-TSP) en function-level herordening (CDSort).

Experimentele Resultaten

Het framework werd geëvalueerd op front-end bound workloads (LLVM Clang, LevelDB, Redis, en een propriëtaire warehouse-scale Search applicatie).

Prestatieverbeteringen:
- LLVM Clang: Bereikte een reductie in executietijd van 1,6% ten opzichte van de baseline (FDO + ThinLTO + Ext-TSP). Dit vertegenwoordigt het extra persen van ~20% prestatie uit een reeds hoog-geoptimaliseerde binary.
- Warehouse-Scale Search: Bereikte een verbetering van 0,23% ten opzichte van de ingezette Ext-TSP baseline. Hoewel dit klein lijkt, merken de auteurs op dat dit significant is voor de operationele kosten op deze schaal.
- Andere Benchmarks: LevelDB en Redis vertoonden eveneens statistisch significante verbeteringen (p-waarde ~0).
Microarchitecturale Impact:
- Frontend Stalls: AI-PROPELLER verminderde frontend-bound stalls (instructie fetch/decode stalls) aanzienlijk. Bijvoorbeeld, in Clang daalden de stalls van 45% naar 39%; in Redis van 49% naar 34,2%.
- Instruction Retirement: Verbeterde het percentage CPU-pipeline slots besteed aan het 'retiren' van instructies (nuttig werk), bijv. Clang verbeterde van 27% naar 30%.
Ablatie Studie (Inter vs. Intra):
- Wanneer interprocedurale transformaties werden uitgeschakeld (waardoor blocks contigu binnen functies moesten blijven), daalde de prestatiewinst van 1,6% naar ~0,3%.
- Dit geeft aan dat ongeveer 80% van de versnelling specifief voortkomt uit de mogelijkheid om blocks over functie-grenzen heen te mengen, wat bevestigt dat globale interprocedurale herordening de primaire drijfveer voor succes is.

Betekenis en Claims

Het paper claimt dat AI-PROPELLER het eerste framework is dat er succesvol in is geslaagd om fijngestuurde interprocedurale code-layout toe te passen op grote binaries in industriële settings. De betekenis ligt in:

Validatie van het Potentieel: Het bewijzen dat het "onbenutte" potentieel van interprocedurale layout echt en meetbaar is, zelfs in hyper-geoptimaliseerde omgevingen.
Overwinnen van de Zoekruimte: Het demonstreren dat AI-gestuurde agentic workflows de exponentieel grotere zoekruimte van interprocedurale layout kunnen navigeren waar handmatige tuning en statische heuristieken falen.
Praktische Bruikbaarheid: Het aantonen dat deze optimalisaties kunnen worden bereikt zonder de schaalbaarheid van gedistribueerde builds in gevaar te brengen, wat ze levensvatbaar maakt voor productiegebruik.

De auteurs benadrukken dat hoewel de procentuele winsten (0,23%–1,6%) bescheiden mogen lijken, ze operationeel zeer significant zijn voor warehouse-scale applicaties waar marginale verbeteringen vertalen naar substantiële zakelijke waarde, en dat ze uitzonderlijk moeilijk te bereiken zijn gezien de huidige state-of-the-art optimalisatietechnieken.