💬 NLP

AccelOpt: A Self-Improving LLM Agentic System for AI Accelerator Kernel Optimization

AccelOpt is een zelflerend LLM-agentssysteem dat zonder menselijke expertise AI-accelerator-kernels optimaliseert en door middel van een geheugen voor ervaringen de doorvoersnelheid op AWS Trainium-chips aanzienlijk verbetert, terwijl het tegelijkertijd kostenefficiënter is dan geavanceerde commerciële modellen.

Oorspronkelijke auteurs: Genghan Zhang, Shaowei Zhu, Anjiang Wei, Zhenyu Song, Allen Nie, Zhen Jia, Nandita Vijaykumar, Yida Wang, Kunle Olukotun

Gepubliceerd 2026-04-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Genghan Zhang, Shaowei Zhu, Anjiang Wei, Zhenyu Song, Allen Nie, Zhen Jia, Nandita Vijaykumar, Yida Wang, Kunle Olukotun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🚀 De Kernboodschap: Een Slimme Robot die Beter Wordt door te Oefenen

Stel je voor dat je een enorm snelle raceauto hebt (de AI-chip van Amazon, genaamd Trainium). Deze auto kan razendsnel rijden, maar de motor (de software-kernen) is nog niet goed afgesteld. De auto rijdt nu misschien maar op 45% van zijn maximale snelheid, terwijl hij 100% zou kunnen halen.

Vroeger moest je een duur, ervaren race-engineer inhuren om de motor stuk voor stuk te tunen. Dat kostte veel tijd en geld, vooral omdat de nieuwe auto's heel anders werken dan de oude modellen.

AccelOpt is een nieuwe oplossing: een zelflerende robot (een AI-agent) die de motor zelf gaat tunen. Het mooie is: deze robot heeft geen menselijke expert nodig die hem vertelt wat hij moet doen. Hij leert puur door te proberen, te kijken wat er gebeurt, en zijn ervaringen op te slaan voor later.

🛠️ Hoe werkt het? (De Drie Delen van het Team)

AccelOpt werkt als een klein bedrijfje met drie werknemers die samenwerken in een cyclus:

De Planner (De Strategist):
- Vergelijking: Een chef-kok die een recept leest en zegt: "Hé, we gooien te veel ingrediënten weg. Laten we de volgorde van het snijden veranderen."
- Wat doet hij: Hij kijkt naar de huidige software en de meetresultaten (waar is het traag?) en bedenkt een plan om het sneller te maken.
De Executor (De Bouwer):
- Vergelijking: De kok die daadwerkelijk gaat koken volgens het plan.
- Wat doet hij: Hij schrijft de nieuwe code (de motorinstellingen) op basis van het plan van de Planner.
De Samenvatter (De Leraar):
- Vergelijking: Een leraar die na de les zegt: "Kijk, door die ene stap te veranderen, hebben we 20% tijd gewonnen. Laten we dat onthouden voor de volgende keer."
- Wat doet hij: Hij vergelijkt de oude, trage versie met de nieuwe, snelle versie. Hij schrijft op waarom het sneller ging en slaat dit op in een herinneringsboek (Optimization Memory).

🧠 De Magische Ingrediënten

Het paper noemt twee slimme trucs die AccelOpt zo goed maken:

1. De "Beam Search" (Het Kiezen van de Beste Paden)

Stel je voor dat je door een groot bos loopt om de snelste route naar huis te vinden.

Gewone methode: Je loopt 100 keer willekeurig een pad op. Soms loop je de verkeerde kant op, soms vind je een snelle weg.
Beam Search (AccelOpt): Je loopt niet willekeurig. Je kiest de 6 beste paden die je tot nu toe hebt gevonden. Bij elke volgende stap splits je die 6 paden weer op in nieuwe opties, maar je houdt alleen de allerbeste 6 over.
Het resultaat: Je verspillen geen tijd aan doodlopende wegen, maar je bouwt wel voort op wat al goed werkt.

2. Het Herinneringsboek (Optimization Memory)

Dit is de "zelfverbeterende" kant.

Als de robot een keer een fout maakt (bijvoorbeeld: "Oh, door die variabele te verplaatsen werd het trager"), schrijft hij dat ook op.
Als hij iets goed doet ("Ah, door de data in een andere volgorde te laden, gaat het 2x sneller!"), schrijft hij dat op als een gouden tip.
Bij de volgende taak kijkt de robot in zijn boekje: "Heb ik dit al eens eerder gezien? Ja! Laten we die truc opnieuw proberen."
Belangrijk: Het boekje bevat zowel succesverhalen als mislukkingen, zodat de robot leert wat niet werkt.

📊 Wat hebben ze ontdekt? (De Resultaten)

De onderzoekers hebben dit systeem getest op echte taken die nodig zijn voor grote AI-modellen (zoals die van ChatGPT).

De Prestatie:
- Op de eerste generatie Trainium-chips steeg de snelheid van 49% naar 61% van de maximale snelheid.
- Op de nieuwere Trainium 2-chips steeg het van 45% naar 59%.
- Vergelijking: Dit is net zo goed als een zeer dure, gespecialiseerde AI (Claude Sonnet 4), maar dan 26 keer goedkoper omdat AccelOpt gratis open-source modellen gebruikt.
De Kosten:
- Menselijke experts moeten maanden doen om dit soort optimalisaties te vinden. AccelOpt doet het in een paar dagen voor een fractie van de prijs.
Verrassende ontdekkingen:
- De robot vond soms oplossingen die zelfs menselijke experts niet hadden bedacht. Bijvoorbeeld: "Waarom berekenen we dit steeds opnieuw in elke lus? Laten we het één keer doen en hergebruiken!" (Dit heet "Loop Invariant Code Motion").

🎓 Waarom is dit belangrijk?

Vroeger was het optimaliseren van nieuwe AI-chips als het leren van een nieuwe taal zonder woordenboek. Je moest alles zelf uitvinden.

Met AccelOpt hebben we nu een automatische vertaler en leraar die:

Zelfstandig leert hoe de nieuwe chip werkt.
Zich herinnert wat wel en niet werkt.
Zich steeds beter maakt zonder dat een mens hoeft in te grijpen.

Dit betekent dat in de toekomst, als er weer een nieuwe, super-snelle AI-chip uitkomt, we niet jaren hoeven te wachten tot de software erop goed werkt. De robot (AccelOpt) doet het werk voor ons, snel en goedkoop.

Kortom: AccelOpt is de "trainer" die ervoor zorgt dat onze nieuwe AI-computers hun volledige potentieel bereiken, zonder dat we een team van dure ingenieurs hoeven in te huren.

1. Het Probleem

De opkomst van grote taalmodellen (LLMs) heeft geleid tot een enorme vraag naar rekenkracht, wat de ontwikkeling van gespecialiseerde AI-accelerators (zoals AWS Trainium) heeft gestimuleerd. De prestaties van deze hardware zijn echter sterk afhankelijk van de efficiëntie van de onderliggende kernels (de laag-niveau implementaties van machine learning-operaties).

Moeilijkheid: Kernel-optimalisatie is complex en vereist diepgaande kennis van hardware-architectuur, geheugenhierarchieën en parallelisme. Voor gevestigde platformen zoals GPU's bestaat er veel kennis, maar voor nieuwe accelerators zoals Trainium (geprogrammeerd in Neuron Kernel Interface - NKI) ontbreekt deze expertise.
Kosten en Schaalbaarheid: Het handmatig optimaliseren van kernels is tijdrovend en duur. Bij schaalbare implementaties moeten honderden of duizenden kernels worden geoptimaliseerd voor verschillende configuraties.
Beperkingen van bestaande methoden: Bestaande LLM-benaderingen voor code-generatie missen vaak de capaciteit om autonoom door de enorme optimalisatieruimte te navigeren zonder menselijke heuristieken of vooraf gedefinieerde recepten.

2. Methodologie: AccelOpt

AccelOpt is een zelfverbeterend LLM-agent-systeem dat kernels autonoom optimaliseert zonder menselijke input over specifieke hardware-optimalisaties. Het systeem combineert beam search met een optimalisatiememorie (optimization memory) binnen een agent-workflow.

Kerncomponenten:

Agent-Workflow: Het proces wordt gedreven door drie interactieve agents die menselijke experts nabootsen:
- Planner: Analyseert profieleresultaten (performance metrics) van een kernel en stelt een optimalisatieplan op (bijv. het verwijderen van redundante berekeningen).
- Executor: Implementeert het plan en genereert een nieuwe versie van de kernel.
- Summarizer: Distilleert de ervaringen van succesvolle (snel) en mislukte (langzaam) kernel-paren tot algemene optimalisatiestrategieën.
Beam Search: In plaats van willekeurige steekproeven, gebruikt AccelOpt beam search om iteratief een "frontier" van kandidaat-kernels te onderhouden.
- Bij elke iteratie worden $N$ plannen gegenereerd voor elke van de $B$ beste kandidaten uit de vorige ronde.
- De $K$ beste uitvoeringen per plan worden geselecteerd.
- Alleen de top- $B$ kernels gaan door naar de volgende iteratie, wat zorgt voor een gefocuste zoektocht.
Optimalisatiememorie: Dit is een dynamische database die ervaringen verzamelt tijdens het zoekproces.
- Het slaat "slow-fast" kernel-paren op (waarbij een nieuwe kernel sneller is dan de basis) en de bijbehorende algemene strategieën.
- Het bevat ook "negatieve voorbeelden" (mislukte pogingen) om het systeem te leren wat niet werkt.
- Deze geheugeninhoud wordt gebruikt om de planner in toekomstige iteraties te inspireren, waardoor het systeem "leert" tijdens het uitvoeren van de taak.

3. Belangrijkste Bijdragen

AccelOpt: Het eerste zelfverbeterende LLM-agent-systeem voor kernel-optimalisatie op opkomende AI-accelerators dat zoekstrategieën combineert met geheugenaccumulatie. Het vereist geen vooraf gedefinieerde optimalisatierecepten.
NKIBench: Een nieuw benchmark-stelsel specifiek voor AWS Trainium-kernels.
- Het bevat 14 uitdagende kernels afkomstig van echte LLM-workloads (zoals Transformer-inferentie en training).
- Uniek kenmerk: Prestaties worden gemeten tegen de theoretische piekprestaties van de hardware (via een roofline-model), in plaats van alleen relatieve snelheidswinst ten opzichte van een willekeurige basis.
Open-Source Efficiëntie: Het bewijs dat open-source modellen (zoals Qwen3-Coder en gpt-oss) in staat zijn om vergelijkbare of betere resultaten te behalen dan gesloten, dure modellen (zoals Claude Sonnet 4), maar tegen een aanzienlijk lagere kostprijs.

4. Resultaten

De evaluatie werd uitgevoerd op AWS Trainium 1 en Trainium 2 met de NKIBench-kernels.

Prestatieverbetering:
- Op Trainium 1 steeg het gemiddelde percentage van de piekdoorvoer van 49% naar 61%.
- Op Trainium 2 steeg dit van 45% naar 59%.
- AccelOpt presteerde vergelijkbaar met Claude Sonnet 4 (in "thinking mode"), maar was 26 keer goedkoper door het gebruik van open-source modellen.
Type Optimalisaties: Het systeem ontdekte zowel lokale optimalisaties (zoals algebraïsche vereenvoudiging en fusie van instructies) als complexe, niet-triviale globale optimalisaties (zoals het herschikken van loops, het verplaatsen van transposities buiten loops, en het verminderen van geheugenspilling).
Vergelijking met Mensen: In specifieke gevallen (zoals Mamba en RoPE kernels) overtrof AccelOpt de prestaties van door mensen geoptimaliseerde referentie-implementaties (bijv. 54,6% vs 52,7% piekdoorvoer voor Mamba).
Kostenanalyse: Het gebruik van een ensemble van open-source modellen bleek de meest kosteneffectieve strategie. Beam search bleek efficiënter dan herhaald steekproeven (repeated sampling).

5. Betekenis en Impact

Autonomie: AccelOpt demonstreert dat AI-systemen de complexiteit van hardware-optimalisatie voor nieuwe accelerators kunnen overwinnen zonder menselijke expertise, wat de adoptie van nieuwe hardware versnelt.
Kostenefficiëntie: Het paper toont aan dat het gebruik van open-source LLMs in combinatie met slimme zoekalgoritmen (beam search + memory) een haalbaar alternatief is voor dure gesloten modellen, wat de drempel voor onderzoek en ontwikkeling verlaagt.
Onderwijs en Toekomst: Het systeem heeft al succesvol toegepast in een graduate-cursus (Stanford CS149) om studenten te helpen bij het optimaliseren van kernels. De methode is platform-onafhankelijk en kan potentieel worden toegepast op andere accelerators (zoals GPUs of TPUs) en communicatie-operaties.

Kortom, AccelOpt biedt een robuust raamwerk voor het automatiseren van kernel-optimalisatie, waarbij het de kloof overbrugt tussen de beschikbaarheid van nieuwe AI-hardware en de noodzakelijke software-efficiëntie.