KernelCraft: Benchmarking for Agentic Close-to-Metal Kernel Generation on Emerging Hardware

Dit paper introduceert KernelCraft, het eerste benchmarkkader dat aantoont dat agentische LLM-systemen via een feedback-gedreven workflow effectief lage-niveau kernels kunnen genereren en optimaliseren voor nieuwe hardware-architecturen, waardoor de ontwikkelingstijd en -kosten voor dergelijke accelerators aanzienlijk worden verlaagd.

De kern

Stel je voor dat je een nieuwe, superkrachtige robot hebt gebouwd. Deze robot is veel sneller dan een gewone computer, maar hij spreekt een heel eigen, moeilijk dialect. Om hem te laten werken, moet je hem niet in het Nederlands of Engels commanderen, maar in een taal die lijkt op oude, cryptische machinecode.

Vroeger moesten programmeurs deze code handmatig schrijven. Dat was als proberen een kathedraal te bouwen met een lepeltje: het kostte eeuwen, was extreem vermoeiend, en als je één steen verkeerd zette, stortte het hele gebouw in. Dit is precies het probleem met nieuwe AI-chips: ze zijn er, maar er is geen "vertaler" (compiler) die begrijpt hoe je de beste code voor ze schrijft.

KernelCraft is het antwoord op dit probleem. Het is een nieuw experiment dat kijkt of AI-agenten (slimme computerprogramma's die zelf kunnen nadenken en handelen) deze moeilijke code voor ons kunnen schrijven.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De Agent als een Slimme Leerling

Stel je voor dat je een zeer intelligente leerling (de AI) voor je hebt. Je geeft hem een opdracht: "Bouw een brug van steen A naar steen B."

• De Opdracht: De AI krijgt een beschrijving van wat er gedaan moet worden (bijvoorbeeld: "Bereken de aandacht in een taalmodel").
• De Handleiding: Omdat de robot een nieuw dialect spreekt, geeft je de AI de handleiding van die robot (de ISA-specificatie) en de specificaties van de bouwplaats (hardware-configuratie).
• De Gereedschapskist: De AI heeft een set gereedschappen: een vertaler (om te checken of de code klopt), een testbaan (om te zien of het werkt) en een meetlint (om te zien hoe snel het is).

2. Het Proces: Probeer, Faal, Leer, Herhaal

In het verleden zou een AI één keer code schrijven en hopen dat het goed was. KernelCraft werkt anders, als een echte leerling die leert van zijn fouten:

1. De Eerste Poging: De AI schrijft de code.
2. De Check: De AI gebruikt zijn gereedschappen om te kijken: "Klopt de grammatica? Werkt het? Is het snel genoeg?"
3. De Feedback: Als het fout is (bijvoorbeeld: "De brug stort in bij windkracht 5"), krijgt de AI een duidelijk signaal: "Hier zit een fout in de steenlading."
4. De Reparatie: De AI denkt na over die fout, past de code aan en probeert het opnieuw.
5. Herhaling: Dit proces gaat door totdat de brug niet alleen staat, maar ook stevig en snel is.

3. Wat hebben ze ontdekt?

De onderzoekers hebben dit getest op drie verschillende soorten nieuwe robots (hardware) en met vier van de slimste AI-modellen ter wereld.

• Het goede nieuws: De slimste AI's (zoals GPT-5.2) kunnen inderdaad deze moeilijke code schrijven. Voor simpele taken (zoals een simpele rekensom) lukte het in 55% van de gevallen om een perfect werkende brug te bouwen, zelfs zonder dat ze de robot eerder hadden gezien.
• Het verrassende nieuws: Soms was de brug die de AI bouwde zelfs sneller dan de brug die door de officiële bouwers (de compiler) was ontworpen. De AI vond slimme trucs om de robot efficiënter te laten werken, iets waar de standaardsoftware nog niet aan dacht.
• De uitdaging: Hoe complexer de brug (bijvoorbeeld een hele stad in plaats van een klein bruggetje), hoe moeilijker het wordt. Voor de allercomplexste taken faalde de AI nog vaak, vooral als de handleiding van de robot niet duidelijk genoeg was.

4. Waarom is dit belangrijk?

Voor nu is het bouwen van nieuwe AI-chips als het uitvinden van een nieuwe taal. Iedere keer dat een chipbedrijf een nieuwe chip maakt, moeten ze wachten tot programmeurs die taal leren en de code schrijven. Dat duurt te lang.

KernelCraft toont aan dat we in de toekomst AI-agenten kunnen inzetten om die code direct te schrijven.

• Voor chipmakers: Je hoeft niet meer te wachten op programmeurs. Je kunt zeggen: "Hier is mijn nieuwe chip, hier is wat ik wil dat hij doet," en de AI doet het werk.
• Voor de wereld: Dit betekent dat nieuwe, snellere en zuinigere AI-chips veel sneller op de markt komen, waardoor onze technologie sneller evolueert.

Kortom: KernelCraft is de eerste "proefplaats" waar we kijken of robots robots kunnen programmeren. Het bewijst dat AI niet alleen tekst kan schrijven, maar ook de fundamentele, moeilijke code kan bouwen die nodig is om de hardware van de toekomst aan te sturen. Het is een eerste stap naar een toekomst waarin het ontwerpen van nieuwe computers net zo makkelijk is als het geven van een opdracht aan een slimme assistent.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "KernelCraft: Benchmarking for Agentic Close-to-Metal Kernel Generation on Emerging Hardware", vertaald en samengevat in het Nederlands.

Titel: KernelCraft: Benchmarking voor Agente "Close-to-Metal" Kernel-Generatie op Opkomende Hardware

1. Het Probleem

De snelle evolutie van AI-versnellers (zoals NPUs en custom accelerators) gaat vaak gepaard met nieuwe, gespecialiseerde Instruction Set Architectures (ISAs). Om deze hardware optimaal te benutten, moeten ontwikkelaars handmatig lage-niveau kernels (in assembly of close-to-metal code) schrijven. Dit proces is:

• Tijdrovend en arbeidsintensief: Het vereist diepgaande expertise in zowel de target-architectuur als de werklast.
• Foutgevoelig: Handmatige optimalisatie leidt vaak tot bugs.
• Niet schaalbaar: Het is moeilijk om dit proces te repliceren over diverse, nieuwe hardware-platforms.
• Een "programmability wall": Veel opkomende accelerators missen volwassen compiler-toolchains die hoog-niveau tensor-programma's automatisch kunnen vertalen naar geoptimaliseerde kernels. Bestaande LLM-oplossingen richten zich voornamelijk op gevestigde ecosystemen (zoals CUDA/Triton) en falen bij "zero-shot" generatie voor nieuwe, onbekende ISAs zonder voorbeelden.

2. Methodologie: KernelCraft

KernelCraft is het eerste benchmark-framework dat de capaciteit van LLM-agents evalueert om lage-niveau assembly-kernels te genereren en te optimaliseren voor opkomende hardware met nieuwe ISAs.

• Agent Workflow: Het systeem gebruikt een functie-roepende, feedback-gedreven loop. De agent ontvangt een taakbeschrijving, ISA-specificatie en hardware-configuratie.
• Tool-gebruik: De agent kan interactie hebben met externe tools voor:
  • Het schrijven van code (write_code).
  • Syntaxiscontrole en compilatie (check_syntax).
  • Functionele validatie tegen een "ground truth" (referentie-implementatie) via simulatie of hardware (run_evaluation).
  • Het inspecteren van output en fouten (view_output).
  • Het doorzoeken van ISA-documentatie (grep_docs).
• Iteratief Verbeteringsproces: Als de gegenereerde kernel faalt (bijv. syntaxisfouten of numerieke afwijkingen), analyseert de agent de feedback, past de code aan en herhaalt het proces totdat de kernel correct is.
• Benchmarks: Het framework test agents op drie verschillende hardware-platforms:
  1. PLENA: Een custom AI-accelerator met een eigen ISA.
  2. AMD NPU: Een commercieel NPU-platform.
  3. Coral NPU: Een RISC-V-based platform met RVV-vector-extensies.
• Taken: De taken zijn onderverdeeld in drie complexiteitsniveaus:
  • Niveau 1: Primitieve operaties (bijv. SiLU, Softmax, GEMM).
  • Niveau 2: Samengestelde operaties (bijv. MLP, Attention-mechanismen).
  • Niveau 3: End-to-end systemen (bijv. volledige Transformer-blocks).

3. Belangrijkste Bijdragen

1. Eerste Benchmark voor Close-to-Metal Generatie: KernelCraft is de eerste benchmark die specifiek gericht is op het genereren van assembly-code voor custom accelerators, in plaats van alleen hoog-niveau taal (zoals CUDA).
2. Tool-gebaseerde Agent Evaluatie: Het introduceert een methode waarbij agents autonoom tools gebruiken voor debugging en iteratie, in plaats van alleen code te genereren in een eenmalige pass.
3. Uitgebreide Dataset: Het dekt 33 taken (23 ML, 10 CPU) over 6 native tool-interfaces en 3 verschillende NPU-platforms.
4. Case Studies: Het paper toont aan dat agents niet alleen kernels kunnen genereren, maar ook:
   • Bestaande compiler-sjablonen kunnen optimaliseren.
   • Actief kunnen bijdragen aan ISA co-design door hardware-bottlenecks te identificeren en nieuwe instructies voor te stellen voor specifieke werklasten (zoals diffusion language models).

4. Resultaten

De evaluatie omvatte vier toonaangevende redenerende modellen (o.a. GPT-5.2, Gemini-3-Flash, Sonnet 4, DeepSeek R1) met in totaal meer dan 1.100 experimenten.

• Succespercentages:
  • GPT-5.2 presteerde het beste, met een succespercentage van 55% op PLENA voor primitieve operaties.
  • De prestaties dalen echter sterk naarmate de complexiteit toeneemt. Voor end-to-end systemen (Niveau 3) waren de succespercentages zeer laag (bijna 0% voor de meeste modellen).
  • DeepSeek R1 had moeite met het genereren van correcte kernels op deze nieuwe ISAs (slechts 1 succesvol resultaat per platform).
• Prestatie (Speedup):
  • Agents konden functioneel correcte kernels genereren die vaak gelijkwaardig of beter presteerden dan bestaande compiler-baselines.
  • Op de Coral NPU werden speedups van 2x tot 8x behaald ten opzichte van de compiler-versie (bijv. 7.93x speedup op een ConvBlock).
  • Agents ontdekten hardware-bewuste optimalisaties (zoals het "folden" van BatchNorm in integer-arithmetic) die de huidige toolchains nog niet ondersteunen.
• Invloed van Redeneren en Context:
  • Extended Thinking: Het activeren van "thinking tokens" (redeneren voordat antwoorden worden gegenereerd) was cruciaal. Zonder dit faalden modellen vaak binnen het iteratie-budget.
  • In-Context Learning: Het toevoegen van één voorbeeld (one-shot) van een vergelijkbare taak verbeterde de succespercentages aanzienlijk, vooral bij platforms met beperkte documentatie.

5. Betekenis en Impact

• Versnelling van Hardware-ontwikkeling: KernelCraft toont aan dat AI-agents de "programmability wall" voor opkomende hardware kunnen doorbreken, waardoor de tijd tot markt voor nieuwe versnellers aanzienlijk kan worden verkort.
• Autonome Optimalisatie: Het bewijst dat LLM-agents niet alleen correcte code kunnen schrijven, maar ook complexe, hardware-specifieke optimalisaties kunnen ontdekken die menselijke experts of traditionele compilers missen.
• Co-Design Potentieel: De mogelijkheid voor agents om nieuwe ISA-instructies voor te stellen op basis van werklast-vereisten opent de deur voor een nieuwe cyclus van hardware-software co-design, waarbij de software behoeften direct de hardware-ontwikkeling sturen.
• Toekomstige Richting: Het paper suggereert dat toekomstig werk moet focussen op formele verificatie (voor veiligheid) en het integreren van ISA-kennis direct in de modeltraining om de afhankelijkheid van externe documentatie te verminderen.

Conclusie: KernelCraft is een baanbrekend initiatief dat aantoont dat agentic LLM-systemen potentieel hebben om de ontwikkeling van kernels voor de volgende generatie AI-hardware te automatiseren, hoewel er nog uitdagingen blijven bestaan bij het beheersen van zeer complexe, end-to-end werklasten.