🤖 machine learning

KernelEvolve: Scaling Agentic Kernel Coding for Heterogeneous AI Accelerators at Meta

KernelEvolve is een agentisch framework dat de generatie en optimalisatie van hoogperformante kernels voor diverse deep learning recommendation-modellen over heterogene AI-accelerators automatiseert, wat de ontwikkeltijd aanzienlijk verkort terwijl de correctheid wordt gewaarborgd en substantiële prestatiewinsten worden behaald ten opzichte van bestaande baselines.

Oorspronkelijke auteurs: Gang Liao, Hongsen Qin, Ying Wang, Alicia Golden, Michael Kuchnik, Yavuz Yetim, Jia Jiunn Ang, Chunli Fu, Yihan He, Samuel Hsia, Zewei Jiang, Dianshi Li, Uladzimir Pashkevich, Varna Puvvada, Feng Shi

Gepubliceerd 2026-07-08

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gang Liao, Hongsen Qin, Ying Wang, Alicia Golden, Michael Kuchnik, Yavuz Yetim, Jia Jiunn Ang, Chunli Fu, Yihan He, Samuel Hsia, Zewei Jiang, Dianshi Li, Uladzimir Pashkevich, Varna Puvvada, Feng Shi, Matt Steiner, Ruichao Xiao, Liyuan Li, Nathan Yan, Xiayu Yu, Zhou Fang, Roman Levenstein, Kunming Ho, Haishan Zhu, Alec Hammond, Richard Li, Ajit Mathews, Kaustubh Gondkar, Abdul Zainul-Abedin, Ketan Singh, Hongtao Yu, Wenyuan Chi, Barney Huang, Sean Zhang, Noah Weller, Zach Marine, Wyatt Cook, Carole-Jean Wu, Gaoxiang Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Vertalings"-nachtmerrie

Stel je voor dat Meta een massaal mondiaal advertentiesysteem beheert. Om jou de perfecte advertentie te tonen, moet dit systeem miljarden keren per dag complexe berekeningen uitvoeren. Deze berekeningen worden gedaan door gespecialiseerde computerchips die AI-accelerators worden genoemd (zoals NVIDIA GPU's, AMD GPU's en Meta's eigen aangepaste chips genaamd MTIA).

Er is echter een groot probleem: Deze chips spreken verschillende talen.

Een NVIDIA-chip spreekt "CUDA".
Een AMD-chip spreekt "ROCm".
Meta's aangepaste chip spreekt een uniek dialect van "Triton".

Bovendien zijn de "woorden" (wiskundige operaties) die nodig zijn voor advertenties ongelooflijk divers. Sommige zijn standaard wiskunde (zoals vermenigvuldiging), maar veel zijn vreemde, aangepaste taken specifiek voor advertenties, zoals het sorteren van gebruikersgeschiedenis of het hashen van gegevens.

De Oude Manier:
Om de advertenties snel te laten draaien, moesten menselijke ingenieurs handmatig een specifieke "vertaling" (een kernel) schrijven voor elke enkele wiskundige taak op elke enkele chipsoort.

De Analogie: Stel je voor dat je een chef-kok bent die een maaltijd probeert te serveren aan 1.000 gasten, maar elke gast spreekt een andere taal en heeft een ander dieet. Je moet handmatig een uniek recept schrijven en het in een andere taal vertalen voor elke enkele gast. Als je één vertaling mist, krijgt die gast geen eten. Als je het menu wilt veranderen (het AI-model wilt updaten), moet je alle 1.000 recepten opnieuw vanaf nul herschrijven. Dit duurt weken, is foutgevoelig en is ongelooflijk duur.

De Oplossing: KernelEvolve (De "Super-Vertaler" Robot)

Het paper introduceert KernelEvolve, een AI-agentsysteem dat dit hele proces automatiseert. In plaats van dat mensen de code schrijven, fungeert KernelEvolve als een onvermoeibare, superintelligente robotchef die direct elke taal kan leren en het perfecte recept voor elke gast kan schrijven.

Zo werkt het, stap voor stap:

1. De "Tree Search" (Veel paden proberen)

Wanneer KernelEvolve een wiskundig probleem moet oplossen, gokt het niet zomaar één keer. Het gebruikt een Tree Search.

De Analogie: Stel je voor dat je probeert de snelste route door een enorme doolhof te vinden. Een mens probeert misschien één pad, loopt vast en geeft op. KernelEvolve is als een zwerm mieren. Het stuurt tegelijkertijd duizenden "ontdekkers" uit. Sommigen gaan links, anderen gaan rechts. Als een ontdekker tegen een muur aanloopt (een codefout), stopt deze. Als een ontdekker een afkorting vindt (een snellere manier om de wiskunde uit te voeren), markeert het die route als "goed" en stuurt het meer mieren die kant op.
Het blijft dit doen, leert van elke doodlopende weg en elk succes, totdat het de absoluut beste route heeft gevonden.

2. De "Memory Library" (Leren van het verleden)

KernelEvolve heeft een enorme, georganiseerde bibliotheek met aantekeningen die een Persistent Knowledge Base wordt genoemd.

De Analogie: Als je probeert een lekkende kraan te repareren, raad je niet alleen maar wat; je zoekt een handleiding op. KernelEvolve doet dit ook, maar de handleiding is enorm. Het bevat specifieke instructies voor elk type chip (NVIDIA, AMD, MTIA).
De Magie: Zelfs voor Meta's aangepaste chip (MTIA), die zo nieuw is dat nog nooit een AI hem heeft gezien, heeft KernelEvolve een speciale "instructiehandleiding" in zijn bibliotheek geïnjecteerd. Het leest deze aantekeningen, leert de unieke eigenschappen van de chip kennen en schrijft code die specifiek voor deze chip is. Hierdoor kan het werken op hardware die niet voorkomt in de trainingsdata van het publieke internet.

3. De "Self-Correcting Loop" (Zichzelf corrigeren)

Zodra de robot een stuk code heeft geschreven, vertrouwt hij er niet blind op. Het voert een Self-Correction Loop uit.

De Analogie: De robot schrijft een recept, kookt het gerecht en proeft het vervolgens.
- Smaaktest (Correctheid): Smaakt het zoals het origineel? (Komt de wiskunde overeen met het verwachte resultaat?)
- Snelheidstest (Prestaties): Heb je het sneller gekookt dan de oude manier?
- De Fix: Als het gerecht te zout is (te traag) of verkeerd smaakt (fout in de wiskunde), analyseert de robot waarom. Het bekijkt de "keukenlogs" (profiling data) om te zien of het fornuis te heet stond of dat de ingrediënten verkeerd zijn gemengd. Vervolgens herschrijft het het recept en probeert het opnieuw.
Het herhaalt deze cyclus honderden keren voor een enkele taak, waarbij het de code verfijnt totdat deze perfect is.

4. De "Remote Kitchen" (FaaS)

Om deze recepten te testen, heeft de robot de daadwerkelijke dure chips nodig.

De Analogie: De robot (het brein) leeft op een standaard kantoorcomputer. De chips (de ovens) bevinden zich in een aparte, hightech keuken. In plaats van dat de robot naar de keuken loopt, wacht op de oven en weer terugloopt, stuurt het het recept naar een Remote Kitchen Service (FaaS). De remote keuken kookt het gerecht en stuurt de resultaten direct terug. Hierdoor kan de robot duizenden recepten tegelijkertijd testen zonder vast te lopen terwijl hij op een oven wacht.

De Resultaten: Waarom het ertoe doet

Het paper beweert dat KernelEvolve een gamechanger is om drie redenen:

Snelheid: Het heeft de tijd om deze gespecialiseerde codes te maken verminderd van weken naar uren.
Prestaties: De code die het schrijft is ongelooflijk snel. In tests maakte het de AI 1,2 tot 17 keer sneller dan de standaard, door mensen geschreven code.
- Voorbeeld: Voor een specifieke taak van gegevenssortering was het 9,8 keer sneller. Voor een specifieke wiskundige operatie op Meta's aangepaste chip was het 17 keer sneller.
Betrouwbaarheid: Het slaagde voor 100% van de correctheidstests. Het maakte de zaken niet alleen sneller; het zorgde er ook voor dat de wiskunde elke keer weer klopte.

Samenvatting

KernelEvolve is een AI-systeem dat de saaie, moeilijke en dure taak automatiseert om computercode te vertalen voor verschillende soorten AI-chips. Door een "probeer-en-leer"-strategie (Tree Search), een enorme bibliotheek met hardwareregels (Knowledge Base) en een zelfcorrigerende lus te gebruiken, kan het binnen uren in plaats van weken hoogwaardige code genereren voor Meta's advertentiesysteem, waardoor het hele systeem sneller en goedkoper wordt om te draaien.

Technische Samenvatting: KernelEvolve

Probleemstelling

De implementatie van Deep Learning Recommendation Models (DLRMs) voor grootschalige advertentiesystemen bij Meta staat voor een "vloek van dimensionaliteit" gedreven door drie snijdende factoren: diversiteit in modelarchitectuur (variërend van traditionele MLP's tot Transformer-gebaseerde sequentiemodellen), diversiteit in kernel-primitieven (die verder gaan dan standaard GEMM naar honderden complexe data-preprocessing-operators) en hardware-heterogeniteit (variërend van NVIDIA GPU's, AMD GPU's tot propriëtaire Meta Training en Inference Accelerators zoals MTIA).

Deze complexiteit creëert een kritieke bottleneck. Handmatige kernelontwikkeling is economisch onhaalbaar, waarbij 2 tot 8 weken aan expertinspanning per operator-hardwarecombinatie vereist is. Bovendien dwingt het gebrek aan geoptimaliseerde kernels voor specifieke preprocessing-operators op propriëtaire versnellers tot "gedisaggregeerde serving"-architecturen. In deze opstellingen moet preprocessing op ondergeprovisioneerde host-CPU's draaien terwijl de neurale netwerk-inferentie op versnellers draait, wat een netwerklatentie-overhead van 10–20 ms veroorzaakt. Deze architecturale belasting verbruikt een aanzienlijk deel van het sub-100ms latentiebudget dat vereist is voor ad-serving, wat de gebruikerservaring en de omzet direct beïnvloedt. Bestaande AI-gestuurde coding agents worden beperkt door een nauwe scope, synthetische benchmarks, een focus op één enkel platform en een gebrek aan autonome, persistente kennisbeheer die nodig is voor productie-waardige optimalisatie.

Methodologie

KernelEvolve is een agentic framework ontworpen om de generatie, optimalisatie en validatie van high-performance kernels te automatiseren over heterogene hardware. Het behandelt kerneloptimalisatie als een graafgebaseerd zoekprobleem in plaats van een eenvoudige code-generatietaak.

Kernarchitectuur

Tree Search en State Machine: Het systeem modelleert het optimalisatieproces als een zoekgraaf $G_t = (V_t, E_t)$ . Het maakt gebruik van strategieën zoals Greedy Search, Monte Carlo Tree Search (MCTS) en evolutionaire algoritmen. Het proces iterereert door selectie, transformatie en scoring:
- Fitness Functie: Evalueert kernels op basis van snelheidswinst ten opzichte van PyTorch-baselines, waarbij correctheid (numerieke nauwkeurigheid) een harde beperking is (falen = 0 fitness).
- Universele Operator: In tegenstelling tot statische multi-operator frameworks gebruikt KernelEvolve een enkele, contextbewuste operator. Het synthetiseert dynamisch prompts op basis van de runtime uitvoeringcontext (fouten, profiling data) in plaats van vaste templates.
Agentic Retrieval & Self-Managed Context:
- Context Memory Sub-Agent: Analyseert runtime-artefacten (logs, profiling metrics, correctheidsresultaten) om bottlenecks te diagnosticeren en optimalisatie-instructies te synthetiseren. Het houdt een persistente metadata-store bij (relationele database) die de zoekboom, fitness scores en ouder-kind relaties bijhoudt, wat zorgt voor fouttolerantie en kennishergebruik tussen sessies.
- Deep Search Sub-Agent: Voert gerichte retrieval uit vanuit een Persistent Knowledge Base. Deze kennisbank codeert hardware-specifieke beperkingen (NVIDIA, AMD, MTIA), optimalisatiepatronen en debugging-methodologieën in een hiërarchisch bestandssysteem. Voor propriëtaire hardware zoals MTIA, die een beperkte representatie heeft in de trainingscorpora van LLM's, is de injectie van deze domeinspecifieke documentatie (bijv. MTIA's SFU-operaties, inter-PE communicatieprimitieven) cruciaal voor het genereren van correcte code.
Evaluatie en Tooling Framework:
- Dual Implementation Interface: Gegenereerde kernels worden ingepakt in een gestandaardiseerde interface samen met een PyTorch-baseline voor geautomatiseerde correctheidsvalidatie (torch.allclose) en performance benchmarking.
- Hardware Interpreters: Toegewijde omgevingen (Bento-gebaseerd) voor NVIDIA, AMD en MTIA zorgen voor reproduceerbare executie met actuele toolchains.
- Unified Profiling (Triton MPP): Meta's Multi-Pass Profiler verenigt instrumentatie over abstractielagen heen (MLIR, assembly, runtime), en levert gestructureerde, instructie-niveau performance data zonder de fragmentatie van traditionele toolchains.
- FaaS Integratie: Evaluatie wordt uitbesteed aan een Function-as-a-Service platform, waardoor CPU-gebonden generatie wordt ontkoppeld van GPU/accelerator-gebonden evaluatie om het resourcegebruik te maximaliseren.

Belangrijkste Bijdragen

Productie-waardig AI Kernel Systeem: KernelEvolve is het eerste AI-gestuurde kerneloptimalisatiesysteem dat op industriële schaal is ingezet voor de training en inferentie van aanbevelingsmodellen. Het genereert autonoom geoptimaliseerde Triton kernels voor honderden modellen die miljarden gebruikers bedienen.
Geautomatiseerde Optimalisatie voor Propriëtaire Hardware: Door een persistente kennisbank te integreren met retrieval-augmented prompt synthese, kan het systeem effectief kernels genereren voor propriëtaire architecturen (MTIA) die afwezig zijn in de trainingsdata van LLM's, waardoor de kloof tussen modelcapaciteiten en hardwarebeperkingen wordt overbrugd.
Performance en Efficiëntie Winsten: Het systeem verkort de ontwikkeltijd van weken naar uren. Het bereikt substantiële versnellingen (1.2x tot 17x) ten opzichte van PyTorch-baselines over diverse workloads, inclus\tief data-preprocessing, convolutionele transformers en ranking modellen.
Operationele Inzichten: Het paper deelt analyses van faalmodi, debugging-strategieën voor incorrecte kernelgeneratie en organisatorische patronen voor het integreren van geautomatiseerde workflows in productieomgevingen.

Resultaten

KernelEvolve werd gevalideerd op de publiekelijk beschikbare KernelBench suite en een custom suite van 160 PyTorch ATen operators over drie heterogene platforms (NVIDIA H100, AMD MI350, MTIA v3).

Correctheid: Behaalde een 100% pass rate op alle 250 KernelBench problemen en 100% correctheid over alle 480 operator-platform configuraties.
Performance: Demonstreerde versnellingen variërend van 1.25x tot 17x ten opzichte van PyTorch-baselines. Opvallende verbeteringen zijn onder meer:
- Data Preprocessing: MapId (4.1x), MergeBucketizedDense (9.3x), Batch Event Truncate (9.8x).
- Convolutional Transformers: Conv1d (6.5x), Conv2d (4.7x).
- Ranking Modellen: WuKong Optimized FM (4.0x), InterFormer PFFN (2.5x).
- MTIA Specifieke zaken: RMSNorm 2D backward (17x).
Zoekefficiëntie: De optimalisatie-trajecten laten zien dat graafgebaseerde zoekopdrachten met executie-feedback consistent de fitness scores verbeteren over iteratieve stappen, waarbij ze fusiestrategieën en tiling-configuraties ontdekken die handmatige ontwikkeling weken zouden kosten om te verkennen.

Betekenis

Het paper betoogt dat KernelEvolve de kernelontwikkeling fundamenteel transformeert van een handmatig, expertise-afhankelijk proces naar een geautomatiseerde, schaalbare service. De betekenis ligt in:

Mogelijk maken van Monolithische Accelerator Deployment: Door de generatie van kernels voor alle operators (inclusief low-arithmetic-intensity preprocessing) te automatiseren, wordt de binaire beperking opgeheven die gedisaggregeerde CPU-accelerator architecturen dwingt. Dit elimineert de 10–20ms netwerklatentie-belasting, wat de serving-efficiëntie direct verbetert en de Total Cost of Ownership (TCO) verlaagt.
Schaalbaarheid naar Heterogeniteit: Het demonstreert dat agentic AI effectief de combinatorische explosie van operator-hardware paren kan navigeren, waardoor de implementatie van nieuwe modellen op nieuwe generaties hardware haalbaar wordt zonder te wachten op handmatige kernel-porting.
Overbruggen van de Kenniskloof: De aanpak om propriëtaire hardwarekennis in een persistente kennisbank te injecteren, stelt LLM's in staat om hoogwaardige code te genereren voor custom accelerators zonder hertraining, wat een blauwdruk biedt voor toekomstige AI-systeemontwerp en -optimalisatie op schaal.