🤖 machine learning

KernelEvolve: Scaling Agentic Kernel Coding for Heterogeneous AI Accelerators at Meta

KernelEvolve è un framework agentico che automatizza la generazione e l'ottimizzazione di kernel ad alte prestazioni per diversi modelli di raccomandazione deep learning su acceleratori AI eterogenei, riducendo significativamente i tempi di sviluppo garantendo al contempo la correttezza e fornendo sostanziali guadagni di prestazioni rispetto ai baseline esistenti.

Autori originali: Gang Liao, Hongsen Qin, Ying Wang, Alicia Golden, Michael Kuchnik, Yavuz Yetim, Jia Jiunn Ang, Chunli Fu, Yihan He, Samuel Hsia, Zewei Jiang, Dianshi Li, Uladzimir Pashkevich, Varna Puvvada, Feng Shi

Pubblicato 2026-07-08

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Gang Liao, Hongsen Qin, Ying Wang, Alicia Golden, Michael Kuchnik, Yavuz Yetim, Jia Jiunn Ang, Chunli Fu, Yihan He, Samuel Hsia, Zewei Jiang, Dianshi Li, Uladzimir Pashkevich, Varna Puvvada, Feng Shi, Matt Steiner, Ruichao Xiao, Liyuan Li, Nathan Yan, Xiayu Yu, Zhou Fang, Roman Levenstein, Kunming Ho, Haishan Zhu, Alec Hammond, Richard Li, Ajit Mathews, Kaustubh Gondkar, Abdul Zainul-Abedin, Ketan Singh, Hongtao Yu, Wenyuan Chi, Barney Huang, Sean Zhang, Noah Weller, Zach Marine, Wyatt Cook, Carole-Jean Wu, Gaoxiang Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: L'incubo della "Traduzione"

Immaginate che Meta gestisca un enorme sistema pubblicitario globale. Per mostrarvi l'annuncio perfetto, questo sistema deve eseguire calcoli complessi miliardi di volte al giorno. Questi calcoli vengono eseguiti da chip specializzati chiamati acceleratori AI (come le GPU NVIDIA, le GPU AMD e i chip personalizzati di Meta chiamati MTIA).

Tuttavia, c'è un grosso problema: questi chip parlano lingue diverse.

Un chip NVIDIA parla "CUDA".
Un chip AMD parla "ROCm".
Il chip personalizzato di Meta parla un dialetto unico di "Triton".

Inoltre, le "parole" (operazioni matematiche) necessarie per la pubblicità sono incredibilmente diverse. Alcune sono operazioni matematiche standard (come la moltiplicazione), ma molte sono compiti bizzarri e personalizzati specifici per la pubblicità, come l'ordinamento della cronologia dell'utente o l'hashing dei dati.

Il Vecchio Modo:
Per far sì che la pubblicità girasse velocemente, gli ingegneri umani dovevano scrivere manualmente una specifica "traduzione" (un kernel) per ogni singolo compito matematico su ogni singolo tipo di chip.

L'Analogia: Immaginate di essere uno chef che cerca di servire un pasto a 1.000 ospiti, ma ogni ospite parla una lingua diversa e ha una dieta diversa. Dovete scrivere manualmente una ricetta unica e tradurla in una lingua diversa per ogni singolo ospite. Se dimenticate una traduzione, quell'ospite non viene nutrito. Se volete cambiare il menù (aggiornare il modello AI), dovete riscrivere tutte le 1.000 ricette da capo. Questo richiede settimane, è soggetto a errori ed è incredibilmente costoso.

La Soluzione: KernelEvolve (Il Robot "Super-Traduttore")

Il paper presenta KernelEvolve, un sistema di agenti AI che automatizza l'intero processo. Invece di far scrivere il codice agli umani, KernelEvolve agisce come un robot chef instancabile e super intelligente, capace di imparare istantaneamente qualsiasi lingua e scrivere la ricetta perfetta per ogni ospite.

Ecco come funziona, passo dopo passo:

1. La "Ricerca ad Albero" (Provare Molti Percorsi)

Quando KernelEvolve deve risolvere un problema matematico, non si limita a indovinare una volta sola. Utilizza una Ricerca ad Albero (Tree Search).

L'Analogia: Immaginate di cercare di trovare la strada più veloce attraverso un enorme labirinto. Un essere umano potrebbe provare un percorso, rimanere bloccato e arrendersi. KernelEvolve è come uno sciame di formiche. Invia migliaia di "esploratori" simultaneamente. Alcuni vanno a sinistra, altri a destra. Se un esploratore sbatte contro un muro (un errore di codice), si ferma. Se un esploratore trova una scorciatoia (un modo più veloce per fare il calcolo), segna quel percorso come "buono" e invia più formiche lungo quella rotta.
Continua a farlo, imparando da ogni vicolo cieco e da ogni successo, finché non trova il percorso assolutamente migliore.

2. La "Biblioteca della Memoria" (Imparare dal Passato)

KernelEvolve possiede una massiccia e organizzata biblioteca di note chiamata Base di Conoscenza Persistente.

L'Analogia: Se state cercando di riparare un rubinetto che perde, non tirate a indovinare; consultate un manuale. KernelElevolve fa lo stesso, ma il suo manuale è enorme. Contiene istruzioni specifiche per ogni tipo di chip (NVIDIA, AMD, MTIA).
La Magia: Anche per il chip personalizzato di Meta (MTIA), che è così nuovo che nessun'IA lo ha mai visto prima, KernelEvolve ha un "manuale di istruzioni" speciale iniettato nella sua libreria. Legge queste note, impara le stranezze uniche del chip e scrive codice specifico per esso. Questo gli permette di lavorare su hardware che non esiste nei dati di addestramento pubblici di Internet.

3. Il "Ciclo di Autocorrezione" (Debug di se stesso)

Una volta che il robot scrive un pezzo di codice, non si fida ciecamente. Esegue un Ciclo di Autocorrezione.

L'Analogia: Il robot scrive una ricetta, cucina il piatto e poi lo assaggia.
- Test del Gusto (Correttezza): Ha lo stesso sapore dell'originale? (Il calcolo corrisponde al risultato atteso?)
- Test di Velocità (Prestazioni): Ha cucinato più velocemente del vecchio metodo?
- La Correzione: Se il piatto è troppo salato (troppo lento) o ha un sapore sbagliato (errore matematico), il robot analizza il perché. Esamina i "registri della cucina" (dati di profiling) per vedere se il fornello era troppo caldo o se gli ingredienti sono stati mescolati male. Poi riscrive la ricetta e riprova.
Ripete questo ciclo centinaia di volte per un singolo compito, perfezionando il codice finché non è perfetto.

4. La "Cucina Remota" (FaaS)

Per testare queste ricette, il robot ha bisogno di utilizzare i veri chip costosi.

L'Analogia: Il robot (il cervello) vive in un normale computer da ufficio. I chip (i forni) si trovano in una cucina tecnologica separata. Invece di far camminare il robot fino alla cucina, aspettare il forno e tornare indietro, invia la ricetta a un Servizio di Cucina Remota (FaaS). La cucina remota cucina il piatto e invia i risultati istantaneamente. Questo permette al robot di testare migliaia di ricette contemporaneamente senza rimanere bloccato in attesa di un forno.

I Risultati: Perché è Importante

Il paper afferma che KernelEvolve è un punto di svolta per tre ragioni:

Velocità: Ha ridotto il tempo per creare questi codici specializzati da settimane a ore.
Prestazioni: Il codice che scrive è incredibilmente veloce. Nei test, ha reso l'IA da 1,2 a 17 volte più veloce rispetto al codice standard scritto da umani.
- Esempio: Per un compito specifico di ordinamento dei dati, è stato 9,8 volte più veloce. Per un'operazione matematica specifica sul chip personalizzato di Meta, è stato 17 volte più veloce.
Affidabilità: Ha superato il 100% dei test di correttezza. Non ha solo reso le cose veloci; ha garantito che la matematica fosse corretta ogni singola volta.

Riassunto

KernelEvolve è un sistema di IA che automatizza il lavoro noioso, difficile e costoso di tradurre il codice informatico per diversi tipi di chip AI. Utilizzando una strategia di "prova ed errore" (Ricerca ad Albero), una massiccia libreria di regole hardware (Base di Conoscenza) e un ciclo di autocorrezione, può generare codice ad alta velocità per il sistema pubblicitario di Meta in ore anziché in settimane, rendendo l'intero sistema più veloce ed economico da gestire.

Sintesi Tecnica: KernelEvolve

Problematica

La distribuzione di modelli di raccomandazione basati su Deep Learning (DLRM) per sistemi pubblicitari su larga scala presso Meta affronta una "maledizione della dimensionalità" guidata da tre fattori intersecanti: la diversità dell'architettura del modello (che spazia dai tradizionali MLP ai modelli sequenziali basati su Transformer), la diversità dei kernel primitivi (che si estende oltre il classico GEMM a centinaia di complessi operatori di pre-elaborazione dati) e l'eterogeneità dell'hardware (che comprende GPU NVIDIA, GPU AMD e acceleratori proprietari di Meta per Training e Inference, come MTIA).

Questa complessità crea un collo di bottiglia critico. Lo sviluppo manuale dei kernel è economicamente insostenibile, richiedendo da 2 a 8 settimane di sforzo esperto per ogni combinazione operatore-hardware. Inoltre, la mancanza di kernel ottimizzati per specifici operatori di pre-elaborazione su acceleratori proprietari costringe a utilizzare architetture di "serving disaggregato". In queste configurazioni, la pre-elaborazione deve essere eseguita su CPU host sottoprovisionate mentre l'inferenza della rete neurale avviene sugli acceleratori, incorrendo in un overhead di latenza di rete puro di 10–20 ms. Questa tassa architettonica consuma una parte significativa del budget di latenza inferiore ai 100 ms richiesto per il serving pubblicitario, impattando direttamente sull'esperienza dell'utente e sui ricavi. Gli esistenti agenti di codifica basati su IA sono limitati da ambiti ristretti, benchmark sintetici, focalizzazione su singola piattaforma e una mancanza di gestione della conoscenza autonoma e persistente necessaria per l'ottimizzazione in produzione.

Metodologia

KernelEvolve è un framework agentico progettato per automatizzare la generazione, l'ottimizzazione e la validazione di kernel ad alte prestazioni su hardware eterogeneo. Tratta l'ottimizzazione dei kernel come un problema di ricerca basato su grafi piuttosto che come un semplice compito di generazione di codice.

Architettura Core

Ricerca ad Albero e Macchina a Stati: Il sistema modella il processo di ottimizzazione come un grafo di ricerca $G_t = (V_t, E_t)$ . Impiega strategie che includono la Ricerca Greedy, la Monte Carlo Tree Search (MCTS) e algoritmi evolutivi. Il processo itera attraverso selezione, trasformazione e punteggio:
- Funzione di Fitness: Valuta i kernel in base al miglioramento (speedup) rispetto ai baseline di PyTorch, con la correttezza (accuratezza numerica) come vincolo rigido (il fallimento equivale a fitness 0).
- Operatore Universale: A differenza dei framework statici multi-operatore, KernelEvolve utilizza un singolo operatore consapevole del contesto. Esso sintetizza dinamicamente i prompt basandosi sul contesto di esecuzione a runtime (errori, dati di profiling) anziché su template fissi.
Retrieval Agentico e Gestione del Contesto Auto-gestito:
- Sotto-agente di Memoria del Contesto: Analizza gli artefatti di runtime (log, metriche di profiling, risultati di correttezza) per diagnosticare i colli di bottiglia e sintetizzare direttive di ottimizzazione. Mantiene un archivio di metadati persistente (database relazionale) tracciando l'albero di ricerca, i punteggi di fitness e le relazioni genitore-figlio, consentendo la tolleranza ai guasti e il riutilizzo della conoscenza tra sessioni.
- Sotto-agente di Deep Search: Effettua il recupero mirato da una Base di Conoscenza Persistente. Questa base di conoscenza codifica i vincoli specifici dell'hardware (NVIDIA, AMD, MTIA), i pattern di ottimizzazione e le metodologie di debugging in un file system gerarchico. Per l'hardware proprietario come MTIA, che manca di rappresentazione nei corpora di addestramento degli LLM, l'iniezione di questa documentazione specifica del dominio (ad esempio, le operazioni SFU di MTIA, le primitive di comunicazione inter-PE) è fondamentale per generare codice corretto.
Framework di Valutazione e Tooling:
- Interfaccia di Implementazione Duale: I kernel generati sono avvolti in un'interfaccia standardizzata insieme a un baseline PyTorch per la validazione automatica della correttezza (torch.allclose) e il benchmarking delle prestazioni.
- Interpreti Hardware: Ambienti dedicati (basati su Bento) per NVIDIA, AMD e MTIA garantiscono un'esecuzione riproducibile con toolchain aggiornate.
- Profiling Unificato (Triton MPP): Il Multi-Pass Profiler di Meta unifica l'instrumentazione attraverso i livelli di astrazione (MLIR, assembly, runtime), fornendo dati sulle prestazioni strutturati a livello di istruzione senza la frammentazione dei toolchain tradizionali.
- Integrazione FaaS: La valutazione è delegata a una piattaforma Function-as-a-Service, disaccoppiando la generazione legata alla CPU dalla valutazione legata a GPU/acceleratori per massimizzare l'utilizzo delle risorse.

Contributi Chiave

Sistema di Kernel AI di Grado Produttivo: KernelEvolve è il primo sistema di ottimizzazione dei kernel basato su IA distribuito su scala industriale per l'addestramento e l'inferenza di modelli di raccomandazione. Genera autonomamente kernel Triton ottimizzati per centinaia di modelli che servono miliardi di utenti.
Ottimizzazione Automatica per Hardware Proprietario: Integrando una base di conoscenza persistente con la sintesi di prompt basata su retrieval, il sistema genera efficacemente kernel per architetture proprietarie (MTIA) assenti dai dati di addestramento degli LLM, colmando il divario tra capacità del modello e vincoli hardware.
Guadagni in Prestazioni ed Efficienza: Il sistema riduce i tempi di sviluppo da settimane a ore. Ottiene miglioramenti sostanziali (da 1.2x a 17x) rispetto ai baseline di PyTorch attraverso diversi carichi di lavoro, inclusi la pre-elaborazione dei dati, i transformer convoluzionali e i modelli di ranking.
Insight Operativi: Il documento condivide analisi delle modalità di fallimento, strategie di debugging per la generazione di kernel errati e pattern organizzativi per integrare workflow automatizzati in ambienti di produzione.

Risultati

KernelEvolve è stato validato sulla suite pubblicamente disponibile KernelBench e su una suite personalizzata di 160 operatori ATen di PyTorch su tre piattaforme eterogenee (NVIDIA H100, AMD MI350, MTIA v3).

Correttezza: Ha raggiunto un tasso di successo del 100% su tutti i 250 problemi di KernelBench e il 100% di correttezza in tutte le 480 configurazioni operatore-piattaforma.
Prestazioni: Ha dimostrato speedup compresi tra 1.25x e 17x rispetto ai baseline di PyTorch. Miglioramenti degni di nota includono:
- Pre-elaborazione Dati: MapId (4.1x), MergeBucketizedDense (9.3x), Batch Event Truncate (9.8x).
- Transformer Convoluzionali: Conv1d (6.5x), Conv2d (4.7x).
- Modelli di Ranking: WuKong Optimized FM (4.0x), InterFormer PFFN (2.5x).
- Specifiche MTIA: RMSNorm 2D backward (17x).
Efficienza della Ricerca: Le traiettorie di ottimizzazione mostrano che la ricerca basata su grafi con feedback di esecuzione migliora costantemente i punteggi di fitness nel corso dei passaggi iterativi, scoprendo strategie di fusione e configurazioni di tiling che lo sviluppo manuale impiegherebbe settimane a esplorare.

Significato

Il documento sostiene che KernelEvolve trasforma fondamentalmente lo sviluppo di kernel da un processo manuale dipendente dall'esperienza in un servizio automatizzato e scalabile. Il suo significato risiede in:

Abilitazione del Deployment di Acceleratori Monolitici: Automatizzando la generazione di kernel per tutti gli operatori (inclusa la pre-elaborazione a bassa intensità aritmetica), rimuove il vincolo binario che forza le architetture disaggregate CPU-acceleratore. Ciò elimina la tassa di latenza di rete di 10–20 ms, migliorando direttamente l'efficienza del serving e riducendo il Total Cost of Ownership (TCO).
Scalabilità verso l'Eterogeneità: Dimostra che l'IA agentica può navigare efficacemente l'esplosione combinatoria delle coppie operatore-hardware, rendendo fattibile il deployment di nuovi modelli su nuove generazioni di hardware senza attendere il porting manuale dei kernel.
Colmare il Divario di Conoscenza: L'approccio di iniettare la conoscenza dell'hardware proprietario in una base di conoscenza persistente consente agli LLM di generare codice di alta qualità per acceleratori custom senza necessità di riaddestramento, offrendo un modello per il futuro design e l'ottimizzazione dei sistemi AI su scala.