KernelCraft: Benchmarking for Agentic Close-to-Metal Kernel Generation on Emerging Hardware

Il paper presenta KernelCraft, il primo benchmark che valuta la capacità di agenti LLM di generare e ottimizzare automaticamente kernel a basso livello per acceleratori emergenti con nuove ISAs, dimostrando come un flusso di lavoro guidato da feedback possa ridurre i costi di sviluppo e produrre kernel validi ed efficienti.

L'essenziale

🛠️ KernelCraft: L'Artigiano AI che Costruisce Motori per Nuovi Veicoli

Immagina di aver appena inventato un nuovo tipo di motore per un'auto (un nuovo acceleratore AI). È potente, veloce e fatto su misura. Ma c'è un grosso problema: nessuno sa come guidarlo.

Per far funzionare questo motore, hai bisogno di un manuale di istruzioni estremamente specifico (chiamato kernel), scritto in una lingua che solo quel motore capisce. Fino a oggi, scrivere queste istruzioni era come dover costruire un motore a mano, pezzo per pezzo, con un martello e un scalpello. Era lento, costoso, pieno di errori e richiedeva esperti geniali che lavoravano per mesi.

KernelCraft è il progetto che chiede: "E se potessimo dare a un'intelligenza artificiale (un 'agente') la mappa del motore, gli strumenti giusti e lasciarle costruire da sola le istruzioni perfette?"

1. Il Problema: Il Muro della Programmabilità

Quando le aziende creano nuovi chip per l'Intelligenza Artificiale, spesso inventano un linguaggio tutto nuovo (una nuova ISA). È come se ogni nuovo modello di auto avesse un volante, dei pedali e un cambio completamente diversi dagli altri.
I programmatori umani devono imparare tutto da zero ogni volta. Spesso, il chip è così avanzato che i software per usarlo non esistono ancora. Risultato? Chip potenti rimangono nel cassetto perché nessuno sa come farli lavorare.

2. La Soluzione: L'Agente "Meccanico" con gli Occhiali Magici

KernelCraft non è un semplice generatore di codice. È un agente intelligente (un'AI avanzata) che agisce come un meccanico esperto con un set di attrezzi magici.

Ecco come lavora, passo dopo passo:

• Il Compito: L'agente riceve la descrizione del lavoro (es. "Calcola la media di questi numeri") e il manuale del motore (le specifiche del nuovo chip).
• Il Tentativo: L'agente scrive il codice (le istruzioni) per il motore.
• Il Controllo (La parte magica): Qui sta la differenza. L'agente non si limita a scrivere e sperare. Usa dei strumenti automatici:
  • Controlla la grammatica: "Ho scritto le istruzioni nel modo giusto?"
  • Simula il motore: "Se eseguo questo codice, il motore si blocca o funziona?"
  • Confronta i risultati: "Il risultato è quello che ci si aspetta?"
• L'Errore e la Correzione: Se qualcosa non va (es. il motore fa un rumore strano), l'agente legge il rapporto di errore, capisce il problema, modifica il codice e riprova. Fa questo ciclo finché il motore non gira perfettamente.

3. La Sfida: Tre Livelli di Difficoltà

Gli autori hanno messo alla prova l'agente con tre tipi di compiti, come se fosse un esame di guida:

1. Livello 1 (Le basi): Operazioni semplici come sommare o moltiplicare. Qui l'agente è stato molto bravo, quasi come un pilota esperto.
2. Livello 2 (Le curve): Operazioni più complesse che uniscono più passaggi (come i meccanismi di attenzione delle AI moderne). Qui è diventato più difficile, ma l'agente ha ancora fatto bene.
3. Livello 3 (La gara completa): Costruire interi sistemi complessi. Qui l'agente ha faticato, proprio come un principiante che cerca di guidare una Formula 1.

4. I Risultati: Sorprendenti!

I risultati sono stati un mix di "Wow" e "Beh, c'è ancora strada da fare":

• Velocità: In molti casi, il codice scritto dall'agente era più veloce di quello scritto dai compilatori automatici standard. L'agente ha trovato scorciatoie che i software tradizionali non vedevano.
• Adattabilità: L'agente è riuscito a imparare a guidare su motori che non aveva mai visto prima, basandosi solo sul manuale fornito.
• Co-progettazione: In un esperimento affascinante, l'agente ha notato che il motore mancava di un pezzo fondamentale per un nuovo tipo di lavoro. Ha proposto lui stesso di aggiungere un nuovo comando al motore. Quando gli ingegneri umani hanno aggiunto quel comando, l'agente ha scritto il codice perfetto. È come se un meccanico dicesse: "Ehi, se aggiungessimo questo pedale, l'auto sarebbe ancora più veloce!"

5. Perché è Importante?

Immagina che in futuro, ogni volta che un'azienda inventa un nuovo chip per l'AI, non debba più aspettare anni per avere i software che lo fanno funzionare. Con KernelCraft, un'agente AI potrebbe leggere il progetto del chip e, in pochi giorni, scrivere tutto il codice necessario per farlo correre.

In sintesi:
KernelCraft è come un tirocinante robotico super-intelligente che impara a guidare qualsiasi nuova auto guardando il manuale e facendo prove su un simulatore. Non è ancora perfetto (a volte sbaglia le curve complesse), ma è già capace di guidare meglio di molti software automatici esistenti, promettendo di accelerare enormemente lo sviluppo del futuro hardware per l'Intelligenza Artificiale.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper KernelCraft: Benchmarking for Agentic Close-to-Metal Kernel Generation on Emerging Hardware, presentato in italiano.

1. Il Problema: Il "Muro della Programmabilità" negli Acceleratori Emergenti

L'evoluzione rapida dei modelli di linguaggio (LLM) richiede acceleratori AI sempre più specializzati ed eterogenei. Tuttavia, questi nuovi acceleratori spesso adottano Instruction Set Architecture (ISA) personalizzate e non standardizzate, esponendo direttamente agli sviluppatori astrazioni hardware di basso livello (pattern di calcolo, movimento dati, gerarchia di memoria).

Il problema centrale identificato è il "muro della programmabilità":

• Mancanza di Toolchain Maturi: A differenza delle GPU mature (con CUDA), gli acceleratori emergenti mancano di compilatori robusti che possano mappare automaticamente programmi tensoriali di alto livello in kernel ottimizzati "close-to-metal" (vicino al metallo).
• Costo Umano Elevato: La scrittura di kernel assembly ottimizzati richiede un'esperta conoscenza dell'hardware target, rendendo il processo lento, soggetto a errori e non scalabile.
• Limiti della Generazione di Codice Attuale: Sebbene gli LLM abbiano mostrato successo nella generazione di codice per ecosistemi maturi (es. CUDA, Triton), non è chiaro se possano generare kernel validi ed efficienti per ISA nuove e sconosciute ("zero-shot"), dove non esistono esempi di addestramento preesistenti.

2. Metodologia: KernelCraft

Per colmare questo divario, gli autori presentano KernelCraft, il primo benchmark progettato per valutare la capacità degli agenti LLM di generare e ottimizzare kernel assembly di basso livello per acceleratori personalizzati.

Architettura del Framework

KernelCraft non si limita a generare codice una tantum, ma implementa un ciclo di esecuzione agentiche guidato dal feedback:

1. Input: L'agente riceve la descrizione del task, la specifica ISA e la configurazione hardware.
2. Generazione e Strumenti: L'agente utilizza strumenti nativi (API) per scrivere codice, verificare la sintassi, eseguire simulazioni e confrontare i risultati con un "ground truth".
3. Loop di Diagnosi e Riparazione: Se il codice fallisce (errori di sintassi, funzionalità errata o mismatch numerico), il sistema fornisce all'agente feedback dettagliati (es. log di errore, differenze di memoria). L'agente usa questo feedback per iterare, correggere e ottimizzare il kernel fino a raggiungere la correttezza funzionale.
4. Livelli di Complessità: Il benchmark copre tre livelli di carico di lavoro:
   • Livello 1: Operazioni primitive (es. SiLU, Softmax, GEMM).
   • Livello 2: Operazioni composite (es. MLP, Attention, FlashAttention).
   • Livello 3: Sistemi end-to-end (es. Blocchi di Transformer, CNN).

Piattaforme di Valutazione

Il benchmark è stato testato su tre piattaforme hardware emergenti con ISA diverse:

• PLENA: Acceleratore AI con ISA completamente personalizzata.
• AMD NPU: Basato su ISA personalizzata (AIE-ML).
• Coral NPU: Basato su RISC-V con estensioni vettoriali (RVV).

3. Contributi Chiave

• Primo Benchmark "Close-to-Metal": KernelCraft è il primo a valutare la generazione di codice assembly diretto per acceleratori con ISA nuove, coprendo 33 task (23 ML, 10 CPU) e 6 interfacce di strumenti nativi.
• Validazione dell'Approccio Agentiche: Dimostra che gli agenti LLM possono autonomamente generare kernel corretti per ISA mai viste, superando la barriera della mancanza di dati di addestramento specifici grazie al feedback iterativo.
• Ottimizzazione Hardware-Aware: Gli agenti non si limitano alla correttezza, ma scoprono autonomamente ottimizzazioni specifiche per l'hardware (es. folding di operazioni BatchNorm in interi) che i compilatori standard non ancora maturi non riescono a trovare.
• Co-design ISA: Il framework permette di identificare lacune nell'ISA e proporre nuove istruzioni, fungendo da collaboratore nella progettazione hardware.

4. Risultati Sperimentali

Gli esperimenti hanno coinvolto 4 modelli LLM all'avanguardia (GPT-5.2, Gemini-3-Flash, Sonnet 4, DeepSeek R1) su oltre 1.100 esperimenti.

• Tasso di Successo:
  • GPT-5.2 ha ottenuto i migliori risultati, raggiungendo un tasso di successo del 55% su PLENA per le operazioni primitive, scendendo però drasticamente per task complessi (Livello 3: quasi 0% di successo).
  • I modelli meno capaci (es. DeepSeek R1) hanno avuto difficoltà significative, generando con successo solo 1 kernel per piattaforma.
  • La complessità del task è il fattore limitante principale: le operazioni primitive sono gestibili, mentre i blocchi end-to-end rimangono una sfida aperta.
• Prestazioni (Speedup):
  • I kernel generati dagli agenti hanno spesso eguagliato o superato le baseline dei compilatori.
  • Su Coral NPU, l'agente ha raggiunto uno speedup fino a 7.93x su un blocco ConvBlock rispetto al compilatore, grazie alla scoperta di ottimizzazioni come il folding delle operazioni di normalizzazione in aritmetica intera.
  • Su PLENA, sono stati osservati speedup consistenti (1.06x - 1.22x) per task di normalizzazione.
• Importanza del "Ragionamento" (Thinking): L'ablation study ha mostrato che l'uso di token di ragionamento esteso è cruciale: senza di esso, il tasso di successo per task complessi scende a 0%.
• Efficienza degli Strumenti: La capacità di utilizzare nativamente gli strumenti (tool-use) è fondamentale. Modelli che non chiamano correttamente gli strumenti di verifica falliscono immediatamente.

5. Significato e Impatto

Il lavoro di KernelCraft ha implicazioni profonde per il futuro dello sviluppo hardware e software:

• Riduzione dei Costi di Sviluppo: Potrebbe ridurre drasticamente il tempo e l'expertise necessari per portare nuovi acceleratori sul mercato, automatizzando la fase più critica e laboriosa: la scrittura dei kernel di base.
• Accelerazione del Co-design: Gli agenti possono agire come partner proattivi, identificando colli di bottiglia architetturali e suggerendo nuove istruzioni ISA prima ancora che l'hardware sia completamente definito.
• Validazione dell'Agentic AI: Conferma che i sistemi agentiche, dotati di strumenti di verifica e feedback, sono in grado di operare in ambienti "zero-shot" complessi, superando i limiti della semplice generazione di codice statico.

In sintesi, KernelCraft dimostra che l'IA agenziale è pronta a supportare la prossima generazione di hardware AI, trasformando la programmazione "close-to-metal" da un collo di bottiglia manuale a un processo guidato e iterativo, sebbene le sfide per task di complessità estrema (end-to-end) rimangano significative.