KernelCraft: Benchmarking for Agentic Close-to-Metal Kernel Generation on Emerging Hardware

Die Arbeit stellt KernelCraft vor, den ersten Benchmark, der nachweist, dass agentic LLM-Systeme durch einen feedbackgesteuerten Workflow effizient und korrekt optimierte Low-Level-Kernel für neuartige Hardware-Architekturen mit bisher unbekannten Instruktionssätzen generieren können.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen brandneuen, hochleistungsfähigen Sportwagen gebaut. Er ist schneller als alles, was es bisher gab. Aber es gibt ein riesiges Problem: Es gibt keine Bedienungsanleitung, und kein Mechaniker weiß, wie man ihn fährt. Wenn Sie den Motor starten wollen, müssen Sie die Schrauben, Kabel und den Kraftstofffluss von Hand justieren. Das ist mühsam, fehleranfällig und dauert ewig.

Genau das ist das Problem bei neuen KI-Chips (beschleunigern). Ingenieure erfinden ständig neue Designs, aber die Software, die diese Chips steuert (die sogenannten "Kernels"), muss oft mühsam von Hand programmiert werden. Das bremst die Innovation aus.

Hier kommt KernelCraft ins Spiel.

Was ist KernelCraft?

KernelCraft ist wie ein Super-Assistent, der von einer künstlichen Intelligenz (einem "Agenten") gesteuert wird. Dieser Assistent hat eine besondere Fähigkeit: Er kann nicht nur reden, sondern er kann auch Werkzeuge benutzen.

Stellen Sie sich vor, Sie geben dem Assistenten die Baupläne für den neuen Sportwagen (die Hardware-Spezifikationen) und sagen: "Bau mir einen Motor, der das Auto zum Fliegen bringt!"
Der Assistent macht dann folgendes:

1. Versuch: Er schreibt einen ersten Code (eine Art "Bauanleitung").
2. Test: Er führt diesen Code in einer Simulation aus (wie auf einem Testgelände).
3. Fehleranalyse: Wenn der Motor nicht startet oder explodiert, schaut er sich die Fehlermeldung an.
4. Nachbessern: Er liest die Baupläne nach, korrigiert seinen Code und versucht es erneut.

Dieser Kreislauf aus Versuch, Test, Analyse und Korrektur wiederholt sich so lange, bis der Motor perfekt läuft.

Die drei wichtigsten Entdeckungen der Studie

1. Der Assistent lernt schnell (aber nicht alles)
Die Forscher haben getestet, wie gut verschiedene KI-Modelle diese Aufgabe meistern.

• Bei einfachen Aufgaben (wie "Bewege ein Gewicht von A nach B") waren die besten KIs sehr erfolgreich. Sie konnten in wenigen Versuchen funktionierende Anweisungen schreiben.
• Bei komplexen Aufgaben (wie "Berechne die gesamte Route für ein ganzes Flugzeug") hatten sie noch große Schwierigkeiten. Das ist wie beim Lernen eines neuen Instruments: Einfache Akkorde gehen schnell, ein ganzes Symphonieorchester zu dirigieren, braucht noch viel Übung.

2. Der Assistent ist manchmal besser als die alten Werkzeuge
Überraschenderweise haben die KIs in einigen Fällen nicht nur funktionierenden Code geschrieben, sondern sogar bessere Code als die bisherigen Standard-Programme der Hersteller.

• Die Analogie: Stellen Sie sich vor, ein erfahrener Koch (der menschliche Experte) hat ein Rezept. Der KI-Assistent probiert es aus und sagt: "Eigentlich, wenn wir das Salz erst am Ende hinzufügen und den Ofen etwas heißer machen, schmeckt es noch besser." Und tatsächlich: Das Gericht wird schneller zubereitet und schmeckt köstlicher. Die KI hat neue Optimierungsmöglichkeiten entdeckt, die die alten Maschinen noch nicht kannten.

3. Der Assistent kann sogar neue Werkzeuge erfinden
In einem spannenden Experiment stieß der Assistent auf ein Problem, das mit den vorhandenen Bauplänen nicht lösbar war. Anstatt aufzugeben, schlug er vor: "Hey, wir brauchen eine neue Schraube, die es noch nicht gibt!"
Die Forscher gaben ihm dann die Spezifikation für diese neue "Schraube" (eine neue Hardware-Anweisung), und der Assistent baute den Motor sofort damit. Das zeigt, dass KI nicht nur Software schreiben, sondern sogar helfen kann, die Hardware selbst zu verbessern.

Warum ist das wichtig?

Früher mussten menschliche Experten monatelang sitzen und Code für jeden neuen Chip schreiben. Das war wie das manuelle Schweißen eines Autos.
Mit KernelCraft wird dieser Prozess automatisiert. Die KI kann den Code für neue, noch unbekannte Chips in wenigen Stunden schreiben und optimieren.

Das Ergebnis:

• Neue KI-Chips kommen schneller auf den Markt.
• Sie werden effizienter genutzt.
• Entwickler können sich auf das Erfinden neuer Ideen konzentrieren, statt sich mit mühsamer Programmierung zu beschäftigen.

Zusammenfassend: KernelCraft ist wie ein digitaler Meistermechaniker, der lernt, jeden neuen Motor zu verstehen, zu reparieren und zu optimieren – und dabei manchmal sogar bessere Lösungen findet als die menschlichen Erfinder selbst. Es ist ein großer Schritt hin zu einer Zukunft, in der Hardware und Software Hand in Hand wachsen, statt sich gegenseitig zu bremsen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „KernelCraft: Benchmarking for Agentic Close-to-Metal Kernel Generation on Emerging Hardware" auf Deutsch:

1. Problemstellung

Die Entwicklung neuer KI-Beschleuniger mit neuartigen Befehlssatzarchitekturen (ISAs) stößt derzeit auf ein signifikantes „Programmierbarkeits-Problem". Im Gegensatz zu etablierten Ökosystemen wie GPUs (CUDA) oder CPUs fehlen für diese spezialisierten Hardware-Plattformen oft reife Compiler-Toolchains. Entwickler müssen daher Low-Level-Kernel (nahe der Hardware, „close-to-metal") manuell in Assembler oder spezifischen Domänensprachen programmieren. Dieser Prozess ist:

• Zeit- und ressourcenintensiv: Erfordert tiefes Fachwissen über die spezifische Hardware.
• Fehleranfällig: Manuelle Optimierung ist fehlerbehaftet.
• Nicht skalierbar: Verhindert die effiziente Markteinführung neuer Hardware, da die Software-Entwicklung nicht mithalten kann.

Bisherige LLM-basierte Ansätze zur Code-Generierung konzentrierten sich meist auf reife Ökosysteme (z. B. CUDA, Triton) und scheiterten oft an der „Zero-Shot"-Generierung für völlig neue, unbekannte ISAs ohne Trainingsdaten.

2. Methodik: KernelCraft

Das Paper stellt KernelCraft vor, den ersten Benchmark, der die Fähigkeit von agentic LLM-Systemen (Agenten) bewertet, Low-Level-Assemblers-Kernel für neue Beschleuniger autonom zu generieren und zu optimieren.

Kernkomponenten:

• Agenter Workflow: Der Agent erhält eine Aufgabenbeschreibung, die ISA-Spezifikation und die Hardware-Konfiguration als Eingabe. Er operiert in einem geschlossenen Feedback-Loop (Diagnose und Reparatur).
• Tool-Use (Function Calling): Der Agent kann native Tools nutzen, um:
  • Code zu schreiben (write_code).
  • Syntax zu prüfen (check_syntax).
  • Funktionalität und Performance zu evaluieren (run_evaluation).
  • Ausgaben zu vergleichen (view_output).
  • ISA-Dokumentation zu durchsuchen (grep_docs).
• Iterative Verfeinerung: Der Agent generiert initialen Code, führt Tests durch, analysiert Fehler (z. B. Speicherfehler, falsche Numerik) und passt den Code basierend auf dem Feedback an, bis die Korrektheitskriterien erfüllt sind.
• Benchmarks: Der Test umfasst drei Ebenen der Komplexität:
  1. Primitive Operationen: Elementweise Funktionen (SiLU, Softmax), Matrixmultiplikation (GEMM).
  2. Komposite Operationen: MLPs, Attention-Mechanismen, FlashAttention.
  3. End-to-End-Systeme: Vollständige Transformer-Blöcke (LLaMA, T5).

Evaluierte Hardware:

• PLENA: Ein vollständig benutzerdefinierter ISA-Beschleuniger.
• AMD NPU: Ein kommerzieller NPU mit eigener ISA (Peano Compiler).
• Coral NPU: Ein RISC-V-basierter NPU mit RVV-Erweiterung.
• BOOM: Ein RISC-V-CPU-Kern (zur Überprüfung der Generalisierung).

3. Wichtige Beiträge

1. Erster Benchmark für Assembler-Generierung: KernelCraft ist der erste Standard, der LLM-Agenten auf die Generierung von Assembler-Code für neue, nicht-CUDA-basierte Beschleuniger testet.
2. Tool-Use als kritische Komponente: Das Paper zeigt, dass reine Code-Generierung ohne native Tool-Integration (zum Debuggen und Validieren) für diese Aufgaben unzureichend ist. Agenten müssen aktiv mit Simulatoren und Compilern interagieren.
3. Leistungsfähigkeit bei Zero-Shot: Es wird demonstriert, dass fortschrittliche Modelle (insbesondere GPT-5.2 und Gemini-3-Flash) in der Lage sind, funktionale Kernel für völlig neue ISAs zu erstellen, ohne vorherige Beispiele gesehen zu haben.
4. Hardware-bewusste Optimierung: Agenten können nicht nur korrekten Code generieren, sondern auch hardware-spezifische Optimierungen entdecken, die in unreifen Toolchains fehlen (z. B. Faltung von BatchNorm-Operationen in Ganzzahlarithmetik).
5. Co-Design-Potenzial: Ein Fallstudie zeigt, dass Agenten Ineffizienzen in der ISA erkennen und sogar Vorschläge für neue Befehle machen können, um spezifische Workloads (z. B. Diffusion-LLMs) zu beschleunigen.

4. Ergebnisse

Die Evaluation umfasste über 1.100 Experimente mit vier führenden Modellen (GPT-5.2, Gemini-3-Flash, Sonnet 4, DeepSeek R1) auf drei Plattformen.

• Erfolgsraten:

  • GPT-5.2 war das führende Modell mit einer Gesamt-Erfolgsrate von 55% auf PLENA, 17% auf AMD NPU und 47% auf Coral NPU.
  • Die Leistung nimmt mit der Komplexität der Aufgabe stark ab: Primitive Operationen wurden oft erfolgreich gelöst, während End-to-End-Systeme (Level 3) fast vollständig scheiterten (nur 1 erfolgreicher Kernel über alle Kombinationen hinweg).
  • Modelle ohne ausgeprägte „Thinking"-Fähigkeiten (wie DeepSeek R1 in dieser Konfiguration) scheiterten fast vollständig.

• Performance (Speedup):

  • Agenten generierte Kernel konnten Compiler-Baselines (von den jeweiligen Toolchains) übertreffen oder einholen.
  • Auf dem Coral NPU wurden Speedups von 2x bis 8x erreicht (z. B. 7,93x Speedup bei ConvBlock durch BatchNorm-Faltung).
  • Auf PLENA wurden konsistente Speedups von 1,06x bis 1,22x bei Normalisierungsaufgaben erzielt.
  • Auf AMD NPU lagen die Ergebnisse meist nahe der Baseline (0,89x – 1,18x).

• Einfluss von Kontext und Denken:

  • Extended Reasoning: Das Aktivieren von „Thinking"-Tokens war entscheidend für komplexe Aufgaben (Level 2). Ohne dieses Feature sank die Erfolgsrate auf 0%.
  • In-Context Learning: Das Bereitstellen von Beispielen (One-Shot) verbesserte die Erfolgsraten signifikant, insbesondere bei Hardware mit knapper Dokumentation.

5. Bedeutung und Ausblick

KernelCraft beweist, dass agentic LLM-Systeme das Potenzial haben, die Hürde der Software-Entwicklung für neue KI-Hardware drastisch zu senken.

• Beschleunigung des Hardware-Zyklus: Entwickler können neue Architekturen schneller validieren, da die Kernel-Generierung automatisiert wird.
• Überwindung unreifer Toolchains: Agenten können Optimierungen finden, die herkömmliche Compiler (die oft noch in der Entwicklung sind) nicht beherrschen.
• Zukunftsperspektiven: Das Paper schlägt vor, formale Verifikation in den Workflow zu integrieren, ISA-Wissen direkt in Modelle zu fine-tunen und Multi-Agenten-Systeme für komplexere Design-Space-Explorationen einzusetzen.

Zusammenfassend zeigt KernelCraft, dass die Kombination aus fortschrittlichen LLMs, Tool-Use und iterativem Feedback eine vielversprechende Lösung ist, um das „Programmability Wall" bei der Entwicklung neuer KI-Beschleuniger zu durchbrechen.