💬 NLP

AccelOpt: A Self-Improving LLM Agentic System for AI Accelerator Kernel Optimization

Das Paper stellt AccelOpt vor, ein sich selbst verbesserndes LLM-Agentensystem, das ohne menschliches Expertenwissen KI-Beschleuniger-Kernel autonom optimiert und dabei durch den Einsatz von Open-Source-Modellen sowohl signifikante Leistungssteigerungen auf AWS Trainium-Hardware als auch eine um den Faktor 26 günstigere Lösung im Vergleich zu proprietären Modellen erreicht.

Ursprüngliche Autoren: Genghan Zhang, Shaowei Zhu, Anjiang Wei, Zhenyu Song, Allen Nie, Zhen Jia, Nandita Vijaykumar, Yida Wang, Kunle Olukotun

Veröffentlicht 2026-04-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Genghan Zhang, Shaowei Zhu, Anjiang Wei, Zhenyu Song, Allen Nie, Zhen Jia, Nandita Vijaykumar, Yida Wang, Kunle Olukotun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🚀 AccelOpt: Der selbstlernende Chef-Koch für Computer-Chips

Stell dir vor, du hast einen neuen, extrem leistungsstarken Super-Kochherd (den wir hier "AI-Beschleuniger" nennen, wie den Amazon Trainium). Dieser Herd kann theoretisch unglaublich schnell kochen – viel schneller als jeder normale Herd.

Aber hier ist das Problem: Um diesen Herd wirklich auszunutzen, braucht man perfekte Rezepte (in der Informatik nennt man das "Kernels"). Wenn man ein schlechtes Rezept benutzt, wird der Herd nur zu 40 % ausgelastet. Das ist, als würde man einen Ferrari mit 20 km/h durch die Stadt fahren lassen. Viel Geld für nichts!

Das Schwierige: Die neuen Herde sind so neu und speziell, dass es noch keine Kochbücher gibt. Die besten Köche der Welt (die menschlichen Experten) wissen noch nicht genau, wie man die Zutaten am besten schneidet und anordnet, um das Maximum herauszuholen.

Hier kommt AccelOpt ins Spiel.

🤖 Was ist AccelOpt?

AccelOpt ist ein KI-Agent, der nicht nur kocht, sondern selbst lernt, wie man besser kocht. Er ist wie ein junger Koch, der:

Ein Rezept versucht.
Schaut, wie lange es dauert.
Sich merkt: "Aha, wenn ich die Zwiebeln zuerst schneide, geht es schneller!"
Und dieses Wissen sofort für das nächste Rezept nutzt.

Er braucht keine Anleitung von Menschen. Er findet die besten Wege ganz allein durch Ausprobieren und Lernen aus seinen eigenen Fehlern und Erfolgen.

🧠 Wie funktioniert das? (Die drei Helfer)

AccelOpt arbeitet mit einem Team aus drei KI-Assistenten, die wie eine gut organisierte Küche zusammenarbeiten:

Der Planer (Der Kopf):
Er schaut sich an, was gerade passiert. "Hey, der Herd steht gerade still, weil wir warten müssen, bis das Wasser kocht." Er denkt sich einen neuen Plan aus: "Lass uns das Wasser vorher heiß machen!"
Der Umsetzer (Die Hände):
Er nimmt den Plan und schreibt das neue Rezept (den Code) um. Er probiert verschiedene Tricks aus, um die Anweisungen für den Herd zu optimieren.
Der Zusammenfasser (Das Gedächtnis):
Das ist der wichtigste Teil! Wenn das neue Rezept schneller ist, fasst dieser Helfer zusammen: "Wir haben gelernt, dass man das Wasser vorher aufkochen sollte." Er schreibt diese Erkenntnis in ein gemeinsames Notizbuch (das 'Optimization Memory').

📚 Das Notizbuch ist der Schlüssel

Frühere KI-Systeme haben oft vergessen, was sie gelernt haben. AccelOpt hingegen hat ein Gedächtnis.
Stell dir vor, du würdest jeden Tag ein neues Rezept ausprobieren. Ohne Notizbuch würdest du morgen wieder denselben Fehler machen. AccelOpt schreibt aber jeden Erfolg und jeden Misserfolg in ein Buch.

Wenn ein Rezept langsam war, merkt er sich: "Das war eine schlechte Idee."
Wenn ein Rezept schnell war, merkt er sich: "Das war genial, mach das beim nächsten Mal auch so!"

Dadurch wird er mit jeder Runde klüger und schneller. Er sucht nicht nur zufällig, sondern nutzt seine Erfahrungen, um die besten Wege zu finden.

🏆 Was haben sie herausgefunden?

Die Forscher haben AccelOpt an echten Aufgaben getestet (basierend auf den neuesten KI-Modellen, die wir heute nutzen). Die Ergebnisse waren beeindruckend:

Von "Mittelmäßig" zu "Hervorragend": Am Anfang liefen die Programme nur mit ca. 45–50 % der maximalen Geschwindigkeit des Chips. Nach dem Training mit AccelOpt liefen sie bei 59–61 %. Das ist ein riesiger Sprung!
Günstiger als die Konkurrenz: Man könnte denken, so eine intelligente KI sei extrem teuer. Aber AccelOpt nutzt offene, kostenlose Modelle und ist 26-mal günstiger als die teuersten kommerziellen KI-Modelle (wie Claude Sonnet), liefert aber fast genauso gute Ergebnisse.
Besser als Menschen: In einigen Fällen hat AccelOpt sogar bessere Rezepte gefunden als die menschlichen Experten, die jahrelang an diesen Chips gearbeitet haben.

💡 Warum ist das wichtig?

Wir stehen am Anfang einer neuen Ära der KI. Es gibt immer mehr neue Computer-Chips, die speziell für KI gebaut werden. Wenn wir warten müssen, bis menschliche Experten Jahre brauchen, um die perfekten Rezepte zu finden, bremst das den gesamten Fortschritt.

AccelOpt ist wie ein automatischer Kochtrainer, der rund um die Uhr arbeitet, tausende Rezepte probiert und uns sagt: "So kocht ihr am schnellsten!" Das spart nicht nur Zeit und Geld, sondern macht die KI-Technologie für alle schneller und effizienter.

Kurz gesagt: AccelOpt ist ein KI-System, das lernt, wie man Computer-Chips maximal ausquetscht, indem es aus seinen eigenen Versuchen lernt – ohne dass ein Mensch ihm dabei helfen muss. Und das tut es billiger und schneller als jeder menschliche Experte.

1. Problemstellung

Die Nachfrage nach Rechenleistung für Large Language Models (LLMs) hat zur Entwicklung spezialisierter KI-Beschleuniger (wie AWS Trainium) geführt. Die Leistung dieser Hardware hängt jedoch kritisch von der Effizienz der Kernels (niedrigstufige Implementierungen von ML-Operatoren) ab.

Herausforderung: Die Optimierung von Kernels ist extrem komplex und erfordert tiefes Verständnis der Hardware-Architektur, Speicherhierarchien und Parallelisierungsstrategien.
Spezifisches Problem bei neuen Architekturen: Für neuartige Beschleuniger wie AWS Trainium (programmiert mit Neuron Kernel Interface, NKI) fehlen etablierte Optimierungsrezepte und Expertenwissen, die für etablierte Plattformen wie GPUs verfügbar sind.
Kostenfaktor: Das manuelle Optimieren Tausender Kernels für verschiedene Konfigurationen ist teuer und zeitaufwendig. Bestehende LLM-Ansätze benötigen oft noch menschliche Heuristiken oder vordefinierte Optimierungsbeispiele, was die Autonomie einschränkt.

2. Methodik: AccelOpt

AccelOpt ist ein selbstverbesserndes LLM-Agentensystem, das Kernel autonom optimiert, ohne auf von Experten bereitgestelltes hardware-spezifisches Wissen angewiesen zu sein. Das System kombiniert zwei Hauptmechanismen:

A. Agenten-Workflow

Der Prozess wird von drei interagierenden Agenten gesteuert, die menschliche Experten nachahmen:

Planner (Planer): Analysiert Profil-Daten (Performance-Metriken) des aktuellen Kernels, identifiziert Engpässe (z. B. Speicherbandbreite) und schlägt einen Optimierungsschritt vor.
Executor (Ausführender): Setzt den Plan des Planners konkret in Code um und generiert einen neuen Kernel.
Summarizer (Zusammenfasser): Vergleicht den langsamen (Baseline) und den schnellen Kernel, extrahiert die spezifischen Code-Änderungen und formuliert eine generalisierbare Optimierungsstrategie (z. B. „Loop Invariant Code Motion").

B. Beam Search mit Optimierungsspeicher (Optimization Memory)

Beam Search: Statt nur einen Kernel pro Iteration zu generieren, erkundet das System einen Suchraum durch iterative Generierung. Es behält die besten $B$ Kandidaten-Kernel bei jeder Iteration bei, um den Suchpfad zu erweitern.
Optimization Memory: Dies ist das Kernstück der Selbstverbesserung. Das System speichert „Slow-Fast"-Paare (langsame vs. schnelle Kernel) und die daraus abgeleiteten allgemeinen Strategien in einem Speicher.
- Dieser Speicher wird in zukünftigen Iterationen als Kontext (Prompt) für den Planner genutzt, um neue Strategien zu inspirieren.
- Er enthält sowohl positive Beispiele (erfolgreiche Optimierungen) als auch negative Beispiele (gescheiterte Versuche), um ein ausgewogenes Signal zu liefern.
Iterativer Prozess: In jedem Zyklus werden neue Kernel generiert, profiliert, und der Speicher wird aktualisiert, um die Fähigkeiten des Systems kontinuierlich zu verbessern.

3. Benchmark: NKIBench

Um AccelOpt zu evaluieren, wurde NKIBench entwickelt, der erste Benchmark-Suite für NKI-Kernel auf AWS Trainium.

Datenbasis: 14 repräsentative Kernel aus realen LLM-Workloads (Inferenz und Training), einschließlich Transformer- und nicht-Transformer-Architekturen (z. B. Mamba, RoPE, Matmul).
Metrik: Im Gegensatz zu vielen Benchmarks, die nur relative Beschleunigungen messen, berechnet NKIBench die Prozentsatz der theoretischen Spitzenleistung (Peak Throughput) basierend auf dem Roofline-Modell der Hardware. Dies bietet eine absolute Messgröße für die Effizienz.

4. Wichtige Ergebnisse

Die Evaluation zeigt, dass AccelOpt in der Lage ist, signifikante Optimierungen autonom zu finden:

Leistungssteigerung:
- Auf Trainium 1 stieg die durchschnittliche Auslastung der Spitzenleistung von 49 % auf 61 %.
- Auf Trainium 2 stieg sie von 45 % auf 59 %.
Vergleich mit Experten und proprietären Modellen:
- AccelOpt erreicht mit Open-Source-Modellen (Qwen3-Coder, gpt-oss) Ergebnisse, die mit dem proprietären Modell Claude Sonnet 4 (Thinking Mode) vergleichbar sind.
- Kosteneffizienz: AccelOpt ist 26-mal günstiger als die Verwendung von Claude Sonnet 4 für dieselbe Aufgabe.
- Menschliche Experten: In Fallstudien (z. B. Mamba und RoPE Kernel) übertraf AccelOpt manuell optimierte Referenzversionen (z. B. 54,6 % vs. 52,7 % Peak für Mamba).
Entdeckte Optimierungen: Das System fand sowohl lokale Optimierungen (algebraische Vereinfachungen, Intrinsic-Fusion) als auch komplexe globale Optimierungen (Loop-Transformationen, Reduzierung von Speicher-Overflows/Spilling).
Kosten-Nutzen-Analyse: Die Kombination aus Beam Search und Optimierungsspeicher ist kosteneffizienter als reines wiederholtes Sampling (Repeated Sampling). Die Verwendung von Open-Source-Modellen als Basis ist deutlich günstiger als proprietäre Modelle bei gleicher Leistung.

5. Bedeutung und Beiträge

Autonomie: AccelOpt ist das erste System dieser Art, das keine manuell kuratierten Optimierungsrezepte benötigt und sich durch eigene Erfahrung selbst verbessert.
Skalierbarkeit: Das System kann Tausende von Kernels parallel optimieren, was für den Einsatz in großen Rechenzentren entscheidend ist.
Bildung und Generalisierung: Das System wurde erfolgreich in einem Universitätskurs (Stanford CS149) eingesetzt, um Studenten zu helfen, und zeigte gute Generalisierungsfähigkeiten auf andere Plattformen (z. B. Triton-Kernel auf GPUs).
Open Source: Der Code und der Benchmark (NKIBench) sind öffentlich verfügbar, was die Forschung im Bereich der automatisierten Kernel-Optimierung für neue Hardware vorantreibt.

Fazit: AccelOpt demonstriert, dass LLM-Agenten durch die Kombination von Suchalgorithmen (Beam Search) und einem dynamischen Gedächtnis (Optimization Memory) in der Lage sind, hochperformante Kernel für neue, komplexe KI-Hardware autonom zu entwickeln, und dies zu einem Bruchteil der Kosten menschlicher Experten oder teurer proprietärer KI-Modelle.