🤖 machine learning

GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization

Dieses Paper schlägt vor, Sprachmodelle als selektive, durch Reinforcement Learning verbesserte Surrogatmodelle zur Vorhersage der GPU-Kernel-Performance einzusetzen, um dadurch kostspielige On-Device-Evaluierungen zu reduzieren und die Entdeckung schnellerer Kernel innerhalb begrenzter Messbudgets zu ermöglichen.

Ursprüngliche Autoren: Zaid Khan, Justin Chih-Yao Chen, Jaemin Cho, Elias Stengel-Eskin, Mohit Bansal

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zaid Khan, Justin Chih-Yao Chen, Jaemin Cho, Elias Stengel-Eskin, Mohit Bansal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den schnellsten Weg durch ein riesiges, komplexes Labyrinth zu finden. In der Welt der Computerchips (GPUs) ist dieses „Labyrinth“ ein Stück Code namens Kernel, der dem Chip sagt, wie er mathematische Berechnungen durchführt. Den absolut schnellsten Teil dieses Codes zu finden, ist entscheidend, um KI schnell laufen zu lassen, aber es ist unglaublich teuer.

Das Problem: Der „Echtwelt-Test“ ist zu langsam
Momentan, um zu sehen, ob ein neuer Stück Code schnell ist, muss man:

Den Code schreiben.
Ihn kompilieren (in Maschinensprache übersetzen).
Ihn auf einer echten, teuren Grafikkarte (GPU) ausführen.
Messen, wie lange er gebraucht hat.

Dieser Prozess ist wie das Testen eines neuen Autodesigns, indem man tatsächlich ein Auto baut, es auf einer Rennstrecke fährt und die Zeit stoppt. Das dauert lange und kostet viel Geld. Wenn man 1.000 verschiedene Designs testen möchte, muss man 1.000 Autos bauen und fahren. Das verlangsamt die Suche nach dem besten Design.

Die Lösung: Der „virtuelle Testfahrer“
Die Autoren dieser Arbeit schlagen vor, eine intelligente KI (ein Large Language Model oder LLM) einzusetzen, die als Prädiktor oder Surrogat fungiert. Anstatt jedes einzelne Auto zu bauen und zu fahren, fragt man die KI: „Basierend auf den Blaupausen dieses neuen Autodesigns, wie schnell wird es deiner Meinung nach im Vergleich zum alten sein?“

Die KI betrachtet den Code und versucht, die Geschwindigkeit zu erraten.

Der Haken: Die KI ist nicht perfekt. Manchmal rät sie falsch.
Die Lösung: Das Paper lehrt die KI, ehrlich über ihre Unsicherheit zu sein. Es ist wie ein Wetterfotograf, der sagt: „Ich bin mir zu 90 % sicher, dass es regnen wird“, im Gegensatz zu einem, der sagt: „Ich habe keine Ahnung, aber ich rate mal.“

Wie es funktioniert: Die „selektive“ Strategie
Die Forscher haben ein System entwickelt, bei dem die KI als Filter fungiert:

Sichere Vermutungen: Wenn sich die KI in ihrer Vorhersage sehr sicher ist (z. B. „Dieser neue Code wird definitiv 2x schneller sein“), akzeptiert das System die Vermutung und überspringt den teuren Echtwelt-Test.
Unsichere Vermutungen: Wenn die KI unsicher ist (z. B. „Es könnte schneller oder langsamer sein“), sagt das System: „Okay, dieser Vermutung vertrauen wir noch nicht“, und schickt den Code für einen physischen Test an die echte GPU.

Dies wird als Selektives Surrogat bezeichnet. Es ist wie ein Personalverantwortlicher, der 100 Kandidaten interviewt. Für die offensichtlichen Top- und Flop-Kandidaten trifft der Manager eine schnelle Entscheidung basierend auf dem Lebenslauf. Aber für die „Vielleicht“-Kandidaten vereinbart er ein vollwanges, teures persönliches Gespräch.

Das Training: Die KI zu einem besseren Coach machen
Das Paper zeigt, dass man diesen KI-Prädiktor durch Reinforcement Learning (eine Art von Training, bei dem die KI Punkte für Richtigkeit erhält und Punkte abzieht, wenn sie übermäßig selbstbewusst bei einer falschen Antwort ist) noch besser machen kann.

Sie haben die KI nicht nur gelehrt, die Geschwindigkeit zu erraten, sondern auch, ihre „Unsicherheit“ korrekt zu verteilen.
Ergebnis: Die KI lernte, öfter zu sagen: „Ich bin mir bei diesem Teil nicht sicher“, wenn sie tatsächlich unsicher war, und selbstbewusster zu sein, wenn sie richtig lag. Dies machte das System viel zuverlässiger.

Die Ergebnisse: Schnellere Kernel schneller finden
Als sie dieses System in die Praxis umsetzten:

Effizienz: Sie konnten viermal so viele Code-Kandidaten mit der gleichen Zeit und demselben Geld untersuchen. Anstatt 100 Designs auf der echten GPU zu testen, konnten sie 100 auf der KI testen und nur die besten 25 an die echte GPU senden.
Leistung: Da sie mehr Optionen untersuchen konnten, fanden sie schnelleren Code als Systeme, die nur die echte GPU nutzen.
Entdeckung: Die KI war überraschend gut darin, „Durchbruchsmomente“ zu erkennen – Zeiten, in denen eine kleine Änderung im Code einen riesigen Unterschied in der Geschwindigkeit bewirkte.

Zusammenfassend
Dieses Paper stellt einen „virtuellen Testfahrer“ für Computerchips vor. Indem eine KI vorhersagt, welche Code-Designs wahrscheinlich schnell sein werden, und nur die Fälle physisch testet, bei denen sich die KI unsicher ist, können wir bessere Software viel schneller und kostengünstiger suchen. Die KI ersetzt nicht den echten Test; sie fungt als intelligenter Torwächter, der die teuren Echtwelt-Tests für die Momente aufspart, in denen sie am wichtigsten sind.

Technisches Resümee: GPU-Forecaster: Sprachmodelle als selektive Surrogate zur Optimierung der Kernel-Laufzeit

Problemstellung

GPU-Kernel sind die grundlegenden Arbeitspferde moderner Deep-Learning-Anwendungen, wobei bereits geringfügige Effizienzgewinne signifikante Reduktionen der Trainings- und Inferenzkosten bedeuten. Die Optimierung dieser Kernel umfasst typischerweise einen Generierungs-Evaluierungs-Zyklus, bei dem Large Language Models (LLMs) Kandidaten-Kernel vorschlagen, die dann kompiliert und auf physischer Hardware ausgeführt werden, um die Performance zu messen. Dieser Evaluierungsprozess stellt jedoch einen schweren Flaschenhals dar. Jede Evaluierung erfordert eine Kompilierung (was für CUDA 60–120 Sekunden dauert) und die Ausführung auf dem Gerät, wodurch der Durchsatz der Evaluierung um Größenordnungen langsamer ist als die Generierung. Da die Suchbudgets skalieren, begrenzt die Kostenstruktur wiederholter physischer Messungen die Fähigkeit, den riesigen Raum potenzieller Kernel-Implementierungen zu explorieren.

Während frühere Arbeiten darauf fokussiert waren, LLMs zur besseren Generierung von Kerneln einzusetzen, adressiert dieses Paper das komplementäre Problem der Reduzierung der Evaluierungskosten. Die Autoren schlagen vor, LLMs nicht nur als Generatoren, sondern als selektive Surrogate für die physische GPU einzusetzen. Das Ziel besteht darin, die relative Performance eines Kandidaten-Kernels gegenüber einer Referenzimplementierung vorherzusagen und zu identifizieren, wann das Modell unsicher ist, um dadurch nur die unsicheren Fälle an die teure physische GPU zu delegieren.

Methodik

Aufgabenformulierung: Selektive Vorhersage

Die Autoren formulieren das Problem als Vorhersage des relativen Speedups ( $S_i = T_{ref} / T_i$ ) eines Kandidaten-Kernels im Vergleich zu einem Referenz-Kernel unter Berücksichtigung der Hardware-Spezifikationen. Die Vorhersage der absoluten Laufzeit in Sekunden wird als unpraktikabel erachtet, da die Modellierung des Compiler-Verhaltens und mikroarchitektonischer Details hochkomplex ist. Stattdessen wird das Ziel in acht ordinale Speedup-Bins diskretisiert (reichend von „Severe Slowdown“ bis „Extreme Speedup“).

Der Surrogate (ein LLM) erhält den Referenz-Kernel, den Kandidaten-Kernel und die Hardware-Spezifikationen als Input. Er generiert eine Argumentationskette (Chain of Reasoning) und gibt eine Wahrscheinlichkeitsverteilung über die acht Bins aus. Die angegebene Konfidenz des Modells wird als die maximale Wahrscheinlichkeit definiert, die einem einzelnen Bin zugewiesen wurde.

Strategie der selektiven Vorhersage

Das System operiert unter einem Framework der selektiven Vorhersage. Der Surrogate wird verwendet, um Kandidaten zu ranken. Wenn die Konfidenz des Surrogates einen bestimmten Schwellenwert überschreitet, wird die Vorhersage akzeptiert und der Kandidat wird nicht auf der GPU gemessen. Wenn die Konfidenz niedrig ist (was auf Unsicherheit hindeutet), wird der Kandidat zur Messung des Ground-Truths an die physische GPU delegiert. Dies ermöglicht es dem Suchprozess, innerhalb eines festen GPU-Messbudgets wesentlich mehr Kandidaten zu berücksichtigen.

Reinforcement Learning (RL) zur Kalibrierung

Um die Genauigkeit des Surrogates und entscheidender noch dessen Kalibrierung (die Übereinstimmung zwischen angegebener Konfidenz und tatsächlicher Genauigkeit) zu verbessern, wenden die Autoren Reinforcement Learning auf ein Open-Weights-Modell (GPT-OSS-20B) an. Sie definieren Belohnungen (Rewards) basierend auf:

Korrektheit: Ob der vorhergesagte Bin mit dem gemessenen Bin übereinstimmt.
Kategoriale Kalibrierung (Brier Score): Bestrafung der Verteilung basierend auf der Distanz zum wahren One-Hot-Target.
Distanzbewusste Kalibrierung (CRPS): Bestrafung der kumulativen Verteilung unter Berücksung der ordinalen Natur der Speedup-Bins (z. B. ist die Vorhersage eines 2× Speedups, wenn die Wahrheit 1,5× ist, weniger schwerwiegend als die Vorhersage von 4×).

Die Trainingsdaten werden als Nebenprodukt der Kernel-Suche selbst konstruiert, indem erfolgreiche Kandidaten aus vorangegangenen Suchläufen als Trainingsbeispiele verwendet werden.

Zentrale Beiträge

LLMs als GPU-Surrogate: Das Paper demonstriert, dass LLMs eine nicht unerhebliche Genauigkeit darin erreichen können, vorherzusagen, wie eine physische GPU auf Kandidaten-Kernel reagiert, wodurch sie einen substanziellen Teil des verfügbaren Speedups durch das Ranking von Kandidaten basierend auf Vorhersagen statt Messungen zurückgewinnen.
Selektives Vorhersage-Framework: Die Autoren fassen die GPU-Vorhersage als Problem der selektiven Vorhersage auf und zeigen, dass Surrogate kalibrierte Unsicherheit melden können. Dies ermöglicht eine Suchstrategie, die Vorhersagen mit hoher Konfidenz vertraut und physische Messungen für unsichere Fälle reserviert.
Auswirkung von RL auf das Verhalten des Surrogats: Durch Experimente charakterisiert das Paper, wie das RL-Training die Eigenschaften des Surrogats verändert. Insbesondere verbessert das Hinzufügen von Kalibrierungs-Belohnungen (Brier oder CRPS) die Zuverlässigkeit der Konfidenzschätzungen des Modells, während ein Training rein auf Korrektheit die Beziehung zwischen Konfidenz und Genauigkeit verschlechtern kann (das Modell wird bei falschen Vorhersagen überkonfident).
End-to-End Suchverbesserung: Die Studie zeigt, dass die Integration des Surrogats in eine Kernel-Suchschleife (speziell eine PUCT-basierte Suche) es der Suche ermöglicht, signifikant mehr Kandidaten pro GPU-Messung zu explorieren. Auf den meisten Aufgaben findet dies durch den Einsatz des Surrogats schnellere Kernel als ein Baseline-Ansatz, der jeden Vorschlag unter demselben GPU-Budget misst.
Veröffentlichung des Datensatzes: Die Autoren veröffentlichen eine wiederverwendbare Sammlung von 12.388 LLM-generierten GPU-Kerneln mit gemessenen Laufzeiten, die 118 Probleme, mehrere GPU-Typen (A100, L40S, H100) und verschiedene Generierungsmethoden abdecken. Dieser Datensatz unterstützt die weitere Forschung in der GPU-Performance-Vorhersage und der Kernel-Suche.

Ergebnisse

Vorhersagegenauigkeit: Off-the-shelf LLMs (z. B. GPT-OSS-20B) gewinnen etwa 83 % des besten verfügbaren Speedups zurück, wenn nur die Top 1 % der Kandidaten auf der GPU gemessen werden. Diese Performance verbessert sich auf 94 %, wenn die Top 50 % gemessen werden.
Kalibrierung und RL: Das RL-Training verändert das Verhalten des Surrogats signifikant.
- Korrektheitsbasiertes Training verbessert die exakte Bin-Genauigkeit, verschlechtert aber die Korrelation zwischen Konfidenz und Fehler (das Modell wird bei falschen Vorhersagen überkonfident).
- Kalibrierungstraining (Brier/CRPS) verbessert die Monotonie von Vorhersagefehler vs. Konfidenz. Bemerkenswerterweise verbessert das Brier-kalibrierte Training die Metrik „zurückgewonnener Speedup“ um ca. 2,1 Prozentpunkte gegenüber dem Basismodell, was darauf hindeutet, dass besser kalibrierte Verteilungen bessere Ranking-Signale für den Suchalgorithmus liefern.
Effizienz der Suche: In einer End-to-End Kernel-Suche findet die durch den Surrogaten gestützte Suche schnellerer Kernel als die Baseline in vier von sechs Aufgaben und erreicht oft den besten Speedup der Baseline mit wesentlich weniger GPU-Messungen. In Aufgaben, in denen die Baseline gewinnt, scheint die Suche frühzeitig gesättigt zu sein, was darauf hindeutet, dass der Surrogate am nützlichsten ist, wenn der Suchraum groß und unerforscht ist.
Entdeckungs-Momente (Discovery Moments): Der Surrogate kann „Entdeckungs-Momente“ (Mutationen, bei denen ein Child-Kernel signifikant schneller ist als sein Parent-Kernel) besser als der Zufall identifizieren, wenngleich die Präzision eine Herausforderung bleibt, was eine GPU-Bestätigung für kritische Entscheidungen notwendig macht.

Bedeutung und Ansprüche

Das Paper behauptet, dass LLMs eine breitere Rolle in der Kernel-Optimierung spielen können, die über die bloße Code-Generierung hinausgeht. Indem sie als virtuelle Modelle einer GPU fungieren, können sie als hochdurchsatzfähige, kostengünstige Filter dienen, die die Knappheit physischer Hardware-Ressourcen verwalten.

Die Autoren betonen, dass der primäre Wert dieses Ansatzes nicht nur die Geschwindigkeit ist, sondern die Fähigkeit zur modellbasierten Optimierung, ohne bei jedem Schritt das Originalsystem abfragen zu müssen. Der Surrogate bietet einen höheren Durchsatz und geringere Kosten pro Abfrage als eine GPU und tauscht dabei das Rauschen der Vorhersage gegen kalibrierte Unsicherheitsschätzungen ein. Die Arbeit verbindet die Kernel-Optimierung mit dem breiteren Feld des Aufbaus neuronaler Simulatoren für komplexe physikalische Systeme und deutet einen Weg für Optimierer auf, die Hardware-Messungen als knappe Ressource behandeln, die selektiv eingesetzt werden muss.