CUDA-L2: Surpassing cuBLAS Performance for Matrix Multiplication through Reinforcement Learning
Das Paper stellt CUDA-L2 vor, ein System, das große Sprachmodelle und Reinforcement Learning nutzt, um Half-precision General Matrix Multiply (HGMM)-Kernel automatisch zu optimieren und dabei signifikante Leistungssteigerungen gegenüber etablierten Baselines wie torch.matmul, cuBLAS und cuBLASLt erzielt, indem es Konfigurationsräume in einem Ausmaß systematisch exploriert, das für menschliche Ingenieure unpraktikabel wäre.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, den perfekten Kuchen zu backen. Jahrelang haben die besten Bäcker der Welt (menschliche Experten) das Rezept für eine bestimmte Art von Kuchen namens „Matrix Multiplikation“ verfeinert. Dieser Kuchen ist die Geheimzutat in fast jedem modernen KI-Gehirn. Diese Bäcker haben Jahre damit verbracht, ihn schneller zu machen, aber sie stießen auf eine Wand: Jedes Mal, wenn sich die Kuchengröße änderte (von einem winzigen Cupcake bis hin zu einer massiven Hochzeitstorte), mussten sie von vorne beginnen, und die Tricks, die für eine Größe funktionierten, versagten oft bei einer anderen. Es ist, als würde man versuchen, eine riesige Suppe mit einem winzigen Löffel zu essen; das Werkzeug passt einfach nicht.
Hier kommt CUDA-L2 ins Spiel, ein neues Team von „KI-Bäckern“, das durch die Kombination eines superintelligenten Sprachmodells mit einem videospielähnlichen Lernsystem namens Reinforcement Learning (RL) entstanden ist. Anstatt einen Menschen nach dem besten Rezept zu fragen, spielt CUDA-L2 ein riesiges Spiel aus „Versuchen, Scheitern, Lernen und Erneut Versuchen“.
Die große Entdeckung: Die KI backt schnellere Kuchen
Das Hauptergebnis dieser Arbeit ist, dass CUDA-L2 in der Lage ist, diese Matrix-Multiplikations-„Rezepte“ (genannt Kernel) automatisch zu entwerfen und sie schneller zu backen als die derzeit besten menschengemachten Rezepte.
Die Forscher haben dies an 1.000 verschiedenen Kuchengrößen getestet (Kombinationen der Dimensionen M, N und K im Bereich von 64 bis 16.384). Diese Größen decken genau die Dimensionen ab, die in berühmten Open-Source-KI-Modellen wie Qwen, Llama und DeepSeek verwendet werden.
Hier ist, wie viel schneller die KI im Vergleich zu den aktuellen Champions backt, gemessen auf einer A100 GPU:
- Gegenüber dem Standard-Werkzeug (torch.matmul): In einer kontinuierlichen Backsession (Offline-Modus) ist CUDA-L2 22,0 % schneller. In einer geschäftigen Küche, in der Bestellungen zufällig eingehen (Server-Modus), ist es 28,7 % schneller.
- Gegenüber dem Goldstandard (cuBLAS): Selbst gegen die hochoptimierte Bibliothek von NVIDIA selbst gewinnt CUDA-L2. Es ist 19,2 % schneller im kontinuierlichen Modus und 26,0 % schneller im geschäftigen Server-Modus.
- Gegenüber dem „Auto-Optimierer“ (cuBLASLt-AutoTuning): Dies ist der wichtigste Vergleich. cuBLASLt-AutoTuning ist ein Werkzeug, das versucht, bis zu 100 verschiedene Rezepte auszuprobieren, um das beste zu finden. CUDA-L2 schlägt es dennoch um 11,4 % im kontinuierlichen Modus und um 15,9 % im Server-Modus.
Die Autoren sind sich dieser Zahlen sehr sicher, da sie direkt durch das tausendfache Ausführen des Codes gemessen wurden und nicht nur geschätzt oder simuliert wurden.
Was die KI NICHT getan hat
Es ist wichtig zu wissen, was dieses System nicht tut. Das Paper stellt explizit fest, dass die aktuelle Version von CUDA-L2 auf die A100-Architektur beschränkt ist. Das Framework ist jedoch auf breite Anwendbarkeit ausgelegt, und das Team arbeitet aktiv daran, es auf andere GPU-Architekturen auszuweiten, einschließlich älterer Ampere-Chips wie dem RTX 3090 sowie neuerer Hopper (z. B. H100) und Blackwell (z. B. B200) Chips. Das Paper argumentiert zudem gegen die Vorstellung, dass menschliche Experten die Matrix-Multiplikation „gelöst“ hätten; die Tatsache, dass die KI bessere Rezepte gefunden hat, beweist, dass die menschliche Feinabstimmung noch lange nicht perfekt ist.
Wie die KI lernte, besser zu backen
Die KI hat nicht einfach nur geraten; sie hat spezifische, clevere Tricks gelernt, die selbst menschliche Experten vielleicht übersehen würden, weil sie zu beschäftigt sind, um jede einzelne Möglichkeit zu prüfen.
- Das Auffüllen des Kuchens (Padding): Stellen Sie sich vor, Sie haben einen Kuchen, der 8.192 Zoll breit ist, aber Ihre Backform passt nur perfekt, wenn die Breite durch 160 teilbar ist. 8.192 ist nicht durch 160 teilbar. Ein Mensch würde sagen: „Ich benutze eine Formgröße von 128, weil sie passt.“ Aber die KI sagte: „Ich füge ein wenig extra Teig hinzu (Padding), um den Kuchen 8.320 Zoll breit zu machen, damit ich die 160-Zoll-Form verwenden kann.“ Diese winzige zusätzliche Arbeit machte den gesamten Prozess tatsächlich schneller.
- Die Ping-Pong-Strategie: Normalerweise lädt ein Bäcker die Zutaten, mischt sie und lädt dann die nächste Charge. Die KI fand eine „Ping-Pong“-Methode heraus: Während der Mixer an Charge A arbeitet, lädt der Assistent bereits die Zutaten für Charge B. Das bedeutet, dass der Mixer niemals warten muss.
- Die „versetzte“ Lieferung: Manchmal stellte die KI fest, dass es zu einem Verkehrsstau in der Küche führt, wenn man zwei Zutaten gleichzeitig anfordert (A und B). Stattdessen forderte sie Zutat A an, begann zu mischen und forderte dann Zutat B an. Dies hielt die Küche in Bewegung.
- Die Wahl der richtigen Formgröße: Die KI lernte, dass für kleine Kuchen kleine Formen am besten funktionieren. Aber für riesige Kuchen braucht sie viel größere Formen. Sie fand die perfekte Größe für jede einzelne Kuchen-Dimension heraus – eine Aufgabe, die ein Mensch ein Leben lang berechnen müsste, um 1.000 verschiedene Größen abzudecken.
Der Unterschied zwischen „Server“- und „Offline“-Modus
Das Paper bemerkte auch etwas Interessantes über die Küchenumgebung.
- Offline-Modus: Stellen Sie sich eine Fließbandproduktion vor, in der Kuchen nacheinander ohne Unterbrechung gebacken werden. Der Ofen bleibt heiß und die Arbeiter sind in einem Rhythmus. Hier war die KI um 11,4 % bis 22,0 % schneller als die Konkurrenz.
- Server-Modus: Stellen Sie sich ein geschäftiges Restaurant vor, in dem Bestellungen zu zufälligen Zeiten eingehen. Der Ofen kühlt zwischen den Bestellungen vielleicht ab und die Arbeiter müssen erst wieder „warm werden“. In diesem „Realwelt-Chaos“ vergrößerte sich der Vorteil der KI sogar und schlug die Konkurrenz um 15,9 % bis 28,7 %. Das Paper legt nahe, dass dies daran liegt, dass die Rezepte der KI besser darin sind, mit diesen „Kaltstarts“ und unvorhersehbaren Pausen umzugehen.
Das Faz-it
Das Paper kommt zu dem Schluss, dass selbst für die kritischsten, hochgradig optimierten Aufgaben wie die Matrix-Multiplikation, LLM-gestütztes Reinforcement Learning bessere Lösungen finden kann als Menschen, indem es einen Möglichkeitsraum exploriert, der zu groß ist, um ihn von einem Menschen prüfen zu lassen. Obwohl diese spezifische Version von CUDA-L2 derzeit auf A100-GPUs beschränkt ist, ist das Framework so konzipiert, dass es in Zukunft auf andere Chips erweitert werden kann.
Kurz gesagt: Die KI hat nicht nur das Rezept leicht verändert; sie hat völlig neue Wege entdeckt, den Kuchen zu backen, an die Menschen nicht gedacht hatten, und bewiesen, dass selbst in einem so ausgereiften Bereich wie der GPU-Optimierung noch viel Raum für Verbesserungen besteht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.