MPK: A Compiler and Runtime for Mega-Kernelizing Tensor Programs
Mirage Persistent Kernel (MPK) ist ein neuartiges Compiler- und Laufzeitsystem, das Multi-GPU-Tensorprogramme automatisch in einen einzelnen hochperformanten Mega-Kernel transformiert, indem es SM-basierte Graphrepräsentationen nutzt, um operatorübergreifendes Pipelining sowie eine feingranulare Überlappung von Berechnung und Kommunikation zu ermöglichen und dadurch die LLM-Inferenzlatenz im Vergleich zu herkömmlichen Kernel-pro-Operator-Ansätzen signifikant reduziert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie leiten eine riesige, Hochgeschwindigkeitsfabrik, die komplexe Strukturen baut (wie etwa KI-Modelle). In der derzeitigen Arbeitsweise wird jeder einzelne Schritt des Bauprozesses von einem anderen spezialisierten Team gehandhabt.
Der alte Weg: Die „Stop-and-Go“-Fabrik
Im Moment arbeiten die meisten KI-Systeme wie eine Fabrik, in der Team A eine Wand baut, dann „Fertig!“ ruft und aufhört. Der Fabrikmanager (das Betriebssystem des Computers) muss alles anhalten, die Unterlagen prüfen und dann Team B herbeirufen, um die Wand zu streichen. Sobald Team B fertig ist, hält es an und der Manager ruft Team C, um die Fenster einzubauen.
Dies erzeugt viel Zeitverschwendung:
- Das „Stopp“-Signal: Jedes Mal, wenn ein Team fertig ist, gibt es eine obligatorische Pause, um sicherzustellen, dass alle für das nächste Team bereit sind. Das ist wie eine rote Ampel an jeder Kreuzung.
- Die Beschäftigung des Managers: Der Manager verbringt zu viel Zeit damit, zwischen den Teams hin und her zu laufen, um neue Anweisungen zu verteilen, anstatt die Teams arbeiten zu lassen.
- Keine Überschneidung: Selbst wenn Team B nur einen kleinen Teil der Wand benötigt, die Team A gerade fertiggestellt hat, muss Team B warten, bis die gesamte Wand gebaut ist. Sie können nicht anfangen, den ersten Stein zu streichen, während der Rest der Wand noch gebaut wird.
Der neue Weg: MPK (Mirage Persistent Kernel)
Das Paper stellt MPK vor, was so ist, als würde man diese Fabrik in eine einzige, kontinuierliche, super-effiziente Montagelinie verwandeln, die von einem einzigen, riesigen, selbstverwaltenden Team betrieben wird.
Hier ist, wie MPK das Spiel verändert, unter Verwendung einfacher Analogien:
1. „Ein großer Kernel“ (Die Mega-Fabrik)
Anstatt die Teams nacheinander aufzurufen, startet MPK ein einziges, massives Team, das vom Anfang bis zum Ende am Job bleibt. Dieses Team hält zwischen den Schritten nicht an. Sie warten nicht darauf, dass ein Manager ihnen sagt, was als Nächstes zu tun ist; sie bewegen sich einfach weiter.
- Der Vorteil: Es eliminiert die „Stop-and-Go“-Verzögerungen. Es ist wie ein Zug, der niemals an Stationen anhält, um die Lokomotive zu wechseln; er rollt einfach weiter.
2. „SM-Level Map“ (Der detaillierte Bauplan)
Das Paper führt eine neue Art der Erstellung eines Bauplans ein, den tGraph genannt wird.
- Alter Bauplan: „Baue Wand A, dann streiche Wand A.“ (Zu groß und vage).
- MPK-Bauplan: „Arbeiter 1 baut Stein 1, Arbeiter 2 baut Stein 2, Arbeiter 3 streicht Stein 1, während Arbeiter 4 Stein 3 baut.“
- Die Magie: MPK bricht die Arbeit bis auf die Ebene der einzelnen Arbeiter (genannt SMs oder Streaming Multiprocessors) herunter. Es weiß genau, welcher Arbeiter welches Stück Daten wann benötigt. Dies ermöglicht es verschiedenen Arbeitern, unterschiedliche Aufgaben (wie Bauen und Streichen) gleichzeitig zu erledigen, solrem sie sich nicht gegenseitig im Weg stehen.
3. Die „selbstfahrende“ Laufzeitumgebung (Der kluge Vorarbeiter)
Innerhalb dieses riesigen Teams gibt es ein intelligentes, selbstverwaltendes System (die In-Kernel Runtime).
- Kein Vermittler: Anstatt dass ein Manager außerhalb der Fabrik Anweisungen schreit, sprechen die Arbeiter direkt miteinander.
- Just-in-Time vs. Ready-to-Go:
- Wenn eine Aufgabe schwierig ist und von unvorhersehbaren Dingen abhängt (wie etwa wie lang ein Satz in einem Chat ist), wartet das System, bis der vorherige Schritt tatsächlich abgeschlossen ist, bevor es den nächsten Schritt beginnt (Just-in-Time).
- Wenn eine Aufgabe vorhersehbar ist, stellt das System sie in einer Reihe und bereitet sie vor, noch bevor der vorherige Schritt überhaupt beendet ist (Ahead-of-Time).
- Das Ergebnis: Die Arbeiter sitzen nie untätig herum und warten auf Anweisungen. Sie sind immer beschäftigt.
4. Der „Paged Shared Memory“ (Der gemeinsame Werkzeugkasten)
In der alten Fabrik hatte jedes Team seinen eigenen, verschlossenen Werkzeugkasten. Wenn Team A einen Hammer brauchte, musste es warten, bis Team B fertig war und den Hammer zurücklegte.
- MPKs Lösung: Sie verwenden einen „Paged Shared Memory“. Stellen Sie sich einen riesigen, gemeinsamen Werkzeugkasten vor, in dem die Werkzeuge in kleine, bewegliche Seiten (Pages) organisiert sind. Sobald ein Arbeiter mit einem Werkzeug fertig ist, legt er es zurück ins Regal, und der nächste Arbeiter kann es sofort greifen. Dies ermöglicht es den Arbeitern, Materialien für ihren nächsten Job zu greifen, während sie ihren aktuellen Job noch abschließen.
Warum ist das wichtig?
Das Paper hat dieses System bei Large Language Models (den Gehirnen hinter KI-Chatbots) unter Verwendung leistungsstarker NVIDIA-GPUs getestet.
- Geschwindigkeit: MPK machte die KI in einigen Fällen 1,7-mal schneller als die besten bestehenden Systeme.
- Latenz: Es reduzierte die Zeit für die Generierung eines einzelnen Wortes und brachte sie sehr nah an die physikalischen Grenzen der Hardware.
- Einfachheit der Anwendung: Das Beste daran? Man muss kein Fabrikguru sein, um es zu verwenden. Man kann ein Standard-KI-Modell (geschrieben in PyTorch) mit nur wenigen Zeilen Code „MPK-ify“. Das System findet automatisch heraus, wie es die Arbeit aufteilt und die Arbeiter verwaltet.
Zusammenfassend:
MPK nimmt eine chaotische Fabrik, in der Teams ständig anhalten und wieder anfangen, und verwandelt sie in eine reibungslose, kontinuierliche, selbstverwaltende Montagelinie. Durch das Aufteilen der Arbeit in die kleinstmöglichen Stücke und das direkte Koordinieren der Arbeiter wird die verschwendete Zeit eliminiert, was die KI-Inferenz signifikant schneller und effizienter macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.