Pipeline-Native Transformers: Co-Designing Model Architecture and CPU Inference for Bandwidth-Efficient Autoregressive Decode
Dieses Paper stellt cflow vor, eine CPU-fokussierte Streaming-Engine, die gemeinsam mit Pipeline-nativen Transformer-Architekturen entwickelt wurde, um Speicherbandbreitenengpässe bei der autoregressiven Single-Token-Dekodierung zu überwinden und durch die Nutzung von L2-großen Weight-Tiling-Verfahren, Top-k-Expertenselektion sowie asynchronem I/O-Overlap eine Reduktion der kritischen Pfad-Gewichtsbandbreite um bis zu das 2,00-fache sowie 5,94 Tokens/s auf einem 32-vCPU-Server zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der künstlichen Intelligenz werden die leistungsfähigsten Computerprogramme oft als besitzend ein „Gehirn“ beschrieben, das aus Milliarden winziger Schalter besteht. Diese Schalter, oder Gewichte, sind im Hauptspeicher des Computers gespeichert, wie Bücher in einem riesigen Bibliotheksregal. Um eine Vorhersage zu treffen oder ein einzelnes Wort Text zu generieren, muss der Computer die richtigen Bücher aus dem Regal holen, sie lesen und eine Berechnung durchführen. Jahrelang gingen Ingenieure davon aus, dass die Geschwindigkeit dieser Berechnungen der limitierende Faktor sei, in dem Glauben, dass das Programm schneller laufen würde, wenn man den Prozessor nur schneller denken ließe. Eine neue Forschungsrichtung deutet jedoch darauf an, dass diese Annahme für die häufigste Art und Weise, wie diese Programme verwendet werden, falsch ist: die Generierung eines Wortes nach dem anderen. In diesem speziellen Modus wartet der Prozessor nicht darauf, dass sein Gehirn denkt; er wartet darauf, dass der Speicher die Daten liefert. Der Prozessor ist so schnell, dass er die meiste Zeit untätig verbringt und auf ein leeres Regal starrt, während er auf das nächste Buch wartet. Dies erzeugt einen Engpass, bei dem die Geschwindigkeit des gesamten Systems nicht davon abhängt, wie schnell der Computer berechnen kann, sondern wie schnell er Daten vom Speicherregal zum Prozessor bewegen kann.
Ein Forscher namens Tom Poperszky hat dieses Problem angegangen, indem er erkannte, dass die Standardmethode zur Organisation dieser „Bücher“ auf dem Regal für einen völlig anderen Typ von Computer entwickelt wurde. Die meisten modernen KI-Modelle wurden gebaut, um auf spezialisierten Grafikchips zu laufen, die exzellent darin sind, viele Bücher gleichzeitig zu lesen. Wenn diese Modelle auf Standard-Computerprozessoren ausgeführt werden, führt die alte Organisation dazu, dass der Prozessor Zeit verschwendet, indem er im Regal hin- und herspringt und Daten in einer chaotischen Reihenfolge abruft, die die Hardware nicht vorhersagen kann. Poperszkys Arbeit schlägt eine radikale Lösung vor: Anstatt zu versuchen, die alten Modelle besser auf neuer Hardware laufen zu lassen, hat er sowohl das Modell als auch die Software, die es ausführt, von Grund auf neu gestaltet, damit sie zusammenarbeiten. Er entwickelte eine neue Art, die Daten des Modells in kleinen, ordentlichen Häppchen zu speichern, die perfekt in den unmittelbaren Arbeitsbereich des Prozessors passen, und er schrieb die internen Anweisungen des Modells so um, dass es diese Häppchen in einer glatten, kontinuierlichen Linie lesen kann, ohne jemals anzuhalten, um zu warten.
Der Kern dieses neuen Ansatzes ist ein System namens cflow, das als hocheffizienter Bibliothekar für den Computer fungiert. In einem Standard-Setup muss der Computer oft den gesamten Satz an Anweisungen für einen bestimmten Teil des Modells laden, selbst wenn er nur einen winzigen Bruchteil davon benötigt. Das ist so, als würde man eine ganze Enzyklopädie öffnen, um einen einzigen Fakt zu finden. Poperszkys System ändert dies, indem es die Daten in kleine Kacheln organisiert, die etwa die Größe einer einzelnen Seite haben, und sie in der exakten Reihenfolge speichert, in der der Computer sie benötigen wird. Wenn der Computer nach dem nächsten Informationsstück fragt, schiebt das System die nächste Kachel sofort an ihren Platz, sodass der Prozessor beschäftigt bleibt. Darüber hinaus lädt das neue System für Modelle, die eine „Mixture of Experts“ verwenden – eine Technik, bei der das Modell für jede Aufgabe einige spezialisierte Sub-Routinen auswählt – nur die spezifischen Sub-Routinen, die in diesem Moment benötigt werden, und lässt den Rest im Regal. Dies eliminiert die Verschwendung beim Laden von tausenden ungenutzten Anweisungen für jedes einzelne generierte Wort.
Um dieses System zum Laufen zu bringen, musste der Forscher die Architektur des Modells selbst ändern. Standardmodelle sind aufgebaut wie ein strenges Fließband, bei dem ein Schritt vollständig abgeschlossen sein muss, bevor der nächste beginnen kann. Diese Struktur zwingt den Computer, auf das Ende des gesamten Bandes zu warten, bevor er mit dem Lesen des nächsten Satzes von Anweisungen beginnen kann. Poperszky gestaltete das Modell so um, dass ein „vertikaler Pipeline“-Prozess ermöglicht wird, bei dem der Computer bereits mit dem Lesen der Anweisungen für den nächsten Schritt beginnen kann, während er den aktuellen noch abschließt. Dies ist nur möglich, weil das Modell darauf trainiert wurde, eine leicht verzögerte Version der Informationen aus dem vorherigen Schritt zu akzeptieren – eine Änderung, die in einem Standardmodell zu Fehlern führen würde, aber in diesem neuen Design perfekt funktioniert. Durch das Training von fünf verschiedenen Versionen dieser umgestalteten Modelle fand der Forscher heraus, dass eine spezifische Konfiguration die Menge der Daten, die der Computer bewegen muss, um die Hälfte reduzieren konnte. Diese Reduzierung der Datenbewegung überträgt sich direkt auf die Geschwindigkeit, da der Computer weniger Zeit mit Warten und mehr Zeit mit Arbeiten verbringt.
Die Ergebnisse dieser Co-Entwicklung wurden auf echter Hardware gemessen und zeigten einen klaren Vorteil gegenüber bestehender Software. Auf einem Standard-Servercomputer generierte das neue System Text mit einer Rate von fast sechs Wörtern pro Sekunde und übertraf damit die besten verfügbaren Alternativen, die auf derselben Maschine nur etwa vier und eine Hälfte Wörter pro Sekunde schafften. Diese Verbesserung war nicht nur eine theoretische Berechnung; es war eine reale Geschwindigkeitssteigerung, die durch die Reduzierung der Anzahl der Zugriffe auf den Speicher des Computers erreicht wurde. Die Studie testete auch mehrere andere Ideen, wie zum Beispiel die Verwendung expliziter Anweisungen, um dem Computer zu sagen, wo er als Nächstes nach Daten suchen soll. Überraschenderweise zeigten die Tests, dass diese Anweisungen nicht halfen und das System sogar verlangsamten, da die eigene Hardware des Computers bereits besser darin war, vorherzusagen, was als Nächstes benötigt wird. Dieser Befund ist entscheidend, da er eine gängige Optimierungstechnik ausschließt und bestätigt, dass der eigentliche Gewinn aus der grundlegenden Reorganisation der Daten und des Modells resultiert.
Die Forschung untersuchte auch, wie sich diese Änderungen verhalten würden, wenn die Modelle größer werden. Die Analyse legt nahe, dass, obwohl die Geschwindigkeitssteigerung für die getesteten Modelle signifikant ist, der spezifische Nutzen von der Größe des Modells und der Art des verwendeten Computers abhängt. Für sehr große Modelle könnte sich der Engpass erneut verschieben, aber das Prinzip bleibt bestehen: Indem man die Struktur des Modells mit der Art und Weise abgleicht, wie der Computer den Speicher liest, ist es möglich, Geschwindigkeiten freizusetzen, die zuvor auf Standardprozessoren als unmöglich galten. Die Arbeit zeigt, dass die Einschränkungen der aktuellen künstlichen Intelligenz auf alltäglichen Computern keine fixen Naturgesetze sind, sondern Designentscheidungen, die geändert werden können. Indem man das Modell und die Laufzeitumgebung als ein einziges, vereintes System betrachtet, anstatt als zwei separate Teile, ist es möglich, ein System zu schaffen, das Daten mit der Effizienz einer gut organisierten Bibliothek bewegt und es dem Computer ermöglicht, mit der Geschwindigkeit seiner eigenen Hardware zu denken. Dieser Ansatz bietet einen klaren Weg nach vorn, um leistungsstarke KI auf Geräten ohne spezialisierte Chips laufen zu lassen, was fortgeschrittene Intelligenz im realen Leben zugänglicher und reaktionsschneller macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.