Meganeura: Portable GPU Training and Inference through Vulkan and Metal
Meganeura zeigt, dass ein kompakter, nativer Compiler unter Verwendung von Vulkan und Metal effektiv sowohl Trainings- als auch Inferenzphasen über diverse Consumer-GPUs hinweg abdecken kann, wobei er eine wettbewerbsfähige Performance sowie signifikant schnellere Kompilierzeiten im Vergleich zu PyTorch erreicht und gleichzeitig die Kernel-Abdeckung sowie das Scheduling als die primären verbleibenden Engpässe identifiziert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten ein superintelligentes Robotergehirn, das lernt, Katzen zu erkennen, ein Auto zu fahren oder Geschichten zu schreiben. Normalerweise gibt es eine riesige, unordentliche Trennung in der Funktionsweise dieses Gehirns. Zuerst geht es in ein massives, klimatisierte Rechenzentrum, um zu lernen (Training), unter Verwendung schwerer Werkzeuge, die nur große Unternehmen besitzen. Dann, um es auf Ihrem Telefon oder in einem Spielzeug tatsächlich zu nutzen, müssen Sie es verkleinern, in eine neue Sprache übersetzen und hoffen, dass es immer noch funktioniert. Es ist, als würde man einen riesigen Kuchen in einer Profiküche backen und dann versuchen, das Rezept in eine winzige Brotdose für ein Picknick zu quetschen, in der Hoffnung, dass der Kuchen nicht zerbröselt.
Dieses Paper bewegt sich in der Welt der Informatik, speziell im Bereich „Maschinelles Lernen“ (das Lehren von Computern aus Daten) und „Grafikprogrammierung“ (dem Sagen von Computerchips, wie sie Bilder zeichnen sollen). Die Kernidee hier ist, dass dieselben Computerchips, die Ihre Videospiele und Telefobildschirme antreiben, unglaublich stark in Mathematik sind. Das Paper stellt eine einfache Frage: Können wir den unordentlichen Übersetzungsschritt überspringen? Können wir dasselbe „Rezept“ verwenden, um das Robotergehirn zu trainen und es dann auf Ihrem Gerät auszuführen, ohne dazwischen ein riesiges Rechenzentrum oder eine Python-Computersprache zu benötigen? Wenn uns das gelänge, würde es bedeuten, dass Ihre Geräte neue Tricks direkt dort lernen können, wo Sie sich gerade befinden, ohne Daten an einen Server zurücksenden zu müssen.
Die Forscher haben ein neues Werkzeug namens Meganeura entwickelt, um dies zu testen. Betrachten Sie Meganeura als einen universellen Übersetzer und einen Meisterkoch in einem. Anstatt der üblichen schweren Werkzeuge (wie PyTorch, welches die Standard-„Küche“ für das Training von KI ist), verwendet Meganeura die Standardsprachen, die Videospiel-Engines bereits sprechen: Vulkan und Metal. Dies sind die Sprachen, die Grafikkarten verwenden, um 3D-Welten zu rendern. Das Team wollte sehen, ob sie ein einziges Programm schreiben können, das sowohl lernen (trainieren) als auch ausführen (inferenzieren) kann – und zwar auf fast jedem modernen Computerchip, von High-End-Gaming-Karten bis hin zu den winzigen Chips in Ihrem Telefon oder Laptop.
Sie stellten Meganeura dem Industriestandard PyTorch auf fünf verschiedenen Gerätetypen gegenüber: leistungsstarken NVIDIA- und AMD-Grafikkarten, einem AMD-Chip in einem Laptop, einem Intel-Grafikchip und Apples Silicon. Sie führten fünf verschiedene KI-Aufgaben aus, die von der Bilderkennung bis zum Verständnis von Sprache reichten.
Die guten Nachrichten:
Meganeura funktioniert! In vielen Fällen war es genauso schnell oder sogar schneller als die schweren Standardwerkzeuge. Auf AMD-Geräten war es oft schneller als die Konkurrenz. Beispielsweise trainierte Meganeura auf einer AMD-Grafikkarte einige Modelle bis zu 1,3-mal schneller als das Standardwerkzeug. Auf dem Apple M3-Chip war es konkurrenzfähig, wenn auch manchmal etwas langsamer. Das Beste daran? Meganeura ist winzig. Das gesamte Programm ist nur 13 MiB groß (etwa so groß wie ein paar hochwertige Fotos), während die Standardwerkzeuge Gigabytes an Software zur Installation benötigen. Es kompiliert neue Aufgaben in Sekunden (0,1 bis 2,4 Sekunden) statt in Minuten.
Die „Es kommt darauf an“-Nachrichten:
Es ist nicht überall ein perfekter Sieg. Auf NVIDIA-Karten und Apple-Chips war Meganeura manchmal langsamer, insbesondere bei komplexen Aufgaben wie dem Training von Deep-Learning-Modellen. Die Forscher fanden heraus, dass der Geschwindigkeitsunterschied nicht daran lag, dass die Grafiksprachen (Vulkan/Metal) schwach waren, sondern weil Meganeuras „Küche“ nicht über jeden einzelnen spezialisierten Werkzeugsatz (Kernel) verfügte, den die großen Unternehmen über Jahre hinweg aufgebaut haben. Beispielsweise waren auf NVIDIA-Karten die langsamsten Teile spezifische mathematische Operationen für die Konvolution (eine Art der Bildverarbeitung), bei denen Meganeura in einigen beschleunigten Modi etwa 4,6-mal langsamer war.
Der „Echtwelt“-Test:
Um zu beweisen, dass es sich nicht nur um einen Labortrick handelt, bauten sie eine echte App namens DinoVision für ein VR-Headset (Meta Quest 3). Sie trainierten einen Decoder auf einem Computer, speicherten das „Gehirn“ und ließen es dann direkt auf dem Headset mit Meganeura laufen. Es funktionierte perfekt und teilte sich dieselbe Grafik-Queue wie das Spiel-Rendering. Dies bewies, dass man trainieren und bereitstellen kann, ohne einen separaten Server zu benötigen.
Der Haken:
Die Forscher waren sehr sorgfältig. Sie fanden zwei spezifische Fälle, in denen die Ergebnisse nicht exakt mit dem Standardwerkzeug übereinstimmten. Sie vermuten, dass in diesen speziellen Fällen das Standardwerkzeug den Fehler enthält, konnten sich aber ohne eine dritte Meinung nicht zu 100 % sicher sein. Sie merkten auch an, dass Meganeura nicht bereit ist, die riesigen Data-Center-Werkzeuge für massives, verteiltes Training zu ersetzen; es ist für kleinere, tragbare Anwendungen konzipiert, bei denen man alles in einem ordentlichen Paket haben möchte.
Das Fazit:
Meganeura zeigt, dass man kein massives, spezialisiertes Rechenzentrum benötigt, um KI auf seinem Gerät zu trainieren und auszuführen. Indem man die Grafiksprachen nutzt, die bereits Ihre Spiele antreiben, kann man ein winziges, tragbares System schaffen, das auf fast jedem modernen Chip lernt und läuft. Auch wenn es in noch nicht jedem einzelnen Szenario der Schnellste ist, beweist es, dass ein „Train-and-Deploy“-Stack möglich ist, was die Tür zu Geräten öffnet, die direkt in Ihrer Tasche lernen und sich anpassen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.