Efficient INT8 Inference of Small NLP Models on Server CPUs with PyTorch Native Stack
Dieses Paper präsentiert eine native PyTorch-Implementierung von SmoothQuant für die INT8-Inferenz kleiner NLP-Modelle auf Server-CPUs, die durch Graph-Level-Fusion und optimierte Kernel-Selektion eine bis zu 5,8-fache Steigerung des Durchsatzes bei vernachlässigbarem Genauigkeitsverlust erreicht, wobei die Lösung nun in PyTorch und TorchAO upstreamed wurde.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der künstlichen Intelligenz findet neben den lautstarken Schlagzeilen über massive, allwissende Chatbots eine stille Revolution statt. Während der Blick der Öffentlichkeit auf riesige Modelle gerichtet ist, die Gedichte schreiben oder komplexe Logikrätsel lösen können, verlassen sich die Motoren, die den täglichen Internetverkehr antreiben – Suchergebnisse, Produktempfehlungen und Spam-Filter – auf kleinere, spezialisierte Programme. Diese Programme, die oft auf einer Familie von Designs bekannt als BERT basieren, sind die Arbeitspferde der digitalen Wirtschaft. Sie laufen auf Standard-Computerservern, wie man sie in Rechenzentren weltweit findet, und nicht auf spezialisierten, teuren Grafikkarten. Für diese Systeme zählen Geschwindigkeit und Kosten mehr als die reine Größe. Die Herausforderung für Ingenieure bestand lange darin, wie man diese Modelle schneller laufen lässt, ohne die Genauigkeit zu opfern, die sie nützlich macht. Einer der wirkungsvollsten Wege, dies zu erreichen, besteht darin, die Mathematik, die der Computer ausführt, zu vereinfachen – man tauscht ein winziges Stück Präzision gegen einen massiven Geschwindigkeitsgewinn ein, eine Technik, die als Quantisierung bekannt ist.
Ein Team von Forschern bei Intel Corporation hat nun eine Brücke gebaut, die es diesen kleineren Sprachmodellen ermöglicht, mit dieser vereinfachten Mathematik direkt innerhalb der heute bei Entwicklern am weitesten verbreiteten Software-Tools zu laufen. Ihre Arbeit konzentriert sich auf eine spezifische Methode namens SmoothQuant, die ein Modell darauf vorbereitet, die vereinfachte Mathematik zu handhaben, ohne seine Fähigkeit zum Sprachverständnis zu verlieren. Durch die Integration dieser Methode in den Standard-PyTorch-Software-Stack haben sie einen Weg geschaffen, der keine speziellen Drittanbieter-Tools oder komplexen Umschreibungen erfordert. Das Ergebnis ist ein System, das ein Standard-Sprachmodell nehmen und es auf modernen Server-Prozessoren signifikant schneller laufen lassen kann, während es gleichzeitig die Antworten so korrekt liefert wie zuvor.
Die Forscher begannen mit einem gängigen Problem: Obwohl moderne Computerprozessoren über integrierte Anweisungen verfügen, um vereinfachte Mathematik schnell zu verarbeiten, wussten die Software-Tools, mit denen diese Modelle erstellt werden, oft nicht, wie sie diese effizient nutzen können. Wenn ein Modell auf Geschwindigkeit vorbereitet wurde, blieb die Software oft an den Schritten hängen, die zur Konvertierung von Daten oder zur Verwaltung der vereinfachten Berechnungen nötig waren, wodurch genau die Geschwindigkeit verschwendet wurde, die die Hardware versprochen hatte. Um dies zu beheben, kombinierte das Team drei unterschiedliche Technologiekomponenten zu einem einzigen, nahtlosen Workflow. Zuerst verwendeten sie ein Tool namens TorchAO, um das Modell vorzubereiten, indem sie die Daten glätteten, damit sie sicher vereinfacht werden konnten. Als Nächsten nutzten sie einen Compiler namens TorchInductor, um den gesamten Fluss der Berechnungen des Modells zu betrachten und sie zusammenzuführen, wodurch unnötige Schritte entfernt wurden, die normalerweise verlangsamen. Schließlich brachten sie dem System bei, den absolut schnellsten Weg zu wählen, um die Kern-Mathematikoperationen durchzuführen, abhängig davon, ob der Computerprozessor ein neueres Modell mit fortschrittlichen Fähigkeiten oder ein älteres, zuverlässiges Modell ist, das noch weit verbreitet im Einsatz ist.
Um ihre Kreation zu testen, führten die Forscher Experimente auf zwei verschiedenen Generationen von Intel-Serverprozessoren durch. Sie testeten das System auf drei verschiedenen Typen von Sprachmodellen, die von großen, komplexen Versionen bis hin zu kleineren, kompakteren Modellen reichten. Die Ergebnisse waren beeindruckend. Auf den neueren Prozessoren lief das System bis zu 5,8-mal schneller als die standardmäßige, nicht optimierte Version. Auf den älteren Prozessoren schaffte es das System immer noch, fast dreimal schneller zu laufen. Vielleicht am wichtigsten ist jedoch, dass die Geschwindigkeit nicht zu Lasten der Qualität ging. Als die Forscher ihre Modelle bei realen Aufgaben testeten, wie etwa dem Beantworten von Fragen aus einem Text oder der Beurteilung der Stimmung eines Satzes, lieferten die vereinfachten Modelle die Antworten genauso oft korrekt wie die ursprünglichen, langsameren Versionen. In vielen Fällen war der Unterschied in der Genauigkeit so gering, dass er gar nicht erst gemessen werden konnte.
Das Team untersuchte auch genau, warum die Geschwindigkeitsgewinne zustande kamen, indem es eine Methode anwandte, die die Grenzen dessen kartiert, wie schnell ein Computer Daten bewegen kann im Vergleich dazu, wie schnell er rechnen kann. Sie fanden heraus, dass bei den neueren Prozessoren die Geschwindigkeit durch die Geschwindigkeit begrenzt war, mit der Daten bewegt werden konnten, während sie bei den älteren Prozessoren durch die Geschwindigkeit begrenzt war, mit der die Mathematik durchgeführt werden konnte. Ihr System gelang es, beide dieser Grenzen effektiv zu navigieren. Sie entdeckten, dass sie durch die Vorbereitung der Daten im Voraus und das Entfernen der Notwendigkeit für den Computer, während der Arbeit anzuhalten und Informationen neu zu organisieren, das volle Potenzial der Hardware freisetzen konnten. Sie fanden sogar einen cleveren Workaround für ältere Prozessoren, denen eine spezifische Anweisung für vereinfachte Mathematik fehlte, indem sie eine andere, verfügbare Anweisung nutzten, um ähnliche Ergebnisse zu erzielen.
Diese Arbeit ist von Bedeutung, weil sie eine erhebliche Barriere für Unternehmen beseitigt, die diese Modelle effizient einsetzen wollen. Zuvor bedeutete das Erreichen dieses Niveaus an Leistung oft die Verwendung spezialisierter Tools, die schwierig zu warten waren oder die das Verlassen der Standard-Softwareumgebung erforderten. Jetzt können Entwickler einfach die Werkzeuge verwenden, die sie bereits kennen, um dieselbe hohe Leistung zu erzielen. Die Forscher haben ihren Code mit der breiteren Gemeinschaft geteilt, was bedeutet, dass jeder, der diese Standard-Tools verwendet, nun sofort auf diesen Geschwindigkeitsvorteil zugreifen kann. Die Studie bestätigt, dass es möglich ist, die Arbeitspferde des Internets schneller und effizienter zu machen, ohne die grundlegende Natur der Modelle oder der Software, auf der sie laufen, zu verändern. Durch die sorgfältige Optimierung der Art und Weise, wie der Computer die Mathematik handhabt, hat das Team gezeigt, dass die Zukunft der effizienten künstlichen Intelligenz auf Standard-Servern nicht nur eine Möglichkeit, sondern eine Realität ist, die bereits heute genutzt werden kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.