Transformer Accelerator (TFA): A Macro-Op INT8 Hardware Chip for Transformer Inference and Machine Translation
Dieses Paper präsentiert den Transformer Accelerator (TFA), eine synthetisierbare INT8-Hardware-Engine, die eine bitgenaue, End-to-End-Transformer-Inferenz mit 100 % funktionaler Verifizierung sowie signifikante projizierte Energie- und Beschleunigungsverbesserungen gegenüber CPU-Baselines erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Moderne künstliche Intelligenz hat gelernt zu sprechen, zu übersetzen und zu schlussfolgern, indem sie eine spezifische Art von neuronalem Netzwerk verwendet, das als Transformer bekannt ist. Diese Systeme sind unglaublich leistungsstark, aber sie sind auch hungrig. Um ein einziges neues Wort in einem Satz zu generieren, muss ein Transformer sein gesamtes Gedächtnis an gelernten Fakten durchsuchen – ein Prozess, der das Bewegen massiver Datenmengen erfordert. Für Geräte, die mit Batterien betrieben werden, wie Smartphones oder Sensoren, stellt dieses ständige Verschieben von Informationen einen Engpass dar. Die Energie, die benötigt wird, um diese Zahlen aus dem Speicher abzurufen, übertrifft oft die Energie, die tatsächlich für die Berechnung mit ihnen aufgewendet werden muss. Dies schafft ein grundlegendes Problem: Wie baut man eine Maschine, die diese komplexen Sprachmodelle effizient auf kleiner, leistungsschwacher Hardware ausführen kann, ohne die Fähigkeit zum Verständnis von Nuancen zu verlieren?
Ein Forscher namens Shashank hat einen neuen Typ Hardware-Chip entworfen, der speziell dieses Problem lösen soll. Anstatt einen universellen Computer zu bauen, der versucht, alles zu tun, ist dieser Chip ein spezialisiertes Werkzeug, das nur für die spezifische Mathematik gebaut wurde, die für die Sprachübersetzung erforderlich ist. Das Design, genannt Transformer Accelerator, behandelt das Modell nicht als ein zu interpretierendes Programm, sondern als einen Strom von Instruktionen, der Daten direkt vom Speicher zu einer Rechenmaschine und wieder zurück bewegt. Das Ziel war es, ein Gerät zu schaffen, das ein vortrainiertes Sprachmodell vollständig auf Silizium ausführen kann und Ergebnisse liefert, die mathematisch identisch mit der ursprünglichen, hochpräzisen Computerversion sind, aber dabei viel weniger Energie verbraucht.
Der Kern dieser Arbeit ist ein Chip, der mit ganzen Zahlen arbeitet, anstatt mit den komplexen Dezimalbrüchen, die typischerweise in der wissenschaftlichen Computertechnik verwendet werden. Durch den Wechsel zu diesen einfacheren ganzen Zahlen wird die Menge der zu bewegenden Daten drastisch reduziert. Dieser Wechsel führt jedoch normalerweise zu einem Genauigkeitsverlust, da die winzigen Unterschiede in den Zahlen abgerundet werden. Der Forscher fand heraus, dass die standardmäßige Art des Rundens dieser Zahlen für diesen spezifischen Typ von Sprachmodell fehlschlug, was dazu führte, dass die Übersetzung unverständlich wurde. Die Lösung bestand nicht darin, den Chip zu ändern, sondern die Art und Weise, wie das Modell vor dem Laden auf die Hardware vorbereitet wurde. Durch die Anwendung einer präzisen mathematischen Rotation auf die internen Gewichte des Modells während der Vorbereitungsphase glättete der Forscher die schwierigen Zahlen. Dies ermöglichte es dem einfachen, stromsparenden Chip, Ergebnisse zu liefern, die bitgenau identisch mit dem komplexen Original sind, wodurch die Schwierigkeit der Mathematik effektiv in die Software statt in die Hardware verlagert wurde.
Um zu beweisen, dass dies funktionierte, nahm der Forscher ein vollständiges, vortrainiertes Übersetzungsmodell, das in der Lage ist, Englisch in Französisch, Deutsch und Rumänisch zu übersetzen, und kompilierte es in eine Serie von Instruktionen für den Chip. Der Chip wurde dann durch eine rigorose Simulation laufen gelassen, die jeden einzelnen Schritt des Prozesses überprüfte. Die Ergebnisse zeigten, dass der Chip die gesamte Übersetzungspipeline, einschließlich der komplexen Attention-Mechanismen, die es dem Modell ermöglichen, sich auf die richtigen Wörter zu konzentrieren, ohne Fehler ausführen konnte. Als der Chip Übersetzungen für zehn schwierige englische Sprichwörter generierte, entsprach er in Bezug auf die zugrunde liegenden Daten perfekt der Ausgabe des ursprünglichen Computers. In der Hälfte der Fälle waren die endgültigen übersetzten Wörter identisch mit dem Floating-Point-Referenzwert; in der anderen Hälfte produzierte der Chip andere, aber gleichermaßen gültige Übersetzungen, wie etwa die Verwendung eines anderen Wortes für dasselbe Konzept oder ein anderes Satzzeichen. Dies demonstrierte, dass die Hardware nicht nur schnell, sondern auch vertrauenswürdig war.
Die Leistungssteigerungen waren substanziell. Im Vergleich zu einem Standard-Prozessor mit zweiundzwanzig Threads konnte das Chip-Design Token zwanzigmal schneller generieren, selbst wenn es auf einem simulierten Speichersystem lief, das absichtlich langsam und schwierig war. Die Forscher prognostizierten, dass größere Versionen dieses Chips fast zweihundertmal schneller als der Computer-Baseline sein könnten. Noch wichtiger war die Energieeffizienz: Es wurde geschätzt, dass der Chip etwa dreitausendmal weniger Energie pro generiertem Wort verbraucht als der Computerprozessor. Diese Effizienz ergibt sich aus der Fähigkeit des Chips, die Gewichte mit der maximalen Geschwindigkeit, die der Speicher zulässt, an seinen Recheneinheiten vorbeizuströmen, anstatt darauf zu warten, dass die Berechnung abgeschlossen ist, bevor das nächste Stück der Daten abgerufen wird.
Die Arbeit endete nicht bei der Simulation. Um sicherzustellen, dass das Design nicht nur eine theoretische Übung war, nahm der Forscher die digitale Beschreibung des Chips und verarbeitete sie durch einen vollständigen Fertigungsablauf, der für die Erstellung echter Silizium-Chips verwendet wird. Dieser Prozess konvertierte das Design in ein physisches Layout, das auf einen Chip gedruckt werden konnte. Das resultierende Layout bestand alle strengen Regeln, die für die Fertigung erforderlich sind, was bestätigte, dass das Design physisch realisierbar war. Obwohl die getestete Version mit älterer, größerer Fertigungstechnologie gebaut wurde, bewies das erfolgreiche Layout, dass die Architektur solide ist und auf moderne, Hochgeschwindigkeits-Prozesse geschrumpft werden kann. Der physische Chip wird, sobald er mit fortschrittlichen Speicherkomponenten gebaut ist, voraussichtlich noch kleiner und schneller sein.
Dieses Projekt unterstreicht einen Wandel in der Art und Weise, wie wir die Zukunft der künstlichen Intelligenz bauen könnten. Anstatt zu versuchen, universelle Computer schneller zu machen, konzentriert sich der Ansatz darauf, kleine, spezialisierte Motoren zu bauen, die eine einzige Sache perfekt beherrschen. Indem man die schwierige Mathematik des Umgangs mit unpräzisen Zahlen in die Software-Vorbereitungsphase auslagert, kann die Hardware selbst einfach, schnell und unglaublich effizient bleiben. Der Erfolg dieses Designs deutet darauf hin, dass wir hochentwickelte Sprachmodelle „am Edge“ ausführen können – auf Geräten, die derzeit zu klein sind, um sie zu handhaben – ohne die Genauigkeit zu opfern, die diese Modelle nützlich macht. Der Weg nach vorn besteht darin, dieses Design zu skalieren, um größere Modelle und komplexere Sprachaufgaben zu bewältigen, aber das Fundament ist gelegt: ein kleiner, verifizierter und fertigbarer Chip, der die Sprachen der Welt mit der Präzision eines Supercomputers und der Effizienz eines batteriebetriebenen Geräts übersetzen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.