DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding
DeltaLog ist ein rekurrenten-zustandsbasiertes Dekodierungsschema, das lineare Attention-Modelle beschleunigt, indem es die vollständige Materialisierung des Zustands zugunsten des Anhängens kompakter Updates an ein begrenztes Log aufschiebt und diese periodisch zusammenführt, wodurch der Speicherverkehr signifikant reduziert und die End-to-End-Serving-Geschwindigkeit verbessert wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Moderne Systeme der künstlichen Intelligenz, die Texte generieren – von Chatbots bis hin zu kreativen Schreibassistenten –, verlassen sich auf einen grundlegenden Prozess namens autoregressives Dekodieren. Bei diesem Prozess sagt der Computer das nächste Wort in einem Satz nacheinander voraus, wobei er die bereits generierten Wörter nutzt, um seine nächste Vermutung zu beeinflussen. Jahrelang haben die leistungsfähigsten Modelle einen Mechanismus namens „Attention“ genutzt, um zu entscheiden, welche vorherigen Wörter für die aktuelle Vorhersage am wichtigsten sind. Obwohl dieser Ansatz unglaublich effektiv ist, schafft er einen wachsenden Engpass: Wenn das Gespräch länger wird, muss das System ständig eine immer größer werdende Liste aller bisher gesehenen Wörter speichern und abrufen, was enorme Mengen an Computerspeicher verbraucht und die Antwortzeit verlangsamt. Um dies zu lösen, haben Forscher eine neuere Klasse von Modellen entwickelt, die die expandierende Liste durch eine Zusammenfassung fester Größe, oder einen „State“, ersetzen, der sich mit jedem neuen Wort aktualisiert. Diese Änderung eliminiert die Notwendigkeit, jedes einzelne vergangene Token im Gedächtnis zu behalten, führt jedoch ein anderes Problem ein: Das System muss diesen gesamten Zusammenfassungsprozess immer noch ständig neu schreiben, wenn ein neues Wort hinzugefügt wird, was einen schweren Verkehrsstau im Speicher des Computers verursacht.
Ein Team von Forschern der University of Science and Technology of China hat dieses ständige Umschreiben als eine große Ineffizienz identifiziert und eine Lösung entwickelt, die sie DeltaLog nennen. Anstatt den Computer zu zwingen, die gesamte Zusammenfassung des Gesprächs nach jedem einzelnen Wort neu zu schreiben, erlaubt DeltaLog dem System, eine stabile, vollständige Version der Zusammenfassung zu behalten und einfach eine kleine, kompakte Notiz anzuhängen, die die jüngste Änderung beschreibt. Das System schreibt die vollständige Zusammenfassung nur gelegentlich neu, nachdem es eine bestimmte Anzahl dieser kleinen Notizen angesammelt hat. Dieser Ansatz ist vergleichbar damit, ein Hauptbuch und einen Stapel Klebezettel zu führen; anstatt das gesamte Hauptbuch jedes Mal neu zu schreiben, wenn eine neue Transaktion stattfindet, fügt man die Transaktion einfach dem Stapel hinzu und aktualisiert das Hauptbuch erst, wenn der Stapel zu hoch wird. Durch dies fanden die Forscher heraus, dass sie die Menge der Daten, die der Computer bewegen muss – was oft der langsamste Teil des Prozesses ist, – drastisch reduzieren konnten.
Die Forscher testeten diese Methode an verschiedenen Typen moderner Sprachmodelle, einschließlich Gated DeltaNet, Kimi Delta Attention und RWKV6. In ihren Experimenten maßen sie, wie lange der Computer für die Generierung eines einzelnen Wortes benötigte und wie viel Speicherverkehr involviert war. Sie entdeckten, dass sie durch das Aufschieben des vollständigen Umschreibens der Zusammenfassung die Kernberechnung, die den Speicher des Modells aktualisiert, auf Hochleistungs-Grafikkarten um bis zu das 1,86-fache beschleunigen konnten.ت Wichtiger noch war, dass sie beobachteten, dass die Menge der Daten, die in den Hochgeschwindigkeitsspeicher des Computers geschrieben wurden, um bis zu das 7,83-fache sank. Diese Reduzierung des Verkehrs ist signifikant, da die Geschwindigkeit bei diesen Arten von Modellen oft nicht durch die Geschwindigkeit begrenzt wird, mit der der Computer berechnen kann, sondern durch die Geschwindigkeit, mit der er Daten in seinen Speicher hinein- und herausbewegen kann.
Als die Forscher diese Methode in ein vollständiges System integrierten, das darauf ausgelegt ist, viele Nutzer gleichzeitig zu bedienen, übertrug sich der Nutzen in Form von schnelleren Antwortzeiten für den Endnutzer. In Tests mit großen Modellen, die Zehn milliarden Parameter enthalten, generierte das System Wörter zwischen 5 % und 20 % schneller als zuvor. Die Verbesserung war am deutlichsten, wenn das System viele Anfragen gleichzeitig bearbeitete, ein häufiges Szenario für reale Anwendungen. Die Forscher bestätigten, dass diese Beschleunigung nicht zu Lasten der Genauigkeit ging; der von dem modifizierten System generierte Text blieb mathematisch äquivalent zum Original, was bedeutet, dass die Qualität der Ausgabe bewahrt wurde, während die Auslieferung wesentlich effizienter wurde.
Die zentrale Erkenntnis dieser Arbeit ist, dass die Art und Weise, wie ein Computer Informationen physisch speichert und aktualisiert, nicht immer mit den logischen Schritten übereinstimmen muss, die das Modell vollzieht. Während das Modell seinen Zustand logisch mit jedem Wort aktualisiert, muss die physische Hardware den gesamten Zustand nicht sofort neu schreiben, um diese Änderung widerzuspiegeln. Indem DeltaLog die stabile Historie von den jüngsten Änderungen trennt und diese nur periodisch zusammenführt, reduziert es die „State-Update-Steuer“ (State-Update Tax) – ein Begriff, den die Autoren verwenden, um den übermäßigen Speicherverkehr zu beschreiben, der durch voreilige, sofortige Aktualisierungen verursacht wird. Diese Strategie ändert weder das zugrunde liegende Modell noch dessen Gewichte; sie ändert lediglich den Zeitplan, wie der Computer die Daten handhabt. Die Ergebnisse legen nahe, dass für groß angelegte Sprachmodelle die Optimierung der physischen Datenbewegung ebenso kritisch ist wie die Verbesserung der mathematischen Algorithmen selbst, was einen klaren Weg zu schnellerer und effizienterer künstlicher Intelligenz aufzeigt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.