TreeWY: Speculative Verification for Gated DeltaNet Hybrids

In der Welt der modernen künstlichen Intelligenz fungieren große Sprachmodelle als leistungsstarke Motoren, die Text Wort für Wort generieren. Um dies zu tun, müssen sie alles erinnern, was sie bisher geschrieben haben, um sicherzustellen, dass das nächste Wort zum Kontext passt. Jahrelang war die gängigste Methode zur Handhabung dieses Gedächtnisses darin bestand, eine wachsende Liste jedes zuvor geschriebenen Wortes und der damit verbundenen Daten zu führen – eine Methode, die gut funktioniert, aber eine massive Menge an Computerarbeitsspeicher erfordert, wenn das Gespräch länger wird. Vor kurzem ist eine neue Generation von Modellen aufgetaucht, die diesen traditionellen Ansatz mit einer anderen, kompakteren Methode mischt. Diese hybriden Modelle nutzen eine spezielle Art von Schicht, die die gesamte Historie in einen einzigen, fest dimensionierten Schnappschuss zusammenfasst, anstatt eine wachsende Liste zu führen. Dies macht sie unglaublich effizient für Standardaufgaben beim Lesen und Schreiben und ermöglicht es ihnen, auf kleineren Computern zu laufen. Diese Effizienz schafft jedoch ein neues Problem, wenn man versucht, den Prozess durch eine Technik namens „Speculative Decoding“ zu beschleunigen.

Speculative Decoding ist eine Strategie, die verwendet wird, um diese KI-Modelle schneller zu machen. Anstatt ein Wort nach dem anderen zu generieren, rät ein kleineres, günstigeres „Draft“-Modell (Entwurfsmodell) mehrere Wörter im Voraus, und das Hauptmodell überprüft all diese Vermutungen gleichzeitig, um zu sehen, welche der Vermutungen korrekt waren. Wenn das Hauptmodell eine lange Kette von Vermutungen verifizieren kann, kann es mehrere Wörter in einem einzigen Schritt ausgeben, was die Geschwindigkeit drastisch erhöht. Das Problem entsteht bei den oben genannten hybriden Modellen. Da ihr Gedächtnis ein einziger, fest dimensionierter Schnappschuss ist, der sich nicht einfach ausschneiden oder einfügen lässt, müssen die aktuellen Systeme für jedes einzelne Wort, das das Entwurfsmodell rät, eine vollständige Kopie dieses Schnappschusses erstellen. Wenn das Entwurfsmodell eine lange Liste von Wörtern rät, muss das System eine Kopie des Gedächtnisses für jede einzelne Vermutung speichern. Dies füllt den Arbeitsspeicher des Computers schnell aus und zwingt das System dazu, das Raten langer Listen zu stoppen, was die Geschwindigkeitsgewinne begrenzt. Es handelt sich um einen Flaschenhals, der verhindert, dass diese effizienten Modelle so schnell laufen können, wie sie es theoretisch könnten.

Forscher bei Thomson Reuters, angeführt von Sneha Murthy Ghantasala, haben eine neue Methode namens TreeWY entwickelt, um genau diesen Speicherflaschenhals zu lösen. Ihre Arbeit konzentriert sich auf eine Familie von hybriden Modellen namens Qwen3.5, die darauf ausgelegt sind, effizient zu sein, aber mit den Speicheranforderungen von Speculative Decoding zu kämpfen haben. Das Team stellte fest, dass die Art und Weise, wie diese Modelle ihr Gedächtnis aktualisieren, einem spezifischen mathematischen Muster folgt, das umgestaltet werden kann. Anstatt für jede einzelne Vermutung eine vollständige Kopie des Speicherzustands zu speichern, fanden sie einen Weg, die Ergebnisse aller Vermutungen gleichzeitig mithilfe einer einzigen, gestrafften mathematischen Operation zu berechnen. Diese Operation behandelt die Sequenz der Vermutungen nicht als eine Reihe separater Schnappschüsse, sondern als eine strukturierte Baumstruktur, bei der die notwendigen Informationen geteilt und effizient berechnet werden.

Der Kern ihrer Entdeckung ist, dass sie nicht mehr den vollständigen Speicherzustand für jedes Draft-Token speichern müssen. Bei der alten Methode, wenn ein Modell zehn Wörter rät, musste es zehn vollständige Versionen seines Gedächtnisses speichern, was enorm viel Platz verbrauchte. Mit TreeWY speichert das System nur eine winzige, komprimierte Zusammenfassung der Änderungen, die während der Phase des Ratens vorgenommen wurden. Es führt eine einzige Berechnung durch, um alle Vermutungen gleichzeitig zu verifizieren. Wenn eine Vermutung akzeptiert wird, rekonstruiert das System den korrekten Speicherzustand aus dieser kleinen Zusammenfassung. Wenn eine Vermutung abgelehnt wird, verwirft das System die Zusammenfassung einfach, ohne jemals den schweren, vollständigen Speicherzustand gespeichert haben zu müssen. Dieser Ansatz eliminiert die Notwendigkeit des massiven Speicher-Overheads, der zuvor lange Ketten von Vermutungen unmöglich machte.

Die Forscher testeten diese Methode an zwei Größen des Qwen3.5-Modells – einer Version mit 35 Milliarden Parametern und einer viel größeren Version mit 397 Milliarden Parametern – auf Hochleistungs-Grafikkarten. Sie verglichen ihre neue TreeWY-Methode mit dem Standardansatz, der in populärer KI-Software verwendet wird. Die Ergebnisse zeigten, dass die neue Methode unter hohem Speicherdruck des Computers deutlich mehr Anfragen gleichzeitig bearbeiten konnte. In einigen Fällen stieg die Geschwindigkeit der Textgenerierung um fast fünfzig Prozent und die Zeit bis zum Beginn der Antwortgenerierung sank drastisch. Dies geschah, weil der freigesetzte Speicherplatz es dem System ermöglichte, mehr aktive Gespräche gleichzeitig laufen zu lassen, ohne abzustürzen oder langsamer zu werden.

Die Studie fand jedoch auch heraus, dass der Nutzen stark davon abhängt, wie viel Speicher verfügbar ist. Wenn der Computer über reichlich freien Speicher verfügte, war die neue Methode etwas langsamer als der Standardansatz und kostete einen geringen Prozentsatz an Geschwindigkeit. Dies liegt daran, dass die neue Berechnung, obwohl sie Speicher spart, ein klein wenig mehr Zeit in Anspruch nimmt als die einfache Methode des bloßen Kopierens von Daten. Die Forscher merkten an, dass der eigentliche Gewinn dort liegt, wo das System speicherbegrenzt ist, was eine häufige Situation für große Modelle darstellt. In diesen Szenarien überwiegt die Fähigkeit, mehr Gespräche gleichzeitig zu führen, den geringen Aufwand der Berechnung bei weitem.

Das Team untersuchte auch, ob diese Methode noch ehrgeizigere Strategien des Ratens unterstützen könnte, wie etwa eine „Baumstruktur“, bei der das Modell mehrere verschiedene Pfade gleichzeitig rät, anstatt nur einer einzelnen Linie von Wörtern. Die neue Methode machte dies möglich, indem sie den Speicherverbrauch flach hielt, unabhängig davon, wie breit der Baum der Vermutungen wurde. Zuvlich war ein breiter Baum von Vermutungen aufgrund des benötigten Speichers unmöglich zu betreiben. Jetzt kann das System es sich leisten, viele verschiedene Pfade gleichzeitig auszuprobieren. Obwohl dies nicht sofort zu einem massiven Geschwindigkeitsvorteil für die getesteten Modelle führte, bewies es, dass die Methode flexibel genug ist, um komplexe, breite Guessing-Strukturen zu handhaben, die zuvor unerschwinglich waren.

Die Forscher betonten, dass ihre Lösung spezifisch für die mathematischen Regeln ist, die diese hybriden Modelle steuern. Sie beruht nicht auf den spezifischen Details des Modelldesigns, sondern auf der grundlegenden Art und Weise, wie sich das Gedächtnis selbst aktualisiert. Dies bedeutet, dass der Ansatz potenziell auf andere Modelle angewendet werden kann, die ähnliche Speicherstrukturen verwenden. Die Arbeit wurde in einem weit verbreiteten Software-Framework für die Ausführung von KI-Modellen implementiert, und die Forscher verifizierten, dass die neue Methode Ergebnisse liefert, die mathematisch identisch mit dem Standardansatz sind, wodurch sichergestellt wird, dass die Qualität des Textes unverändert bleibt.

Letztendlich zeigt diese Forschung, dass es möglich ist, das volle Geschwindigkeitspotenzial effizienter hybrider Modelle freizusetzen, indem man die Art und Weise überdenkt, wie das Gedächtnis während der Phase des Ratens gehandhabt wird. Die Studie zeigt, dass die Einschränkung nicht in den Modellen selbst lag, sondern in der Art und Weise, wie die Software deren Speicher verwaltete. Durch den Wechsel vom Speichern vollständiger Schnappschüsse hin zum Berechnen einer gemeinsamen Zusammenfassung verwandelten die Forscher einen Speicherflaschenhals in einen Pfad für höhere Leistung. Dies ermöglicht es diesen effizienten Modellen, schneller zu laufen und mehr Nutzer zu bedienen, insbesondere in Situationen, in denen der Computerspeicher der engste Engpass ist. Die Ergebnisse legen nahe, dass zukünftige Verbesserungen der KI-Geschwindigkeit nicht nur durch den Bau größerer Modelle, sondern durch intelligentere Wege im Umgang mit den bereits vorhandenen Daten erzielt werden können.