🤖 machine learning

Fast and Expressive Multi-Byte Prediction with Probabilistic Circuits

Dieses Paper führt MTPC ein, ein auf probabilistischen Schaltkreisen basierendes Framework für die Multi-Token-Vorhersage, das den Kompromiss zwischen Ausdrucksstärke und Latenz optimiert, indem es gemeinsame Verteilungen über zukünftige Token kodiert und dadurch die Generierung von Byte- und Subword-basierten LLMs signifikant beschleunigt, während die ursprüngliche Leistung des Modells beibehalten wird.

Ursprüngliche Autoren: Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine Geschichte zu schreiben, aber Sie haben eine sehr strenge Regel: Sie dürfen immer nur einen Buchstaben gleichzeitig schreiben. Jedes Mal, wenn Sie einen Buchstaben tippen, müssen Sie anhalten, nachdenken und Ihr superintelligentes Gehirn (die KI) fragen, was als Nächstes kommt. So arbeiten die meisten aktuellen Large Language Models (LLMs). Es ist genau, aber es ist unglaublich langsam, besonders wenn Sie in „Bytes“ (den Rohbausteinen des Textes) statt in ganzen Wörtern schreiben, da Sie tausende von Buchstaben tippen müssen, um einen einzigen Satz zu schreiben.

Das Paper stellt eine neue Methode namens MTPC (Multi-Token Prediction Circuits) vor, um dieses Geschwindigkeitsproblem zu lösen, ohne die Qualität der Geschichte zu beeinträchtigen.

So funktioniert es, unter Verwendung einiger Alltagsanalogien:

1. Das Problem: Das „Ratespiel“ vs. die „Kristallkugel“

Um die Geschwindigkeit zu erhöhen, versuchten Forscher einen Trick namens Multi-Token Prediction (MTP). Anstatt einen Buchstaben zu raten, versucht die KI, einen ganzen Block von Buchstaben auf einmal zu erraten (wie das Erraten der nächsten 8 Buchstaben eines Wortes).

Der alte Weg (Unabhängigkeitsannahme): Stellen Sie sich vor, Sie raten die nächsten 8 Buchstaben eines Wortes, behandeln aber jeden Buchstaben so, als hätte er keine Beziehung zu den anderen. Sie raten den ersten Buchstaben, dann den zweiten, dann den dritten und ignorieren dabei völlig, dass nach einem „C“ ein „Z“ unwahrscheinlich ist.
- Das Ergebnis: Dies ist schnell, führt aber zu Unsinn. Sie könnten „Cretoria“ statt „Pretoria“ oder „Craporia“ erhalten, weil das Modell nicht erkannt hat, dass diese Buchstaben zusammenpassen müssten. Es ist, als würde man versuchen, ein Haus zu bauen, indem man Steine zufällig auswählt, ohne zu prüfen, ob sie zusammenpassen.
Der neue Weg (MTPC): Die Autoren sagen: „Lassen Sie uns aufhören, Buchstaben isoliert zu raten. Lassen Sie uns den ganzen Block als eine verbundene Gruppe raten.“ Sie verwenden ein mathematisches Werkzeug namens Probabilistic Circuit (Probabilistischer Schaltkreis).
- Die Analogie: Der alte Weg ist wie eine Reihe von Menschen, die einen Zettel weiterreichen, wobei jeder ein zufälliges Wort flüstert. Der neue Weg ist wie ein Dirigent, der ein Orchester leitet. Der Dirigent (der Schaltkreis) weiß, dass, wenn das erste Instrument einen C-Dur-Akkord spielt, die nächsten Instrumente Noten spielen müssen, die zu diesem Akkord passen. Er versteht die Abhängigkeiten zwischen den Buchstaben.

2. Das Werkzeugset: Der „Schaltkreis-Architekt“

Das Paper schlägt ein flexibles Framework (MTPC) vor, mit dem man wählen kann, wie „verbunden“ die Buchstaben sein sollen. Sie bieten verschiedene „Architekturen“ (Formen des Schaltkreises) an, um ein Gleichgewicht zwischen Geschwindigkeit und Intelligenz zu finden:

FF (Fully Factorised): Der „Zufallsraten“-Modus. Schnell, aber dumm. (Die Orchestermitglieder spielen alleine).
CP (Canonical Polyadic): Ein „Gruppenraten“. Sie raten ein paar Hauptthemen und bauen die Buchstaben darum herum auf. Etwas klüger.
HMM (Hidden Markov Model): Eine „Kettenreaktion“. Der erste Buchstabe beeinflusst den zweiten, welcher den dritten beeinflusst und so weiter. Das ist sehr intelligent, aber langsam, weil man warten muss, bis einer fertig ist, bevor man mit dem nächsten beginnt.
BTree (Binary Tree): Die „Team-Besprechung“. Dies ist der Star des Papers. Stellen Sie sich vor, man teilt die 8 Buchstaben in zwei Gruppen zu je 4 auf. Das Modell rät die erste Gruppe und die zweite Gruppe gleichzeitig, aber sie sind durch einen „Teamleiter“ (eine verborgene Variable) verbunden, der sicherstellt, dass sie sich auf das übergeordnete Thema einigen.
- Warum es großartig ist: Es erreicht die Intelligenz der „Kettenreaktion“, aber die Geschwindigkeit des „Zufallsratens“, weil es zwei Dinge gleichzeitig tut.

3. Das Sicherheitsnetz: „Speculative Decoding“

Sie könnten sich nun fragen: „Wenn die KI einen ganzen Block auf einmal rät, was ist, wenn sie falsch liegt?“

Das Paper verwendet eine Technik namens Speculative Decoding.

Die Analogie: Stellen Sie sich einen schnellen Läufer (das Draft-Modell) und einen langsamen, ultrapräzisen Richter (den Verifier) vor.
1. Der schnelle Läufer sprintet voraus und rät die nächsten 8 Buchstaben.
2. Der langsame Richter überprüft sie einzeln.
3. Wenn der Richter mit der Vermutung des Läufers übereinstimmt, großartig! Wir behalten diese Buchstaben.
4. Wenn der Richter nicht zustimmt, stoppen wir genau an dieser Stelle, verwerfen die schlechten Vermutungen und behalten nur die Buchstaben, die der Richter genehmigt hat.

Da das Draft-Modell (MTPC) dank des BTree-Schaltkreises so gut darin ist, wie Buchstaben zusammenhängen zu verstehen, stimmt der Richter viel häufiger mit dem Läufer überein als zuvor. Das bedeutet, dass wir mehr der schnellen Vermutungen behalten können, was den gesamten Prozess beschleunigt.

4. Die Ergebnisse: Beschleunigung, ohne etwas kaputt zu machen

Die Autoren testeten dies an zwei spezifischen KI-Modellen:

EvaByte: Ein Modell, das bereits in Bytes schreibt.
Llama 3.2 3B (Byte): Ein populäres Modell, das in Bytes umgewandelt wurde.

Die Erkenntnisse:

Massive Beschleunigung: Im Vergleich zur alten Methode „einen Buchstaben nach dem anderen“ machte MTPC EvaByte 5,15-mal schneller und Llama 2,24-mal schneller.
Besser als der „Unabhängigkeits“-Trick: Selbst im Vergleich zu anderen schnellen Methoden, die Buchstaben lediglich unabhängig voneinander raten, war MTPC 1,17-mal schneller.
Kein Qualitätsverlust: Entscheidend ist, dass das Endergebnis durch das „Sicherheitsnetz“ (Speculative Decoding) exakt dieselbe Qualität aufweist, als hätte die KI es einen Buchstaben nach dem anderen geschrieben. Man opfert also keine Genauigkeit für Geschwindigkeit.

Zusammenfassung

Das Paper präsentiert einen neuen Weg, die KI-Textgenerierung schneller zu machen, indem es der KI beibringt, Textblöcke als eine verbundene Gruppe statt als isolierte Buchstaben zu raten. Durch die Verwendung einer smarten „Binärbaum“-Struktur (BTree), um diese Vermutungen zu organisieren, und eines „Richters“, der sie überprüft, erreichten sie einen massiven Geschwindigkeitsvorteil (bis zu 5-fach), während sie garantieren, dass der Text perfekt bleibt. Es ist, als würde man einem Tipper beibringen, ganze Wörter auf einmal zu tippen, aber mit einem Sicherheitsnetz, das Tippfehler sofort abfängt.

Technisches Resümee: Schnelle und expressive Multi-Byte-Prädiktion mit probabilistischen Kreisen

Problemstellung

Autoregressive (AR) Large Language Models (LLMs) generieren Text Token für Token, was hohe Latenz- und Energiekosten verursacht. Dieser Flaschenhals ist besonders gravierend bei Byte-Level LLMs, die zwar keine Tokenizer besitzen, aber im Vergleich zu Subword-Modellen deutlich mehr Dekodierungsschritte benötigen, um die gleiche Textlänge zu generieren. Während Multi-Token Prediction (MTP) eine Lösung bietet, indem sie ein Fenster zukünftiger Tokens gleichzeitig vorhersagt, stehen bestehende Ansätze vor einem kritischen Kompromiss zwischen Expressivität und Effizienz:

Unabhängigkeitsannahmen: Viele aktuelle MTP-Methoden nehmen an, dass zukünftige Tokens unabhängig sind (Fully Factorised, FF). Dies ist zwar effizient, opfert jedoch die Expressivität, was zu „Byte-Salat“-Fortsetzungen führt (z. B. unsinnige Kombinationen valider Bytes) und schlechte Akzeptanzraten während des spekulativen Dekodierens zur Folge hat.
Flache autoregressive Heads: Alternative Methoden (z. B. Hydra, EAGLE) behalten die autoregressive Generierung innerhalb des Vorhersagefensters bei. Obwohl diese expressiver sind, ähneln sie eher einer beschleunigten AR-Dekodierung als einer echten gemeinsamen MTP und legen die Abhängigkeitsstruktur nicht als wählbare Modellierungsoption offen.
Latenz vs. Expressivität: Es mangelt an einem systematischen Framework, um das Spektrum zwischen voll faktorisierten Modellen und komplexen gemeinsamen Verteilungen zu navigieren, ohne prohibitive Latenzen zu verursachen.

Methodik: MTPC-Framework

Die Autoren schlagen MTPC (Multi-Token Prediction Circuits) vor, ein Framework, das Probabilistic Circuits (PCs) nutzt, um die gemeinsame Verteilung über zukünftige Tokens zu parametrisieren. MTPC behandelt die gemeinsame Verteilung als einen berechenbaren Graphen, der hierarchische Mischmodelle kodiert, was eine systematische Exploration architektonischer Varianten ermöglicht.

Kernkomponenten

Probabilistische Kreis-Architekturen: MTPC generalisiert bestehende Methoden und führt neue Strukturen ein, um Abhängigkeiten zwischen zukünftigen Bytes zu modellieren:
- MTPC-FF: Ein voll faktorisiertes Modell (äquivalent zu Standard-unabhängigem MTP), dargestellt als Produkt von Input-Units.
- MTPC-CP: Eine Canonical Polyadic (CP) Dekomposition, die eine diskrete latente Variable einführt, um eine Mischung aus faktorisierten Komponenten zu erzeugen und so einige Abhängigkeiten wiederherzustellen.
- MTPC-HMM: Eine Hidden Markov Model Parametrisierung unter Verwendung einer Sequenz von latenten Variablen, um entfernte Abhängigkeiten über zeitabhängige Übergangsmatrizen zu erfassen.
- MTPC-BTree: Eine neuartige Binärbaum-Faktorisierung, die eine Hierarchie von latenten Variablen kodiert. Diese Struktur ermöglicht das parallele Sampling von Tokens und latenten Variablen, wodurch die Asymmetrie und Latenzprobleme von HMMs adressiert werden.
Parametrisierung mit LLMs:
- Das Framework verwendet ein LLM-Backbone (mit optionalen LoRA-Adaptern), um kontextuelle Merkmale aus der Eingabegeschichte zu extrahieren.
- Ein neuronales Netzwerk-Head bildet diese Merkmale auf die Parameter des PC ab (Input-Unit-Verteilungen und Sum-Unit-Gewichte), wodurch ein neuronaler konditionaler Kreis entsteht.
- Dies ermöglicht es dem Modell, sich von spezifischen Kreisstrukturen (FF, CP, Hм, BTree) zu abstrahieren und sich statisch auf das Lernen der tensorisierten Parameter zu konzentrieren.
Integration des spekulativen Dekodierens:
- MTPC nutzt Self-Speculative Decoding, wobei das Draft-Modell (MTPC-Head) und der Verifizierer (AR-LLM) dasselbe Backbone teilen.
- Das Draft-Modell sampelt ein Fenster von Tokens parallel aus dem PC.
- Der Verifizierer akzeptiert oder verwirft diese Tokens parallel.
- Garantien: Das Framework garantiert, dass Greedy-Dekodierung identische Ergebnisse wie das Ziel-AR-LLM liefert und das Sampling in der Erwartung dem Ziel entspricht, wodurch die Generationsqualität nicht beeinträchtigt wird.
Trade-off-Dimensionen:
- Kreis-Architektur: Die Wahl zwischen FF, CP, HMM oder BTree, um die Balance zwischen Abhängigkeitsmodellierung und Rechenkosten zu finden.
- Layer-Sharing: Anpassung der Anzahl der LoRA-Layer im Draft-Modell (0 bis 4 Layer), um die Divergenz zwischen Draft- und Verifizierer-Repräsentationen zu steuern und so den Expressivitäts-Latenz-Kompromiss weiter zu optimieren.

Wichtigste Beiträge

MTPC-Framework: Einführung eines schnellen MTP-Frameworks basierend auf Probabilistic Circuits, das Unabhängigkeitsannahmen lockert und Tensor-Dekompositionsmethoden (wie CP) in ein einheitliches PC-Framework generalisiert.
Systematische Trade-off-Analyse: Rigorose Identifizierung der Wechselwirkungen zwischen akzeptierten Tokens (Expressivität) und Generationslatenz. Das Paper zeigt, dass der optimale Durchsatz nicht immer durch das expressivste Modell (z. B. HMM) erreicht wird, sondern durch Architekturen wie BTree, die eine bessere Parallelisierung bieten.
Empirische Validierung: Anwendung von MTPC auf zwei Byte-Level LLMs:
- EvaByte (6.5B): Ein Byte-Level Modell, das bereits mit MTP-Fähigkeiten vortrainiert wurde.
- Llama 3.2 3B (Byte): Eine „Byte-fizierte“ Version eines populären Subword-Modells, das nicht für MTP vortrainiert wurde.

Experimentelle Ergebnisse

Die Autoren evaluierten MTPC auf NVIDIA L40S und RTX 3090 GPUs unter Verwendung des Tulu 3 Datensatzes.

Durchsatzgewinne:
- EvaByte: MTPC erreichte eine 5,15× Beschleunigung gegenüber der Standard-AR-Generierung und eine 1,17× Beschleunigung gegenüber MTP mit Unabhängigkeitsannahmen (FF).
- Llama 3.2 3B: MTPC erreichte eine 2,24× Beschleunigung gegenüber AR-Generierung und eine 1,17× Beschleunigung gegenüber FF MTP.
Architektur-Performance:
- BTree vs. HMM: Während HMMs hohe Akzeptanzraten erzielten, führte ihre autoregressive Natur zu hoher Latenz, was in einem geringeren Gesamtdurchsatz resultierte. BTree-Architekturen fanden das optimale Gleichgewicht, ermöglichten paralleles Sampling und erzielten den höchsten Durchsatz, insbesondere bei größeren Fenstern ( $n=16$ ).
- LoRA-Layer: Das Hinzufügen von LoRA-Adaptern zum Draft-Modell erhöhte die Expressivität (akzeptierte Tokens), steigerte aber auch die Latenz. Die optimale Konfiguration variierte je nach Modell: 1 LoRA-Layer war optimal für EvaByte, während 2 LoRA-Layer Llama zugutekamen.
Fenstergröße: Die Erweiterung des Vorhersagefensters auf $n=16$ steigerte den Durchsatz für expressive Kreise (HMM, BTree) signifikant im Vergleich zu $n=8$ , insbesondere in Kombination mit LoRA-Adaptern.

Bedeutung und Ansprüche

Das Paper behauptet, dass MTPC eine systematische Möglichkeit bietet, das Spektrum der MTP-Architekturvarianten zu navigieren, und damit über die binäre Entscheidung zwischen unabhängiger Prädiktion und flachen autoregressiven Heads hinausgeht. Durch die Nutzung von Probabilistic Circuits ermöglicht das Framework Forschern, inter-token Abhängigkeiten explizit zu modellieren und dabei die Berechenbarkeit beizubehalten.

Die Autoren betonen, dass diese Durchsatzgewinne ohne Einbußen bei der Generationsqualität erzielt werden, da der spekulative Dekodierungsprozess die Übereinstimmung mit dem Ziel-AR-LLM garantiert. Die Arbeit legt nahe, dass Byte-Level LLMs, die oft durch den Rechenaufwand behindert werden, durch solche effizienten Multi-Byte-Prädiktionsstrategien massentauglich werden können. Das Framework wird als flexibles Werkzeug zur Optimierung der Effizienz der nächsten Generation von Byte-Level-Modellen präsentiert; der Code und die Modelle werden öffentlich zugänglich gemacht.