💬 NLP

TokenTiming: A Dynamic Alignment Method for Universal Speculative Decoding Model Pairs

TokenTiming ist eine universelle Methode für spekulatives Decodieren, die Dynamic Time Warping nutzt, um inkongruente Entwurfs- und Zielmodelle mit unterschiedlichen Vokabularen abzugleichen, und damit eine effiziente Beschleunigung der LLM-Inferenz ohne erneutes Training der Modelle ermöglicht.

Ursprüngliche Autoren: Sibo Xiao, Jinyuan Fu, Zhongle Xie, Lidan Shou

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sibo Xiao, Jinyuan Fu, Zhongle Xie, Lidan Shou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Zwei Personen, die verschiedene Dialekte sprechen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber langsamen Lehrer (das Zielmodell), der Aufsätze schreibt. Sie haben auch einen schnellen, energiegeladenen Schüler (das Entwurfsmodell), der versucht zu erraten, was der Lehrer als Nächstes schreiben wird.

In der Welt der KI gibt es eine Technik namens Spekulatives Decodieren. Sie funktioniert so:

Der Schüler errät schnell die nächsten paar Wörter.
Der Lehrer überprüft diese Vermutungen.
Wenn der Lehrer zustimmt, akzeptieren sie alle Wörter auf einmal (super schnell!).
Wenn der Lehrer nicht zustimmt, lehnt er die Vermutung ab und schreibt das korrekte Wort selbst.

Der Haken: Damit dies funktioniert, müssen Schüler und Lehrer exakt dieselbe Sprache sprechen. Sie müssen exakt dasselbe Wörterbuch verwenden. Wenn der Schüler „Scal-ing" (zwei Wörter) sagt und der Lehrer nur „Scaling" (ein Wort) kennt, bricht das System zusammen. Der Lehrer kann die Arbeit des Schülers nicht überprüfen, weil sie unterschiedliche Teile des Puzzles betrachten.

Derzeit müssen Sie, um dies zu beheben, den Schüler neu trainieren, damit er das spezifische Wörterbuch des Lehrers lernt. Das ist so, als würde man einen Französischsprecher zwingen, Englisch neu zu lernen, nur um ein Spiel mit einem Englischsprecher zu spielen. Es ist langsam, teuer und beschränkt Sie darauf, nur Schüler zu verwenden, die bereits diesen spezifischen Dialekt sprechen.

Die Lösung: TokenTiming (Der universelle Übersetzer)

Die Autoren dieses Papiers schlagen eine neue Methode namens TokenTiming vor. Anstatt den Schüler zu zwingen, das Wörterbuch neu zu lernen, haben sie einen intelligenten „Übersetzer" gebaut, der in Echtzeit arbeitet.

So funktioniert es, anhand einer Analogie zur Ausrichtung zweier verschiedener Filmsubtitel:

1. Der „Re-encoding"-Trick

Stellen Sie sich vor, der Schüler schreibt einen Satz: „Scal-ing law".
Das Wörterbuch des Lehrers sieht dies als: „Scaling" und „law".
Das System nimmt die Wörter des Schülers, wandelt sie zurück in reinen Text („Scaling law") um und zerschneidet sie dann sofort erneut unter Verwendung des Wörterbuchs des Lehrers. Jetzt betrachten beide Seiten denselben Text, nur in unterschiedlich großen Häppchen zerlegt.

2. Die „Dynamic Time Warping" (DTW)

Das ist die magische Zutat. Die Autoren haben einen Algorithmus aus der Musik- und Sprachanalyse namens Dynamic Time Warping (DTW) übernommen.

Die Analogie: Stellen Sie sich vor, Sie haben zwei Aufnahmen desselben Songs. Eine wird von einem schnellen Schlagzeuger gespielt, die andere von einem langsamen. Obwohl die Schläge nicht perfekt übereinstimmen (ein Schlag gegen zwei Schläge), können Sie dennoch den „Refrain" des schnellen Songs mit dem „Refrain" des langsamen Songs abgleichen.
Im Papier: Der Algorithmus zeichnet eine Karte zwischen den Häppchen des Schülers und den Häppchen des Lehrers. Er stellt fest, dass das „Scal" + „ing" des Schülers dem „Scaling" des Lehrers entspricht. Es entsteht eine flexible, viele-zu-viele-Karte.

3. Der „Probability Handoff"

Sobald die Karte gezeichnet ist, übernimmt das System das Vertrauen des Schülers (z. B. „Ich bin zu 90 % sicher, dass als Nächstes 'Scaling' kommt") und überträgt es auf die Version des Lehrers. Der Lehrer prüft dann: „Stimmt meine Rechnung damit überein?" Wenn ja, werden die Wörter akzeptiert. Wenn nein, korrigiert sich das System selbst.

Warum das eine große Sache ist

Das Papier behauptet drei Hauptvorteile:

Kein Neutrainieren mehr: Sie können nun jedes kleine, schnelle Modell als Schüler für jeden großen, langsamen Lehrer verwenden, selbst wenn sie völlig unterschiedliche Wörterbücher haben. Es ist „Plug-and-Play".
Geschwindigkeit: In ihren Tests machte diese Methode die KI 1,57-mal schneller als die Standardmethode zum Schreiben von Text. Sie schlug bisherige Methoden, die dieses Problem zu lösen versuchten (wie TLI), weil diese Methoden zu starr waren und Informationen verworfen, wenn die Wörterbücher nicht perfekt übereinstimmten.
Vielseitigkeit: Sie testeten dies bei Mathematik, Programmieren, Übersetzung und Zusammenfassung. Es funktionierte überall gut, selbst wenn der „Schüler" winzig war (68 Millionen Parameter) und der „Lehrer" riesig (70 Milliarden Parameter).

Das Fazit

TokenTiming ist wie ein universeller Adapter für KI. Früher benötigten Sie einen spezifischen Stecker, der in eine spezifische Buchse passte. Jetzt haben Sie einen intelligenten Adapter, der den Stecker sofort so formt, dass er in jede Buchse passt. Dies ermöglicht es uns, die schnellsten, kleinsten KI-Modelle zu verwenden, um die größten, klügsten zu beschleunigen, ohne sie von Grund auf neu aufbauen zu müssen.

Was das Papier nicht behauptet:

Es wird nicht behauptet, dass dies die KI intelligenter macht (die Qualität des Schreibens bleibt dieselbe wie beim Lehrer).
Es wird nicht behauptet, dass dies für medizinische Diagnosen oder klinische Anwendungen funktioniert (es geht rein darum, die Textgenerierung schneller zu machen).
Es wird nicht behauptet, dass dies alle Fehler eliminiert; es macht lediglich den Prozess des Überprüfens von Vermutungen viel flexibler.

Technische Zusammenfassung: TokenTiming

Problemstellung

Speculative Decoding (SD) ist eine herausragende Technik zur Beschleunigung der Inferenz von Large Language Models (LLMs), bei der ein kleineres „Draft"-Modell verwendet wird, um Token vorzuschlagen, die von einem größeren „Target"-Modell verifiziert werden. Allerdings sehen sich aktuelle SD-Methoden einer grundlegenden Einschränkung gegenüber: Das Draft- und das Target-Modell müssen ein identisches Vokabular teilen ( $V_d = V_t$ ). Diese Anforderung schränkt die Auswahl verfügbarer Draft-Modelle erheblich ein und erfordert häufig das Training neuer Draft-Modelle von Grund auf oder die Nutzung spezifischer Modellfamilien, bei denen kleine Varianten für eine effiziente Beschleunigung immer noch zu groß sind.

Bestehende Versuche, „heterogene Vokabulare" (wo $V_d \neq V_t$ ) zu adressieren, haben nur begrenzten Erfolg gezeigt. Methoden wie Token-Level Intersection (TLI) verlassen sich auf den Schnitt der Vokabulare und verwerfen Wahrscheinlichkeitsmasse für Out-of-Vocabulary-Token, was die Verlustfreiheit des Dekodierungsprozesses verletzt. Andere Ansätze, wie String-level Exact Match (SLEM), können kein probabilistisches Sampling durchführen. Folglich fehlt ein universelles, verlustfreies SD-Framework, das jedes verfügbare Draft-Modell ohne Nachtraining nutzen kann.

Methodik: TokenTiming

Die Autoren schlagen TokenTiming vor, eine dynamische Alignierungsmethode, die verlustfreies Speculative Decoding über heterogene Vokabulare hinweg ermöglicht, ohne das Target- oder Draft-Modell zu modifizieren. Die Kerninnovation ist der Dynamic Token Warping (DTW)-Algorithmus, adaptiert aus dem Dynamic Time Warping (DTW) in der Zeitreihenanalyse.

Die TokenTiming-Pipeline funktioniert wie folgt:

Re-Tokenisierung (String-Level-Brücke):
Zu jedem Dekodierungsschritt generiert das Draft-Modell eine Sequenz von Token $D = (d_1, \dots, d_k)$ . Anstatt diese direkt mit dem Target-Vokabular zu vergleichen, entschlüsselt TokenTiming $D$ zunächst in eine Zwischenstring-Repräsentation $S$ unter Verwendung des Draft-Tokenizers. Dieser String wird dann erneut mit dem Target-Tokenizer kodiert, um eine „Proxy-Target-Token-Sequenz" $T = (t_1, \dots, t_m)$ zu erzeugen. Dieser Schritt stellt sicher, dass der zugrundeliegende Zeichenstrom identisch ist, und überbrückt die Lücke zwischen verschiedenen Tokenisierungsgranularitäten.
Dynamic Token Warping (DTW)-Alignierung:
Da die Anzahl der Draft-Token ( $k$ ) und der Proxy-Target-Token ( $m$ ) aufgrund von Tokenizer-Unterschieden oft unterschiedlich ist, ist eine einfache Eins-zu-Eins-Zuordnung unmöglich. TokenTiming setzt DTW ein, um einen optimalen Viele-zu-Viele-Alignierungspfad $\pi^*$ zwischen $D$ und $T$ zu konstruieren.
- Distanzmetrik: Der Algorithmus verwendet die Levenshtein-Distanz (Bearbeitungsdistanz), um die Dissimilarität zwischen Token zu messen.
- Einschränkungen: Um die Recheneffizienz zu gewährleisten, wird eine Sakoe-Chiba-Band-Einschränkung angewendet, die den Suchraum auf einen diagonalen Streifen der Breite $w$ begrenzt. Dies reduziert die Komplexität von $O(k \cdot m)$ auf $O(w \cdot \max(k, m))$ .
- Ausgabe: Das Ergebnis ist eine Abbildung $\pi^*$ , die Draft-Token an Proxy-Target-Token ausrichtet und Fälle behandelt, in denen ein Draft-Token auf mehrere Target-Token abgebildet wird (z. B. „Scaling" $\to$ „Scale", „ing") oder umgekehrt.
Wahrscheinlichkeitstransfer und Verifizierung:
Unter Verwendung des Alignierungspfads $\pi^*$ wird die Wahrscheinlichkeitsverteilung des Draft-Modells auf das Target-Vokabular übertragen.
- Viele-zu-Eins: Wenn mehrere Draft-Token auf ein einzelnes Target-Token abgebildet werden, wird die Wahrscheinlichkeit des terminalen Draft-Token dem Target-Token zugewiesen.
- Eins-zu-Viele: Wenn ein Draft-Token auf mehrere Target-Token abgebildet wird, wird die Wahrscheinlichkeit des Draft-Token auf alle entsprechenden Target-Token kopiert.
  Das Target-Modell verifiziert dann die Proxy-Sequenz $T$ parallel. Token werden basierend auf dem Standardkriterium für spekulatives Sampling akzeptiert: $r < \min(1, q(t_j)/p(t_j))$ , wobei $q$ die Target-Wahrscheinlichkeit und $p$ die übertragene Draft-Wahrscheinlichkeit ist. Dies garantiert, dass die endgültige Ausgabeverteilung identisch mit der Verteilung des Target-Modells bleibt (verlustfrei).

Hauptbeiträge

Universelle Kompatibilität: TokenTiming entfernt die Einschränkung des geteilten Vokabulars und ermöglicht es, jedes verfügbare Draft-Modell (unabhängig von Architektur oder Tokenizer) ohne Nachtraining oder Modellmodifikation in ein Target-Modell einzubinden.
Verlustfreie Beschleunigung: Durch die Konstruktion einer intakten Token-Abbildung via DTW stellt die Methode sicher, dass das spekulativen Sampling verlustfrei bleibt und die Integrität der Ausgabeverteilung des Target-Modells auch bei nicht übereinstimmenden Vokabularen bewahrt wird.
Dynamische Alignierung: Die Methode arbeitet während jedes Dekodierungsschritts on-the-fly und handhabt variable Tokenanzahlen und Granularitäten dynamisch durch den DTW-Mechanismus.

Experimentelle Ergebnisse

Die Autoren evaluierten TokenTiming auf einer Vielzahl von Aufgaben (Zusammenfassung, Übersetzung, Code-Generierung, Mathematik und QA) unter Verwendung verschiedener Modellpaare, darunter Target-Modelle mit 7B bis 70B Parametern und Draft-Modelle im Bereich von 68M bis 350M Parametern.

Beschleunigungsleistung: TokenTiming erreichte über verschiedene Aufgaben hinweg eine Beschleunigung von bis zu 1,57-fach gegenüber autoregressiven Baselines. Beispielsweise wurde mit dem Qwen3-32B-Target und einem Qwen3-0.6B-Draft eine 1,57-fache Beschleunigung erzielt, was die TLI-Baseline (1,21-fach) deutlich übertraf.
Vergleich mit SOTA: Bei 7B- und 33B-Target-Modellen verringerte TokenTiming die Leistungslücke zu State-of-the-Art (SOTA)-Methoden mit homogenen Vokabularen wie EAGLE-3. Insbesondere bei einem 33B-Target erreichte TokenTiming eine 2,27-fache Beschleunigung und übertraf damit Medusa (1,71-fach) und EAGLE-1 (2,21-fach), während gleichzeitig die Flexibilität der Nutzung heterogener Drafts erhalten blieb.
Aufgabenrobustheit: Die Methode übertraf TLI konsistent in allen fünf bewerteten Aufgabenkategorien. Bei Mathematik- und Zusammenfassungsaufgaben war die Beschleunigung besonders ausgeprägt (z. B. 2,53-fach bei Mathematikaufgaben).
Overhead: Der durch die DTW-Alignierung und Re-Tokenisierung eingeführte Rechenaufwand ist vernachlässigbar und macht nur 0,1 % bis 0,5 % der gesamten Laufzeit aus, da die Blockierungszeit pro Dekodierungszyklus bei etwa 663 µs liegt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass TokenTiming einen bedeutenden Schritt darstellt, um Speculative Decoding zu einem vielseitigen und praktischen Werkzeug für die LLM-Beschleunigung zu machen. Durch die Beseitigung des grundlegenden Engpasses der Vokabular-Mismatch ermöglicht es einen „universellen Ansatz für die Auswahl von Draft-Modellen". Dies erlaubt Praktikern, eine Vielzahl bestehender, kleiner, heterogener Modelle als Drafts zu nutzen, ohne die Kosten und die Starrheit des Trainings neuer Draft-Köpfe oder des Nachtrainings von Modellen für spezifische Target-Vokabulare in Kauf nehmen zu müssen. Die Arbeit zeigt, dass hochgeschwindige Inferenz mit „Plug-and-Play"-Kompatibilität erreicht werden kann und die Lücke zwischen der theoretischen Effizienz von SD und den praktischen Einschränkungen diverser Modell-Ökosysteme überbrückt wird.