💬 NLP

LogitSpec: Accelerating Retrieval-based Speculative Decoding via Next Next Token Speculation

LogitSpec ist eine trainingsfreie, Plug-and-Play-Methodik für spekulatives Decodieren auf Basis von Retrieval, die die Inferenz von LLMs beschleunigt, indem sie die Logits des letzten Tokens nutzt, um das „nächste-nächste" Token zu spekulieren, wodurch der Retrieval-Bereich erweitert wird, um eine bis zu 2,61-fache Beschleunigung und höhere Token-Akzeptanzraten zu erreichen.

Ursprüngliche Autoren: Tianyu Liu, Qitan Lv, Hao Li, Xing Gao, Xiao Sun, Xiaoyan Sun

Veröffentlicht 2026-04-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tianyu Liu, Qitan Lv, Hao Li, Xing Gao, Xiao Sun, Xiaoyan Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch (das Large Language Model oder LLM), der versucht, ein komplexes Rezept zu schreiben. Der alte Weg, dies zu tun, ist sehr langsam: Sie denken an ein Wort, schreiben es auf, warten, bis der Computer überprüft, ob es korrekt ist, denken dann an das nächste Wort und so weiter. Es ist wie ein Brief zu schreiben, Buchstabe für Buchstabe, wobei man nach jedem einzelnen Buchstaben auf einen Stempel der Genehmigung wartet.

Speculative Decoding ist eine neue Methode, um dies zu beschleunigen. Anstatt ein Wort nach dem anderen zu schreiben, stellen Sie einen Sous-Chef (ein Draft-Modell) ein, der für Sie die nächsten paar Wörter errät. Sie überprüfen dann schnell, ob der Sous-Chef richtig lag. Wenn ja, akzeptieren Sie alle diese Wörter auf einmal. Wenn er falsch lag, werfen Sie nur die falschen Vermutungen weg und versuchen es erneut. Dies spart viel Zeit.

Das Einstellen eines Sous-Chefs hat jedoch Probleme:

Sie müssen ihn speziell für Ihre Küche ausbilden (teuer und schwierig).
Er nimmt zusätzlichen Platz in Ihrer Küche ein (Speicher).
Wenn Sie Ihr Hauptrezept ändern, müssen Sie den Sous-Chef neu ausbilden.

Das Problem mit „Retrieval" (Der Bibliotheksansatz)

Einige Forscher versuchten, dies zu lösen, indem sie den Sous-Chef feuerten und stattdessen eine Bibliothek nutzten. Anstatt dass eine Person rät, sucht der Computer in einer riesigen Datenbank vergangener Rezepte nach einem passenden Ausdruck, basierend auf dem, was Sie bereits geschrieben haben.

Der Fehler: Dies ist wie der Versuch, das nächste Wort in einem Satz zu finden, indem man sich nur das unmittelbar vorherige Wort ansieht.

Ihr Satz: „Was ist die Fläche des..."
Die Vermutung der Bibliothek: Sie sieht „des" und denkt: „Oh, 'des' passt normalerweise zu 'Dreieck'!" (Weil sie einen früheren Satz fand: „Was ist die Fläche des Dreiecks?").
Die Realität: Sie wollten eigentlich sagen: „Was ist die Fläche des Kreises?" oder „Was ist die Fläche des Feldes?"
Ergebnis: Die Bibliothek bleibt beim falschen Wort hängen, weil sie nur den unmittelbaren Kontext betrachtet, nicht die gesamte Idee.

Die Lösung: LogitSpec (Der Koch mit der „Glaskugel")

Die Autoren dieses Papiers, LogitSpec, erkannten, dass der Hauptkoch (das LLM) tatsächlich eine versteckte Superkraft besitzt, die er nicht oft genug nutzt.

Wenn der Koch das nächste Wort vorhersagt, hat er auch ein „Gefühl" (mathematisch Logits genannt) darüber, was nach diesem nächsten Wort kommt. Obwohl der Koch nur das nächste Wort sagen soll, flüstert sein Gehirn bereits: „Und danach ist es wahrscheinlich 'Kreis'."

LogitSpec nutzt dieses Flüstern, um die Bibliothekssuche zu verbessern.

So funktioniert es, Schritt für Schritt, mit einer kreativen Analogie:

1. Der „Glaskugel"-Schritt

Anstatt nur das letzte Wort („des") zu betrachten, fragt LogitSpec den Koch: „Wenn Sie das Wort zwei Schritte voraus raten müssten, was wäre es?"

Der Koch betrachtet seine inneren „Gefühle" und sagt: „Ich wette, das Wort nach 'des' ist 'Kreis'."
Dies ist die Next-Next-Token-Spekulation.

2. Der „Super-Such"-Schritt

Jetzt sucht LogitSpec nicht mehr nur nach „des" in der Bibliothek, sondern nach der Phrase „des Kreis".

Alte Methode (Vanilla Retrieval): Sucht nach „des". Findet „des Dreiecks", „des Himmels", „des Hundes". (Falsch!)
LogitSpec-Methode: Sucht nach „des Kreis". Findet „des Freundeskreis", „des Lebenskreis", „des Feldkreises". (Viel genauer!)

3. Die Verifizierung

Der Computer nimmt diese besseren Vermutungen und überprüft sie gegen den Hauptkoch. Da die Vermutungen nun viel genauer sind, akzeptiert der Hauptkoch sie häufiger.

Warum ist das eine große Sache?

Kein zusätzliches Training: Sie müssen keinen neuen Sous-Chef einstellen oder ausbilden. Sie nutzen einfach die bestehenden „Gefühle" (Logits) des Hauptkochs, die bereits vorhanden waren.
Plug-and-Play: Es funktioniert mit jedem bestehenden Sprachmodell, ohne dass sein Code oder seine Gewichte geändert werden müssen.
Geschwindigkeit: In ihren Tests machte diese Methode den Computer 2,6-mal schneller beim Schreiben von Text. Es bedeutete auch, dass der Computer im Durchschnitt 3,28 Wörter auf einmal akzeptieren konnte, anstatt nur eines.

Das Fazit

Stellen Sie sich LogitSpec als einen Detektiv vor, der nicht nur den Tatort (das letzte Wort) betrachtet, um zu erraten, was als Nächstes passiert. Stattdessen nutzt der Detektiv eine psychische Ahnung (das Logit), um den nächsten Tatort zu erraten, und verwendet diese Ahnung, um die perfekten Beweise in der Bibliothek zu finden.

Indem das System zwei Schritte vorausblickt, hört es auf, sich durch ähnlich aussehende Wörter verwirren zu lassen, und findet die richtigen Wörter viel schneller, wodurch KI Text erheblich schneller schreibt, ohne dass zusätzliches Training oder teure Hardware erforderlich sind.

1. Problemstellung

Large Language Models (LLMs) leiden unter hoher Inferenz-Latenz aufgrund des auto-regressiven Dekodierens, bei dem pro Vorwärtsdurchlauf nur ein Token generiert wird. Speculative Decoding (SD) adressiert dieses Problem, indem ein kleines „Draft"-Modell verwendet wird, um mehrere Token vorzuschlagen, die vom Zielmodell parallel validiert werden.

Jedoch stehen bestehende SD-Ansätze vor zwei Hauptbeschränkungen:

Draft-Modell-basiertes SD: Erfordert das Training und den Einsatz eines zusätzlichen Draft-Modells (z. B. Medusa, Eagle). Dies führt zu erheblichem Speicher-Overhead, komplexen Herausforderungen beim Deployment und Trainingskosten.
Draft-Modell-freies (retrieval-basiertes) SD: Methoden wie REST oder PLD holen Draft-Token aus dem Kontext oder einer externen Datenbank ohne ein Draft-Modell. Allerdings verlassen sie sich auf ein Matching-Paradigma, das häufig versagt. Wenn der aktuelle Kontext keine exakte n-Gramm-Übereinstimmung in der Referenz hat, schlägt die Suche fehl, was zu niedrigen Akzeptanzraten führt. Wie im Papier gezeigt wird, scheitern Standard-Suchmethoden in manchen Szenarien in über 30 % der Dekodierschritte daran, passende Token zu finden.

Kernherausforderung: Wie lässt sich die Genauigkeit retrieval-basierten spekulativen Dekodierens verbessern, ohne ein zusätzliches Modell zu trainieren, insbesondere wenn exakte Kontextübereinstimmungen selten sind?

2. Methodik: LogitSpec

Die Autoren schlagen LogitSpec vor, ein trainingsfreies, Plug-and-Play-Framework, das retrieval-basiertes SD verbessert, indem es die Logits des letzten Tokens nutzt, um das Next-Next-Token ( $x_{i+2}$ ) zu spekulieren.

Zentrale Erkenntnis

Das Papier beobachtet empirisch, dass die Logit-Verteilung des aktuellen Tokens ( $x_i$ ) ausreichende Informationen enthält, um das Next-Next-Token ( $x_{i+2}$ ) mit hoher Genauigkeit vorherzusagen, selbst ohne Feinabstimmung. In über 50 % der Dekodierschritte erscheint das Ground-Truth-Next-Next-Token innerhalb der Top-60-Einträge der Logit-Verteilung des letzten Tokens.

Der LogitSpec-Ablauf

LogitSpec arbeitet pro Dekodierschritt in zwei Hauptphasen:

Spekulation & Erweiterung der Suche:
- Schritt 1 (Nächstes Token): Das Modell sagt das nächste Token ( $x_{i+1}$ ) normal voraus.
- Schritt 2 (Next-Next-Spekulation): Anstatt zu stoppen, nimmt LogitSpec die Top- $k$ -Einträge aus dem letzten Logit (unter Ausschluss des vorhergesagten $x_{i+1}$ ) als Kandidaten-Spekulationen für das Next-Next-Token ( $\hat{x}_{i+2}$ ).
- Schritt 3 (Duale Suche): Das System holt relevante Referenzen sowohl für das nächste Token ( $x_{i+1}$ $x_{i + 1}$ ) als auch für die spekulierten Next-Next-Token ( $\hat{x}_{i+2}$ $\overset{x}{^}_{i + 2}$ ) ab.
  - Query 1: $g^{(1)} = (x_{i-m+2}, \dots, x_i, x_{i+1})$
  - Query 2: $g^{(2)} = (x_{i-m+3}, \dots, x_i, x_{i+1}, \hat{x}_{i+2})$
- Dies erweitert effektiv den Suchraum der Suche. Selbst wenn die exakte Sequenz für $x_{i+1}$ nicht gefunden wird, könnte das Modell eine Übereinstimmung für die Sequenz $x_{i+1} + \hat{x}_{i+2}$ finden, was die Wahrscheinlichkeit, gültige Draft-Token zu finden, erheblich erhöht.
Konstruktion des Draft-Baums & Verifikation:
- Die abgerufenen Token werden in einem Draft-Baum organisiert, wobei $x_{i+1}$ die Wurzel ist und die Äste verschiedenen spekulierten Next-Next-Token entsprechen.
- Eine Tree-Attention-Maske wird angewendet, um die parallele Verifikation aller Äste durch das Zielmodell zu ermöglichen.
- Beschneidungsstrategie: Um die Rechenkosten zu kontrollieren, wird eine heuristische Beschneidungsstrategie basierend auf dem Rang des spekulierten Next-Next-Token angewendet. Spekulationen mit höherer Konfidenz (niedrigerer Rang) behalten mehr abgerufene Token bei, während solche mit niedrigerer Konfidenz weniger behalten.

3. Hauptbeiträge

Neuartige Beobachtung: Die Autoren zeigen, dass die Logits des letzten Tokens das Next-Next-Token über verschiedene Modelle (Vicuna, Llama, Qwen) und Aufgaben hinweg robust vorhersagen können, ohne Feinabstimmung.
LogitSpec-Framework: Eine neue retrieval-basierte SD-Methode, die die Spekulation des Next-Next-Token als Führungsanker nutzt, um den Suchbereich zu erweitern. Sie ist trainingsfrei und Plug-and-Play.
Leistungssteigerung: Umfangreiche Experimente zeigen, dass LogitSpec eine Beschleunigung von bis zu 2,61-fach und einen Durchschnitt von 3,28 akzeptierten Token pro Dekodierschritt erreicht und damit bestehende retrieval-basierte Baselines (REST, PLD, Lookahead) deutlich übertrifft.
Robustheit: Im Gegensatz zu anderen Suchmethoden, die in Kontexten mit geringer Wiederholung (z. B. Übersetzung oder komplexes Schlussfolgern) Schwierigkeiten haben, behält LogitSpec eine hohe Leistung bei, da der Spekulationsmechanismus den Mangel an exakten Kontextübereinstimmungen kompensiert.

4. Experimentelle Ergebnisse

Die Autoren bewerteten LogitSpec an diversen Benchmarks, darunter Spec-Bench (MT, Trans, Sum, QA, Math, RAG), HumanEval (Code), GSM8K (Math), MATH, AIME und LongBench.

Beschleunigung:
- Vicuna-7B: Erreichte eine 2,61-fache Beschleunigung auf CNN/DM und 2,47-fach auf HumanEval.
- Durchschnitt: Über alle Benchmarks hinweg erreichte LogitSpec eine durchschnittliche Beschleunigung von 2,26-fach (Vicuna-7B), verglichen mit ca. 1,33-fach für REST und ca. 1,78-fach für PLD.
Akzeptanzrate:
- Erreichte eine Mean Accepted Tokens (MAT) von 3,28 auf CNN/DM, verglichen mit 1,64 für REST.
- Auf LongBench (langkontextuell) erreichte es eine 2,01-fache Beschleunigung und demonstrierte damit Wirksamkeit selbst bei massiven Kontextfenstern.
Sucherfolg:
- Standard-Suchmethoden (PLD) scheiterten in >30 % der Schritte daran, Übereinstimmungen zu finden.
- LogitSpec erreichte eine erfolgreiche Suchrate von 97,76 % auf Spec-Bench, eine massive Verbesserung, die durch die Next-Next-Token-Führung getrieben wird.
Overhead:
- Der Suchprozess fügt einen vernachlässigbaren Overhead hinzu (~1,17 % der gesamten Wandzeit) aufgrund einer effizienten hash-basierten Implementierung.
- Die Methode ist mit bestehenden Frameworks kompatibel (z. B. Hugging Face Transformers) und erfordert keinen zusätzlichen GPU-Speicher für ein Draft-Modell.

5. Bedeutung und Auswirkung

Eliminierung von Trainingskosten: LogitSpec beseitigt die Notwendigkeit, ein separates Draft-Modell zu trainieren oder zu warten, was spekulatives Dekodieren sofort für jedes vortrainierte LLM zugänglich macht.
Lösung des „Cold Start"-Suchproblems: Indem es die eigene Vorhersagefähigkeit des Modells (Logits) nutzt, um die Suche zu leiten, überwindet es die grundlegende Einschränkung retrieval-basierter Methoden, die bei geringer Kontextwiederholung versagen.
Skalierbarkeit: Die Methode skaliert gut über verschiedene Modellgrößen (0,5B bis 70B) und Architekturen hinweg und beweist, dass das Signal des „Next-Next-Token" eine fundamentale Eigenschaft moderner LLMs ist.
Praktischer Einsatz: Als Plug-and-Play-Lösung kann es leicht in Produktions-Inferenz-Engines (wie vLLM) integriert werden, um den LLM-Service zu beschleunigen, ohne architektonische Änderungen oder Nachtraining.

Zusammenfassend stellt LogitSpec einen bedeutenden Schritt vorwärts in der effizienten LLM-Inferenz dar, indem es die internen Logits des Modells geschickt wiederverwendet, um die Suche zu verbessern und eine Leistung nahe der eines Draft-Modells ohne die damit verbundenen Kosten erreicht.