🤖 machine learning

Approximate Speculative Decoding

Dieses Paper stellt Approximate Speculative Decoding (ASD) vor, eine trainingsfreie Methode, die die autoregressive Generierung beschleunigt, indem sie Abweichungen der Draft-Token basierend auf einem Regret-Budget selektiv akzeptiert, um gültige Suffixe wiederzuverwenden, wodurch der Durchsatz verbessert wird, ohne dass neue Draft-Modelle oder Fine-Tuning erforderlich sind.

Ursprüngliche Autoren: Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang

Veröffentlicht 2026-08-05

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine Geschichte mit einem sehr klugen, aber unglaublich langsamen Freund zu schreiben. Jedes Mal, wenn Sie ein neues Wort zu Ihrer Geschichte hinzufügen wollen, müssen Sie darauf warten, dass Ihr Freund intensiv nachdenkt, seine gesamte Bibliothek des Wissens überprüft und Ihnen genau das nächste Wort nennt. So funktionieren moderne KI-Sprachmodelle: Sie generieren Text Wort für Wort, und der „Denkprozess“ nimmt den Großteil der Zeit in Anspruch, was den Prozess anfühlen lässt, als würde man beim Beobachten von Farbe beim Trocknen zusehen. Um dies zu beschleunigen, erfanden Wissenschaftler einen Trick namens „Speculative Decoding“. Denken Sie dabei an einen schnellen, juniorigen Assistenten, der für Sie die nächsten paar Wörter rät. Dann bitten Sie Ihren langsamen, Expertenfreund, kurz zu prüfen, ob diese Vermutungen richtig sind. Wenn der Experte zustimmt, können Sie mehrere Wörter auf einmal schreiben statt nur eines, was eine enorme Menge an Zeit spart.

Es gibt jedoch einen Haken: Der Expertenfreund ist ein Regelverfechter. Wenn der Assistent auch nur ein einziges Wort rät, das nicht die absolut perfekte Wahl wäre, die der Experte gewählt hätte, stoppt der Experte den gesamten Prozess sofort. Er wirft alle anderen Wörter weg, die der Assistent für diesen Durchgang geraten hat, selbst wenn die meisten davon eigentlich perfekt waren. Es ist wie ein Lehrer, der eine Prüfung bewertet und das Lesen sofort abbricht, sobald er einen einzigen Fehler sieht, und den Rest des Papiers in den Müll wirft. Diese „Alles-oder-Nichts“-Regel hält die Geschichte zwar perfekt, verschwendet aber einen Großteil der harten Arbeit des Assistenten und verlangsamt den Prozess.

Dieses Paper stellt eine neue Methode namens Approximate Speculative Decoding (ASD) vor, die wie ein klügerer, flexiblerer Lehrer fungiert. Anstatt die ganze Prüfung wegzuwerfen, nur weil es einen kleinen Fehler gibt, fragt ASD: „Ist dieser Fehler winzig? Und hat der Assistent die nächsten Wörter trotzdem richtig bekommen?“ Wenn die Antwort ja lautet, akzeptiert ASD den kleinen Fehler, behält die guten Wörter, die darauf folgten, und macht weiter. Es ist wie ein Lehrer, der sagt: „Du hast das Wort ‚weil‘ falsch geschrieben, aber die nächsten zehn Wörter perfekt buchstabiert, also lass uns einfach das eine Wort korrigieren und weitermachen.“ Die Forscher fanden heraus, dass sie durch eine etwas nachsichtigere Haltung gegenüber kleinen Fehlern die KI signifikant schneller machen konnten, ohne die Qualität der Geschichte zu ruinieren.

Die Geschichte des „budgetierten“ Assistenten

Der Kern der Idee hinter ASD besteht darin, jeden Fehler nicht mehr als Katastrophe zu behandeln. Auf dem alten Weg würde das System sofort stoppen, wenn Ihr Assistent ein Wort geraten hätte, das nicht die erste Wahl war. Aber die Autoren erkannten, dass die „falsche“ Vermutung des Assistenten manchmal tatsächlich sehr nah an der richtigen liegt und die darauf folgenden Wörter immer noch perfekt sind.

Um dies zu lösen, entwickelte das Team ein System mit einem Budget. Stellen Sie sich vor, Sie haben ein Glas voll mit „Fehler-Token“. Sie dürfen ein paar kleine Fehler machen, aber Sie müssen diese aus Ihrem Glas bezahlen.

Das lokale Tor (Local Gate): Bevor ein Fehler akzeptiert wird, prüft das System, wie „schlimm“ er ist. Wenn die Vermutung des Assistenten nur geringfügig weniger wahrscheinlich ist als das perfekte Wort, ist es ein billiger Fehler. Wenn es ein riesiger Fehler ist, kostet es zu viele Token, und das System sagt „Nein“.
Die Block-Obergrenze (Block Cap): Man kann nicht zu viele Fehler in einem einzigen Batch an Vermutungen machen. Dies verhindert, dass der Assistent auf einmal zu ungenau wird.
Das Anforderungsbudget (Request Budget): Dies ist das gesamte Glas an Token für die gesamte Konversation. Sobald die Token aufgebraucht sind, müssen Sie wieder perfekt sein (strikt den alten Regeln folgen) für den Rest der Geschichte.

Die Magie geschieht, wenn das System einen kleinen Fehler akzeptiert. Da die nächsten paar Vermutungen des Assistenten tatsächlich perfekt waren (sie stimmten mit dem überein, was der Experte gewählt hätte), kann das System diese „wiederverwenden“. Es muss den langsamen Experten nicht bitten, sie erneut zu prüfen. Es akzeptiert sie einfach und macht weiter. Dies verwandelt einen „Stopp und Wegwerfen“-Moment in einen „Korrigieren und Weitergehen“-Moment.

Was sie herausgefunden haben

Die Forscher testeten diese Idee mit sehr populären KI-Modellen (wie Qwen3 und DeepSeek) bei einer Vielzahl von Aufgaben, von der Lösung mathematischer Probleme bis hin zum Schreiben von Code. Sie mussten die Modelle nicht neu trainieren oder dem Assistenten etwas Neues beibringen; sie änderten lediglich die Art und Weise, wie der „Lehrer“ (der Verifizierer) die Arbeit bewertete.

Die Ergebnisse waren sehr vielversprechend. Durch die Verwendung dieses budgetierten Ansatzes wurde das System schneller, ohne dass zusätzliche Trainings erforderlich waren.

Bei einem Satz von sieben verschiedenen Aufgaben wurde das System im Durchschnitt 7,78 % schneller als die strikte, altmodische Methode.
In den besten Fällen, wie beim MATH-500-Datensatz, beschleunigte es sich um 11,73 %.
Als sie es auf ein massives Modell namens DeepSeek-V4-Flash testeten, sahen sie, dass die Akzeptanzraten (wie viele Vermutungen das System behielt) um etwa 10 % bis 16 % stiegen.

Das Paper weist vorsichtig darauf hin, dass dies kein Zauberstab ist, der alles perfekt macht. Die Autoren stellen explizit fest, dass diese Methode den Pfad ändert, den die KI nimmt, um zur Antwort zu gelangen. Manchmal könnte die Geschichte etwas anders verlaufen, oder der „Hash“ (ein digitaler Fingerabdruck des Textes) könnte sich ändern, selbst wenn die endgültige Antwort immer noch korrekt ist. Zum Beispiel sank bei einigen Coding-Tests die Genauigkeit leicht (um weniger als 1,5 Prozentpunkte), aber bei vielen anderen Aufgaben blieb die Genauigkeit exakt gleich oder verbesserte sich sogar leicht.

Warum das wichtig ist

Die Schönheit dieses Papers liegt darin, dass es nicht erfordert, eine neue, schnellere KI oder einen neuen Assistenten zu bauen. Es ändert nur die Regeln des Spiels für denjenigen, den Sie bereits haben. Es ist, als würde man erkennen, dass ein strenger Polizist den gesamten Stadtverkehr verlangsamt, weil er jedes Auto wegen jeder noch so kleinen Ordnungswidrigkeit anhält, während ein flexiblerer Ansatz den Verkehr fließen lassen würde – mit nur minimalen, kontrollierbaren Risiken.

Die Autoren legen nahe, dass diese Methode ein hervorragender Weg ist, um mehr Geschwindigkeit aus aktuellen KI-Systemen herauszuholen. Sie betonen, dass die Geschwindigkeitsgewinne real und messbar sind (bis zu 15,26 % in einigen Fällen), die Nutzer jedoch wissen müssen, dass sie ein kleines Stück strikter Perfektion gegen viel Geschwindigkeit eintauschen. Es ist ein kalkulierter Kompromiss: Sie bekommen Ihre Geschichte viel schneller geschrieben, und für die meisten Menschen werden die winzigen Unterschiede in der Wortwahl überhaupt nicht ins Gewicht fallen. Das Paper kommt zu dem Schluss, dass dieser „budgetierte“ Ansatz ein praktischer, trainingsfreier Weg ist, um die KI-Generierung schneller zu machen, vorausgesetzt, man überprüft die Ergebnisse, um sicherzustellen, dass die Qualität für die eigenen Bedürfnisse gut genug ist.

Technisches Resümee: Approximate Speculative Decoding (ASD)

Problemstellung

Autoregressive Large Language Models (LLMs) generieren Token sequenziell, was aufgrund der wiederholten Ausführungen eines großen Zielmodells einen signifikanten Inferenz-Engpass erzeugt. Speculative Decoding adressiert dies, indem es ein leichtgewichtiges „Drafter“-Modell verwendet, um einen Block zukünftiger Token vorzuschlagen, die dann vom Zielmodell parallel verifiziert werden.

Unter standardmäßiger Greedy-Verifikation ist der Prozess strikt binär: Der Verifizierer verpflichtet sich auf das längste Präfix der Draft-Token, das exakt mit den (Greedy-)Argmax-Token des Zielmodells übereinstimmt. Der Prozess stoppt beim ersten Mismatch, verwirft die verbleibenden Draft-Token und hängt ein einzelnes Target-Recovery-Token an. Dieser Ansatz weist zwei primäre Limitationen auf:

Inhärente binäre Trunkierung: Er behandelt ein Draft-Token mit einem nahezu identischen Target-Logit (geringer Regret) identisch wie ein stark benachteiligtes Token und stoppt sofort bei jeglichem Mismatch.
Verschwendete Komputation: Bei einer Teacher-Forced-Verifikationspassage hat das Zielmodell bereits nachfolgende Draft-Token unter Berücksichtigung des Präfixes bewertet (einschließlich des Mismatchs). Wenn ein früher Mismatch akzeptiert wird, kann ein zusammenhängender Suffix nachfolgender Draft-Token bereits „Target-Greedy“ unter diesem neuen realisierten Präfix sein. Die Standardverifikation verwirft diese wiederverwendbaren Token, was zusätzliche Forward-Passes des Zielmodells zur Wiederherstellung erfordert.

Die zentrale Herausforderung besteht darin, dass das Akzeptieren eines Nicht-Greedy-Tokens die Dekodierungs-Trajektorie verändert. Während dies das Wiederverwenden von Suffixen ermöglichen kann, handelt es sich nicht um eine verlustfreie Optimierung; eine unkontrollierte Akkumulation von Mismatches kann die Aufgabenqualität verschlechtern. Das Paper postuliert, dass das Ziel nicht darin besteht, Mismatches zu ignorieren, sondern eine begrenzte Anzahl expliziter Ausnahmen zuzulassen und gleichzeitig deren kumulative Größenordnung zu kontrollieren.

Methodik: Approximate Speculative Decoding (ASD)

ASD ist eine trainingsfreie Verifizierer-seitige Methode, die die Regel der „First-Mismatch-Truncation“ durch eine budgetierte Längstes-Präfix-Selektionsstrategie ersetzt. Es operiert ohne Modifikation des Drafter-Modells, erfordert kein Fine-Tuning und fügt keine zusätzlichen Forward-Passes des Zielmodells hinzu.

Kernmechanismen

Lokaler Target-Logit Regret:
Für ein Draft-Token $x_i$ und den Target-Argmax $y^*_i$ berechnet ASD den lokalen Regret $r_i = z_i(y^*_i) - z_i(x_i)$ , welcher die Präferenz des Targets für das korrekte Token gegenüber dem Draft-Token darstellt.
Drei-Schicht-Kontrollsystem:
ASD akzeptiert einen Mismatch nur, wenn dieser drei Bedingungen genügt, was die Selektion des längsten machbaren zusammenhängenden Präfixes ermöglicht:
- Lokales Regret-Gate ( $g$ ): Ein normalisiertes Gate $r_i / q_i \leq g$ (wobei $q_i$ die verbleibende Vorschlaglänge ist) filtert individuell kostspielige Mismatches und bevorzugt Ausnahmen, die proportional zur potenziellen Suffix-Wiederverwendung sind.
- Pro-Block Exception Cap ( $M$ ): Begrenzt die Anzahl der Ausnahmen innerhalb eines einzelnen Draft-Blocks, um eine Konzentration von Fehlern zu verhindern.
- Persistentes Request-Level Regret Budget ( $B$ ): Führt ein Kontobuch des kumulativen Regrets ( $s$ ) über den gesamten Request hinweg. Ein Präfix ist nur machbar, wenn der kumulative Regret $C_t \leq B - s$ erfüllt. Dies begrenzt die gesamte Abweichung über die Generierung.
Realized-Prefix Suffix Reuse:
Sobald ASD ein Präfix committet, das in einem akzeptierten Mismatch endet, werden nachfolgende Draft-Token wiederverwendet, die unter dem realisierten Verlauf (der Verlauf einschließlich des akzeptierten Mismatchs) weiterhin Target-Greedy bleiben. Diese Token werden ohne weitere approximative Entscheidungen oder zusätzliche Forward-Passes des Zielmodells committet.
Vektorisierte Implementierung:
Der Algorithmus konstruiert eine Machbarkeitsmaske für jede Position im Draft-Block basierend auf den Constraints. Die akzeptierte Länge ist das längste All-True-Präfix dieser Maske, das mittels kumulativer Summen und Produkte in $O(K)$ Zeit berechenbar ist. Wenn das Budget $B=0$ ist, stellt ASD exakt die standardmäßige strikte Greedy-Verifikation wieder her.

Zentrale Beiträge

Das Paper leistet drei primäre Beiträge:

Formulierung: Es formuliert die approximative Greedy-Verifikation als ein budgetiertes Längstes-Zusammenhängendes-Präfix-Selektionsproblem, unter Verwendung eines persistenten Request-Level-Ledgers, um für akzeptierte Draft-Target-Mismatches zu bilanzieren.
Identifikation des Mechanismus: Es identifiziert und formalisiert den Realized-Prefix Suffix Reuse und zeigt auf, dass nach einer akzeptierten Ausnahme ein zusammenhängender Target-Greedy-Suffix committet werden kann, ohne dass zusätzliche approximative Entscheidungen nötig sind, sofern die Caches konsistent aktualisiert werden.
Empirische Validierung: Es liefert experimentelle Evidenz dafür, dass dieser trainingsfreie Verifizierer den Durchsatz über verschiedene Modelle und Aufgaben hinweg signifikant verbessert, ohne die Proposalgeneierung zu verändern.

Experimentelle Ergebnisse

Die Experimente wurden auf Qwen3-8B/14B, Llama-3.1-8B und Qwen2.5-7B Zielmodellen durchgeführt, gepaart mit DSpark, EAGLE3 und Medusa Draftern auf Benchmarks wie GSM8K, MATH-500, HumanEval, MBPP, MMLU, MT-Bench und Alpaca.

Durchsatzgewinne: ASD verbessert den Durchsatz bei fester Arbeitslast um 3,05 % – 15,26 % gegenüber dem gematchten strikten Speculative Decoding.
- Auf Qwen3-14B + DSpark-14B beträgt der durchschnittliche Gewinn über sieben Aufgaben 7,78 %.
- Der höchste beobachtete Gewinn lag bei 15,26 % auf GSM8K mit Llama-3.1-8B + EAGLE3.
Genauigkeit-Trade-offs: Die Methode ist eine kontrollierte Approximation, keine ergebnis-erhaltende Optimierung.
- Auf der primären DSpark-14B Matrix zeigten fünf von sieben Aufgaben nicht-negative Genauigkeitsänderungen.
- Beobachtete Reduktionen der Genauigkeit waren gering (z. B. -0,61 Punkte auf HumanEval, -0,64 auf MT-Bench) und aufgabenspezifisch.
- Auf GSM8K und MATH-500 überstieg die Hash-Divergenz 95 %, was auf veränderte Trajektorien hindeutet, während die gemessene Genauigkeit stabil blieb oder sich verbesserte.
Skalierbarkeit: Die Gewinne bestehen über verschiedene Drafter-Familien (DSpark, EAGLE3, Medusa) und Zielmodelle hinweg, was darauf hindeutet, dass der Nutzen durch den Verifizierer-seitigen Mechanismus und nicht durch spezifische Proposal-Architekturen getrieben wird.
Kompatibilität mit großen Modellen: Auf DeepSeek-V4-Flash (284B) mit DSpark in einer FP4-zu-FP8 Kompatibilitätseinstellung steigerte ASD die Verifizierer-seitige Akzeptanz auf GSM8K und MATH-500 um etwa 10 % – 16 %.

Bedeutung und Ansprüche

Das Paper behauptet, dass ASD einen breit kompatiblen, trainingsfreien Pfad zu schnellerem Greedy Blockwise Speculative Decoding bietet. Seine Bedeutung liegt in:

Entkopplung von Verifikation und Proposal: Im Gegensatz zu bisheriger Arbeit, die sich auf die Verbesserung des Drafters konzentriert, optimiert ASD die Entscheidung des Verifizierers zur Verpflichtung, nachdem die Scoring-Phase abgeschlossen ist.
Explizite Kontrolle des Trade-offs: Durch die Einführung eines persistenten Regret-Budgets und lokaler Gates ermöglicht ASD den Nutzern, die Speed-Accuracy-Frontier explizit zu tunen und über die binäre „Alles-oder-Nichts“-Natur der strikten Verifikation hinauszugehen.
Systemeffizienz: Die Methode reduziert die Anzahl der teuren Target-Verifikationsrunden, indem sie Target-gescorete Suffixe wiederverwendet, und erzielt Durchsatzgewinne ohne zusätzliche Forward-Passes oder Modell-Retraining.

Die Autoren betonen, dass ASD den akkumulierten lokalen Regret begrenzt, aber keine identischen Outputs, semantische Erhaltung oder Aufgabenkorrektheit garantiert. Folglich plädieren sie für ein Deployment-Modell, bei dem die Verifizierer-Kontrollen auf disjunkten Daten eingefroren werden, gefolgt von einem natürlichen EOS-Task-Quality-Audit für jede spezifische Ziel-, Drafter- und Workload-Kombination.