🤖 machine learning

Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance

Dieses Paper führt Variational Speculative Decoding (VSD) ein, ein neuartiges Framework, das das Draft-Training als Variationale Inferenz reformuliert, um die Sequenzakzeptanz des Zielmodells zu maximieren, wodurch durch ein Expectation-Maximization-Verfahren mit adaptiver Gewichtung und Regularisierung signifikante Beschleunigungen der Inferenz gegenüber bestehenden Methoden erzielt werden, indem die Diskrepanz zwischen Training und Dekodierung aufgelöst wird.

Ursprüngliche Autoren: Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

Veröffentlicht 2026-08-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem superintelligenten Roboter beizubringen, eine Geschichte zu schreiben. Dieser Roboter, bekannt als Large Language Model (LLM), ist unglaublich talentiert, aber auch unglaublich langsam. Er arbeitet wie ein Mensch, der einen Satz Wort für Wort schreibt und nach jedem einzelnen Wort innehält, um über das nächste nachzudenken. Dieser „Stop-and-Think“-Prozess ist sicher und präzise, aber er lässt den Roboter wirken, als würde er sich durch Melasse wühlen.

Um die Geschwindigkeit zu erhöhen, haben Wissenschaftler einen cleveren Trick erfunden, der sich „Speculative Decoding“ nennt. Stellen Sie sich das wie ein Team aus zwei Personen vor: einem schnellen, energischen Junior-Assistenten (dem „Draft-Modell“) und einem weisen, langsamen Aufseher (dem „Target-Modell“). Der Junior-Assistent versucht, die nächsten Wörter der Geschichte sehr schnell zu erraten. Der Aufseher prüft dann diese Vermutungen. Wenn die Vermutungen richtig sind, akzeptiert der Roboter sie alle auf einmal und überspringt so die langsame „Denkzeit“. Wenn eine Vermutung falsch ist, korrigiert der Aufseher sie, und sie versuchen es erneut. Das Ziel ist es, den Junior-Assistenten dazu zu bringen, lange, korrekte Ketten von Wörtern zu erraten, damit der Aufseher sie in großen Chargen genehmigen kann, was den gesamten Prozess beschleunigt.

Es gibt jedoch einen Haken: Der Junior-Assistent wird normalerweise dadurch trainiert, dass man ihm den „perfekten“ Weg zeigt und ihn bittet, diesen einzelnen Pfad auswendig zu lernen. Aber im eigentlichen Spiel betrachtet der Aufseher nicht nur einen einzigen perfekten Pfad; er betrachtet einen ganzen Baum von Möglichkeiten und wählt die besten daraus aus. Es stellt sich heraus, dass das Training des Assistenten, nur einem einzigen geraden Pfad zu folgen, ihn schlecht darin macht, den richtigen Pfad zu erraten, wenn der Aufseher tatsächlich vor einem ganzen Wald von Optionen steht. Diese Diskrepanz zwischen der Art und Weise, wie der Assistent trainiert wird, und der Art und Weise, wie er tatsächlich spielt, hat diese Geschwindigkeit der KI-Roboter bisher gebremst.

Die große Idee des Papers: Ein neuer Weg, den Assistenten zu trainieren

In diesem Paper schlagen die Forscher eine neue Trainingsmethode namens Variational Speculative Decoding (VSD) vor. Sie erkannten, dass die alte Art, das Draft-Modell zu trainieren, so war, als würde man einen Rennfahrer lehren, nur auf einer einzigen, geraden Strecke zu fahren, während das eigentliche Rennen aus einem komplexen, gewundenen Kurs mit vielen möglichen Kurven besteht.

Das Problem mit der alten Methode
Die Autoren erklären, dass aktuelle Methoden das Draft-Modell darauf trainieren, „gierig“ zu sein. Das bedeutet, das Modell wird gelehrt, immer das am wahrscheinlichsten nächste Wort zu wählen, was einen einzelnen, geraden Textstrang erzeugt. Aber während des eigentlichen Spiels generiert das System nicht nur eine einzige Linie, sondern erzeugt einen „Baum“ aus vielen verschiedenen möglichen Wortkombinationen und wählt dann die besten aus. Das Paper zeigt, dass dies eine Diskrepanz schafft: Das Modell wird trainiert, perfekt in einem spezifischen Pfad zu sein, aber das Spiel erfordert, dass es gut in vielen verschiedenen Pfaden ist. Tatsächlich zeigten ihre Experimente, dass der „perfekte“ Pfad, für den das Modell trainiert wurde, etwa 30 % der Zeit während des Spiels verworfen wird, weil er tatsächlich nicht die beste Wahl unter den vielen Optionen war.

Die neue Lösung: Aus dem ganzen Wald lernen
VSD ändert die Regeln des Trainings. Anstatt nur eine gerade Linie auswendig zu lernen, behandelt die neue Methode das Draft-Modell als ein „Variational Inference“-Problem. Auf einfachem Deutsch ausgedrückt bedeutet dies, dass das Modell lernt, den ganzen Wald an Möglichkeiten zu verstehen, nicht nur einen einzelnen Baum. Es lernt, einen Satz von Pfaden zu erraten, die wahrscheinlich vom Aufseher akzeptiert werden, anstatt nur das einzelne „beste“ Wort zu raten.

Um dies zu erreichen, nutzen die Forscher einen cleveren zweistufigen Prozess (ein sogenanntes Expectation-Maximization-Verfahren):

Die Ratierungsphase (E-Schritt): Das Modell generiert viele verschiedene mögliche Pfade der Geschichte. Ein spezieller „Oracle“ (ein intelligenter Filter) prüft diese Pfaden und behält diejenigen, die so aussehen, als würden sie den Test des Aufsehers bestehen, während er die schlechten aussortiert.
Die Lernphase (M-Schritt): Das Modell lernt aus diesen „behaltenen“ Pfaden. Aber hier kommt der Clou: Die Forscher haben zwei spezielle Werkzeuge hinzugefügt, um das Lernen stabil und intelligent zu gestalten.
- Adaptive Rejection Weighting (ARW): Dies fungiert wie ein Trainer, der weiß, wann der Schüler Schwierigkeiten hat. Wenn das Modell viele schlechte Vermutungen macht, ignoriert der Coach das Rauschen und konzentriert sich auf die wenigen guten; wenn das Modell gut abschneidet, achtet der Coach auf die Fehler, um es schneller verbessern zu können.
- Confidence-Aware Regularization (CAR): Dies verhindert, dass das Modell „übermäßig selbstbewusst“ wird. Wenn das Modell sich zu 99 % sicher über eine falsche Vermutung ist, verhängt dieses Werkzeug eine hohe Strafe. Es lehrt das Modell, bescheiden zu sein und andere Optionen zu erkunden, anstatt stur an einer falschen Idee festzuhalten.

Was sie herausgefunden haben
Die Forscher testeten diese neue Methode an mehreren verschiedenen KI-Modellen, einschließlich Text-Modellen (wie LLaMA) und Modellen, die Bilder sehen können (wie LLaVA). Sie fanden heraus, dass VSD die KI konsistent schneller machte, ohne sie dümmer zu machen.

Geschwindigkeit: Bei Textmodellen machte VSD die KI um bis zu 9,6 % schneller als die bisher beste Methode (EAGLE-3).
Akzeptanz: Der „Assistent“ konnte mehr Wörter auf einmal genehmigt bekommen. Im Durchschnitt wurden 6 bis 7 Token (Textstücke) in einem Durchgang akzeptiert, verglichen mit den 5 bis 6 akzeptierten bei den alten Methoden.
Multimodale Magie: Es funktionierte ebenso gut bei Bild-und-Text-Modellen und verbesserte die Geschwindigkeit um 7,9 % gegenüber der besten bestehenden Methode für diese Modelle (ViSpec).

Warum es wichtig ist
Das Paper beweist, dass wir die KI signifikant beschleunigen können, indem wir die Art und Weise ändern, wie wir den „Assistenten“ trainieren, damit er über das ganze Spiel nachdenkt anstatt nur über einen einzelnen Zug. Die Autoren zeigen mathematisch auf, dass ihre Methode garantiert die „erwartete Akzeptanzlänge“ (wie viele Wörter auf einmal genehmigt werden) verbessert. Sie haben dies nicht nur vermutet, sondern über viele verschiedene Aufgaben hinweg gemessen – vom Schreiben von Code über das Lösen von Matheaufgaben bis hin zum Beantworten von Fragen zu Bildern.

Kurz gesagt: VSD behebt die Trainings-Diskrepanz, indem es das Draft-Modell zu einem besseren Entdecker von Möglichkeiten macht, sodass sichergestellt ist, dass eine Vermutung, die es macht, auch eine ist, die der Aufseher tatsächlich wahrscheinlich akzeptieren wird. Dies lässt die KI weniger wie jemanden wirken, der sich durch Melasse wühlt, sondern eher wie jemanden, der sprintet.

Technisches Resümee: Variational Speculative Decoding (VSD)

1. Problemstellung: Diskrepanz zwischen Trainings- und Dekodierungsverteilung

Derzeitige Methoden des spekulativen Dekodierens beschleunigen die Inferenz von Large Language Models (LLM) und Multimodal LLMs (MLLM), indem sie ein leichtgewichtiges Entwurfsmodell (Draft Model) verwenden, um Token vorzuschlagen, die ein Zielmodell (Target Model) parallel dazu verifiziert. Es besteht jedoch eine grundlegende Diskrepanz zwischen Training und Dekodierung:

Deterministisches Training vs. stochastische Dekodierung: Bestehende Entwurfsmodelle werden typischerweise mittels Cross-Entropy trainiert, um eine einzelne „greedy“ Token-Trajektorie vorherzusagen. Im Gegensatz dazu beinhaltet die praktische Dekodierung stochastische Multi-Pfad-Sampling-Verfahren (z. B. baumbasierte Exploration), das Ranking von Kandidaten und die Verifizierung mehrerer Pfade.
Token-basierte Likelihood vs. Pfad-basierte Nützlichkeit: Das Training optimiert die Likelihood einzelner Token entlang eines Pfades. Die Dekodierung trifft Entscheidungen jedoch auf Pfad-Ebene, wobei der Wert eines Entwurfspfades von seiner kumulativen Konfidenz und seiner Fähigkeit abhängt, die Verifizierung über eine Sequenz hinweg zu überstehen.
Die Konsequenz: Das Standardtraining lässt die Entwurfsverteilung zugunsten eines einzelnen deterministischen Pfades kollabieren. Die empirische Analyse in der Arbeit zeigt, dass etwa 30 % der während der Entwurfsbaum-Konstruktion auftretenden Greedy-Pfade während des Trainings verworfen werden und der endgültige akzeptierte Pfad nur in etwa 36 % der Fälle mit dem Greedy-Pfad übereinstimmt. Diese Fehlabstimmung begrenzt den erzielbaren Beschleunigungseffekt bei der Inferenz.

2. Methodik: Variational Speculative Decoding (VSD)

Die Autoren schlagen Variational Speculative Decoding (VSS) vor, ein Framework, das das Training des Entwurfsmodells als ein Variational Inference Problem über latente Entwurfspfade umformuliert.

2.1. Variationale Formulierung

VSD behandelt den Entwurfspfad $z$ als latente Vorschlagsvariable. Das Ziel ist es, die marginale Wahrscheinlichkeit zu maximieren, dass ein Pfad gültig ist (d. h. vom Zielmodell akzeptiert wird).

Pfad-basierte Gültigkeit: Für einen Entwurfspfad $z = (z_1, \dots, z_\ell)$ ist die Gültigkeitswahrscheinlichkeit $\kappa(x, z)$ definiert als die gemeinsame Wahrscheinlichkeit, dass alle Token akzeptiert werden: $\kappa(x, z) = \prod_{i=1}^\ell \alpha_i(x, z_{<i})$ , wobei $\alpha_i$ die Token-basierte Akzeptanzwahrscheinlichkeit ist.
Evidence Lower Bound (ELBO): Die Autoren leiten eine ELBO für die Log-marginale Akzeptanzwahrscheinlichkeit $\log Z_\theta(x)$ $lo g Z_{θ} (x)$ her:
$\mathcal{L}_{VSD}(\psi; x) = \mathbb{E}_{z \sim q_\psi}[\log \kappa(x, z)] - D_{KL}(q_\psi(z|x) \parallel p_\theta(z|x))$
- Der erste Term ermutigt das Entwurfsmodell, Pfade mit hoher Akzeptanzwahrscheinlichkeit (Pfad-Nützlichkeit) zu generieren.
- Der zweite Term (KL-Divergenz) fungiert als Regularisierer, um die Entwurfsverteilung nahe an der Verteilung des Zielmodells zu halten und degenerative Lösungen zu verhindern.

2.2. Optimierung via Expectation-Maximization (EM)

Da die Posterior-Verteilung über gültige Pfade unpraktikabel ist, optimiert VSD die ELBO mittels eines Monte-Carlo-basierten EM-Verfahrens:

E-Schritt (Oracle-gefiltertes Sampling): Das Entwurfsmodell generiert eine Charge von Kandidatenpfaden. Ein „Oracle“ (basierend auf dem Greedy-Pfad des Zielmodells) filtert diese Kandidaten, behält Pfade mit hoher Nützlichkeit und ersetzt verworfene Pfade durch korrigierende Stichproben aus der Ziel-Policy. Dies konstruiert eine empirische Annäherung an die Posterior-Verteilung der gültigen Pfade.
M-Schritt (Gewichtete Likelihood-Maximierung): Die Parameter des Entwurfsmodells werden aktualisiert, um die Likelihood der im E-Schritt akzeptierten Stichproben zu maximieren. Um Stabilität und Effizienz zu gewährleisten, werden zwei Mechanismen eingeführt:
1. Adaptive Rejection Weighting (ARW): Ein Kontrollvariablen-Koeffizient gewichtet verworfene Stichproben dynamisch basierend auf der aktuellen Zuverlässigkeit des Entwurfsmodells um. Dies reduziert die Gradientenvarianz und verhindert instabile Updates, wenn das Entwurfsmodell schwach ist.
2. Confidence-Aware Regularization (CAR): Diese Methode bestraft das Entwurfsmodell dafür, ungültigen Pfaden eine hohe Konfidenz zuzuweisen (Hard-Negative Mining). Sie gewichtet verworfene Vorschläge basierend auf der Konfidenz des Entwurfsmodells um, um überkonfidente Fehler zu unterdrücken, die die Verifizierungskosten erhöhen würden.

3. Zentrale Beiträge

Neuartiges Framework: VSD ist das erste Framework, das die Diskrepanz zwischen Trainings- und Dekodierungsverteilung explizit adressiert, indem es das Training des Entwurfsmodells als Variationale Inferenz über latente Pfade formuliert, statt als bloße Einzel-Token-Vorhersage.
Theoretische Garantien:
- Theorem 1: Beweist, dass die Maximierung der VSD-Zielfunktion eine nachweisbare untere Schranke für die erwartete akzeptierte Länge erhöht.
- Theorem 2: Zeigt, dass VSD eine strikt engere untere Schranke für die erwartete akzeptierte Länge bietet als das traditionelle KL-only Training (welches nur $D_{KL}(q_\psi \parallel p_\theta)$ minimiert).
- Theorem 3: Charakterisiert die optimale Entwurfsverteilung bei jedem EM-Schritt als die schrittweise gültige Pfad-Posterior-Verteilung.
Algorithmische Innovationen: Die Integration von ARW und CAR stabilisiert das Training von Pfad-basierten Zielen und bewältigt die hohe Varianz, die mit dem Monte-Carlo-Sampling von Entwurfsbäumen einhergeht.

4. Experimentelle Ergebnisse

Die Autoren evaluierten VSD über verschiedene LLMs (LLaMA-3.1/3.3, Vicuna, DeepSeek-R1) und MLLMs (LLaVA-1.5) auf Benchmarks wie MT-Bench, HumanEval, GSM8K und verschiedenen visuellen Aufgaben (VQAv2, ChartQA, etc.).

Leistungssteigerungen:
- LLMs: VSD erreicht eine bis zu 9,6 % höhere Geschwindigkeit gegenüber dem State-of-the-Art EAGLE-3 und verbessert die akzeptierte Länge im Durchschnitt um 7,6 %.
- MLLMs: VSD erzielt eine bis zu 7,9 % höhere Geschwindigkeit gegenüber der besten ViSpec-Baseline und verbessert die akzeptierte Länge um 7,9 %.
Kompatibilität: VSD ist modular und kann eingesetzt werden, um bestehende Methoden (z. B. EAGLE-3, MSD, ViSpec, GRIFFIN, HASS) zu verbessern, wobei es unabhängig von der zugrunde liegenden Entwurfsarchitektur konsistent Verbesserungen liefert.
Ablationsstudien:
- Eine Erhöhung der Anzahl der latenten Vorschläge ( $S$ ) verbessert die Leistung konsistent, was die Fähigkeit von VSD bestätigt, von Multi-Pfad-Exploration zu profitieren.
- Sowohl ARW als auch CAR tragen signifikant zur Leistung bei; das Entfernen dieser Komponenten führt aufgrund höherer Varianz und überkonfidenter Fehler zu einer geringeren Beschleunigung und kürzeren akzeptierten Länge.
- VSD zeigt größere relative Gewinne bei Aufgaben, die eine langfristige Konsistenz erfordern (z. B. Codegenerierung, mathematische Beweise) und wenn die Baseline-Greedy-Akzeptanzrate niedriger ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass VSD einen prinzipiellen Paradigmenwechsel im Training des spekulativen Dekodierens darstellt. Durch den Übergang von der Token-basierten Likelihood zur Sequenz-Akzeptanz richtet VSD das Ziel des Entwurfsmodells an dem tatsächlichen Dekodierungsprozess (Multi-Pfad-Verifizierung) aus.

Theoretische Ausrichtung: Die Arbeit stellt eine direkte mathematische Verbindung zwischen der variationalen Schranke und der Wall-Clock-Beschleunigung her und garantiert theoretisch Effizienzsteigerungen gegenüber dem traditionellen Token-basierten Training.
Praktische Auswirkungen: Die Ergebnisse zeigen, dass VSD eine komplementäre, modular einsetzbare Erweiterung ist, die die Inferenz-Effizienz für Text- und multimodale Modelle signifikant steigert, ohne die Ausgabequalität zu beeinträchtigen (verlustfrei).
Limitierungen: Die Autoren merken an, dass die Skalierung der Anzahl der latenten Vorschläge ( $S$ ) über 40 hinaus in ihrem aktuellen Setup rechentechnisch begrenzt ist, sie jedoch weitere Gewinne mit einem größeren $S$ erwarten. Sie identifizieren zudem die Erweiterung von VSD auf andere Modalitäten (z. B. Sprache) als zukünftige Forschungsarbeit.