💬 NLP

VIA-SD: Verification via Intra-Model Routing for Speculative Decoding

Das Paper schlägt VIA-SD vor, ein mehrstufiges Speculative-Decoding-Framework, das Intra-Modell-Routing nutzt, um ein schlankes Submodell zur Verifizierung von Draft-Token mit mittlerer Konfidenz einzusetzen und dadurch die Ablehnungsraten zu senken sowie signifikante Beschleunigungen bei der Inferenz gegenüber bestehenden Methoden zu erzielen, ohne dass Modifikationen am Training erforderlich sind.

Ursprüngliche Autoren: Yuchen Xian, Yang He, Yunqiu Xu, Yi Yang

Veröffentlicht 2026-06-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuchen Xian, Yang He, Yunqiu Xu, Yi Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine lange, komplexe Geschichte zu schreiben, aber Sie haben zwei Redakteure: einen schnellen Praktikanten und einen Meister-Redakteur.

In der Welt der Large Language Models (LLMs) ist der „Meister-Redakteur“ das riesige, superintelligente Modell, das qualitativ hochwertige Texte produziert, aber sehr langsam und teuer im Betrieb ist. Der „schnelle Praktikant“ ist ein winziges, schnelles Modell, das schnell erraten kann, was als Nächstes kommt, aber Fehler macht.

Der alte Weg: Die „Alles-oder-Nichts“-Prüfung

Traditionell muss der Meister-Redakteur prüfen, wenn der Praktikant einen Satz rät.

Wenn der Meister-Redakteur zustimmt, großartig! Die Vermutung des Praktikanten wird akzeptiert.
Wenn der Meister-Redakteur nicht zustimmt, wird die Vermutung des Praktikanten verworfen und der Meister-Redakteur muss den ganzen Satz von Grund auf neu schreiben.

Das ist wie ein strenger Chef, der sagt: „Wenn du nicht zu 100 % perfekt bist, werde ich die gesamte Aufgabe selbst erledigen.“ Das verschwendet viel Zeit, weil der Meister-Redakteur oft Arbeit neu machen muss, die eigentlich schon fast richtig war.

Die neue Idee: Der „Mittlere Manager“

Das Paper stellt ein neues System namens VIA-SD vor. Es erkennt, dass viele der Vermutungen des Praktikanten nicht schrecklich sind; sie sind nur „okay“ oder „ganz gut“. Sie benötigen nicht die volle Power des Meister-Redakteurs, um sie zu korrigieren.

So fügt VIA-SD einen Mittleren Manager (einen sogenannten „Slim-Verifier“) zwischen den Praktikanten und den Meister-Redakteur ein. Dieser Mittlere Manager ist eine spezielle Version des großen Modells, die leichter und schneller ist, da sie durch „Routing“ (das Auswählen spezifischer Teile) des großen Modells selbst erstellt wurde.

So funktioniert der neue dreistufige Prozess:

Die leichten Siege: Der Praktikant rät ein Wort. Wenn es offensichtlich korrekt ist, akzeptiert das System es sofort. Niemand muss prüfen.
Die „Gut genug“-Zone: Wenn die Vermutung des Praktikanten etwas wackelig ist, tritt der Mittlere Manager ein. Anstatt die Vermutung abzulehnen und den Meister-Redakteur zu bitten, von vorne zu beginnen, korrigiert oder schreibt der Mittlere Manager das Wort schnell selbst um. Es ist wie ein erfahrener Teamkollege, der einen Entwurf anpassen kann, ohne die Genehmigung des CEO zu benötigen.
Die schwierigen Fälle: Nur wenn der Mittlere Manager wirklich überfordert ist, ruft das System schließlich den Meister-Redakteur zu Hilfe, um die schwere Arbeit zu erledigen.

Der „Router“-Trick

Wie bauen sie diesen Mittleren Manager? Sie trainieren kein völlig neues Modell von Grund auf. Stattdessen nehmen sie den riesigen Meister-Redakteur und schalten einige seiner internen Schichten ab (überspringt), wodurch eine „schlanke“ Version entsteht.

Stellen Sie sich den Meister-Redakteur als eine massive Fabrik mit 50 Montagslinien vor. Der Mittlere Manager ist dieselbe Fabrik, aber mit nur 25 laufenden Linien. Er ist schneller, aber da er nach denselben Bauplänen erstellt wurde und dieselben Werkzeuge verwendet, versteht er die Arbeit dennoch perfekt. Das Paper nutzt eine intelligente Suchmethode (genannt DIMR), um genau herauszufinden, welche 25 Linien man behält, um das beste Gleichgewicht zwischen Geschwindigkeit und Genauigkeit zu erzielen.

Warum das wichtig ist

Das Paper behauptt, dass durch das Hinzufügen dieses Mittleren Managers:

Weniger Ablehnungen: Das System lehnt weniger Vermutungen ab. Anstatt „okaye“ Arbeit wegzuwerfen, korrigiert es diese schnell.
Höhere Geschwindigkeit: Da der riesige Meister-Redakteur seltener aufgerufen wird, wird der gesamte Prozess um 10 % bis 20 % schneller als bisherige Methoden und bis zu 3-mal schneller als Standard-Decoding.
Kein zusätzliches Training: Dieses System funktioniert mit bestehenden Modellen, ohne dass sie neu trainiert werden müssen. Es ändert lediglich, wie sie Antworten während der Nutzung verifizieren.

Kurz gesagt: VIA-SD betrachtet nicht jeden Fehler als Katastrophe. Anstatt eines binären „Bestanden oder Nicht Bestanden“-Systems schafft es ein gestuftes System, bei dem „fast richtig“ eine schnelle Korrektur erhält und nur die wirklich kaputten Teile die volle, langsame Aufmerksamkeit des riesigen Modells erhalten.

Technisches Resümee: VIA-SD

1. Problemstellung

Speculative Decoding (SD) ist eine weit verbreitete Technik zur Reduzierung der Inferenzlatenz von Large Language Models (LLMs). Sie operiert auf einem zweistufigen „Draft-Verify“-Paradigma: Ein leichtgewichtiges Drafter-Modell generiert Kandidaten-Token, die anschließend von einem größeren Target-Modell parallel verifiziert werden. Wenn der Verifizierer die Kandidaten akzeptiert, werden diese ausgegeben; werden sie abgelehnt, fällt das System auf die vollständige autoregressive Dekodierung durch den Verifizierer zurück.

Das Paper identifiziert eine fundamentale Einschränkung bestehender SD-Methoden: Sie verlassen sich auf eine starre binäre Entscheidungsregel (akzeptieren oder vollständig neu berechnen). Die Autoren beobachten, dass viele Token in eine „mittlere Zone“ fallen, in der die Vorhersage des Drafters nah an der des Verifizierers liegt, aber nicht voll belastbar ist. In aktuellen Frameworks lösen diese Token eine vollständige Neuberechnung durch das große Modell aus, was unnötige Rechenkosten verursacht. Darüber hinaus verlassen sich bestehende hierarchische Ansätze oft auf Zwischenmodelle, um binäre Entscheidungen zu treffen, wobei sie versäumen, Zwischenmodelle für die aktive Token-Generierung oder Korrektur zu nutzen.

Die zentrale Forschungsfrage ist, ob Token in der mittleren Zone durch die Einführung einer Sequenz von Zwischenverifizierungsstufen behandelt werden können, ohne die distributional gap (Verteilungsdifferenz) zwischen dem Drafter und dem Verifizierer zu vergrößern.

2. Methodik: VIA-SD

Die Autoren schlagen Verification via Intra-Model Routing for Speculative Decoding (VIA-SD) vor, ein mehrstufiges Framework, das den binären Akzeptanz-Ablehnungs-Mechanismus durch einen hierarchischen Verifizierungsprozess ersetzt.

Theoretische Grundlage: KL-Geometrie

Die Autoren rahmen SD aus einer informationstheoretischen Perspektung neu. Während der Total Variation (TV) Abstand die Ablehnungsraten im verlustfreien SD streng determiniert (was impliziert, dass Zwischenschritte die Ablehnung nicht reduzieren können), bietet die Kullback-Leibler-Divergenz (KL-Divergenz) eine flexiblere geometrische Sichtweise.

Pythagoreische Zerlegung: Basierend auf dem verallgemeinerten pythagoreischen Theorem in der Informationsgeometrie kann die KL-Divergenz zwischen der Drafter-Verteilung $p$ und der Verifizier-Verteilung $q$ über Zwischenverteilungen $u$ zerlegt werden: $D_{KL}(p \| q) \ge D_{KL}(p \| u) + D_{KL}(u \| q)$ .
Implikation: Dies deutet darauf an, dass die Einführung einer Zwischenverteilung $u$ die kumulative Divergenz (und damit die Verifizierungskosten) im Vergleich zu einem direkten $p \to q$ Pfad reduzieren kann, vorausgesetzt, $u$ ist eine geeignete Projektion.

Architektur: Der Slim-Verifier

Um die Zwischenverteilung $u$ operabel zu machen, führt VIA-SD einen Slim-Verifier ein, der mittels Dynamic Intra-Model Routing (DIMR) konstruiert wird.

Intra-Model Routing: Anstatt ein separates Zwischenmodell zu trainieren, ist der Slim-Verifier ein geroutetes Submodell, das aus dem vollständigen Verifizierer $q$ abgeleitet wird. Er wird erstellt, indem Transformer-Layer basierend auf einer Routing-Maske $z$ selektiv übersprungen werden.
Distributionale Konsistenz: Da der Slim-Verifier die Embeddings und den Output-Head mit dem vollständigen Verifizierer teilt, bewahrt er eine bessere distributionale Ausrichtung als ein unabhängiges Zwischenmodell gleicher Größe.
DIMR-Optimierung: Die optimale Routing-Maske wird offline mittels einer Kombination aus Random Search und Bayesian Optimization ermittelt, um eine KL-ähnliche Kostenfunktion zu minimieren, wodurch sichergestellt wird, dass der Slim-Verifier eine stabile Approximation der Zwischenverteilung darstellt.

Die VIA-SD-Pipeline

Der Inferenzprozess umfasst drei Stufen der Verifizierung für einen Block von gedrafteten Token:

Direkte Akzeptanz: Token mit hoher Konfidenz (bei denen der Drafter $p$ gut mit dem Slim-Verifier $q'$ übereinstimmt) werden sofort akzeptiert.
Slim-Verifier-Regeneration: Token mit mittlerer Konfidenz (bei denen $p$ nah dran, aber nicht perfekt ist) werden vom Slim-Verifier $q'$ bearbeitet. Wenn $q'$ konfident ist, schreibt er das Token um; andernfalls geht der Prozess zur nächsten Stufe über.
Full-Model Verification: Token mit geringer Konfidenz oder Unsicherheit werden zur finalen Validierung oder Regeneration an den vollständigen Verifizier $q$ eskaliert.

Dieses hierarchische Gating ermöglicht es dem System, „Middle-Zone“-Token mithend dem recheneffizienteren Slim-Verifier aufzulösen und den vollständigen Verifizier nur für die schwierigsten Fälle zu reservieren.

3. Kernbeiträge

Theoretische Neufassung: Das Paper führt eine KL-basierte informationstheoretische Sichtweise ein, um die Einführung von Zwischenverifizierungsstufen zu rechtfertigen, und bewegt sich damit über die Limitierungen des TV-Distanz-basierten binären Paradigmas hinaus.
Slim-Verifier Design: Es entwirft einen dynamisch gerouteten Intra-Modell-Slim-Verifier, der die Verteilung des großen Modells effizient approximiert und gezielt auf Token mit mittlerer Konfidenz abzielt, um redundante Aufrufe des vollständigen Modells zu reduzieren.
VIA-SD Framework: Ein praktisches mehrstufiges Framework wird vorgeschlagen und als Drei-Stufen-System (Drafter $\to$ Slim-Verifier $\to$ Full Verifier) instanziiert. Dies mildert die binäre Limitation traditioneller Methoden ab.
Kompatibilität: Die Methode ist mit bestehenden SD-Frameworks (z. B. EAGLE, PEARL) kompatibel, ohne dass ein Retraining des Drafters oder eine Änderung des Trainingsverfahrens des Verifizierers erforderlich ist.

4. Experimentelle Ergebnisse

Die Autoren evaluierten VIA-SD über vier repräsentative Aufgaben (Summarization, Translation, Reasoning, QA und Coding) unter Verwendung mehrerer Modellfamilien (T5, Gemma2, LLaMA2, Qwen) und verschiedener Größenkonfigurationen (z. B. 2B $\to$ 9B, 7B $\to$ 70B).

Reduktion der Rejection Rate: VIA-SD reduzierte die Ablehnungsrate konsistent um 0,10–0,22 im Vergleich zu starken Speculative-Decoding-Baselines (z. B. Cascade SD, Faster Cascades).
Speedup: Die Methode lieferte 10–20 % Speedup gegenüber State-of-the-Art Speculative-Decoding-Baselines. Im Vergleich zu nicht-drafting Greedy Decoding wurde eine 2,5–3 $\times$ Beschleunigung erreicht.
Qualität: Die Genauigkeit (gemessen an ROUGE, BLEU und aufgabenspezifischen Scores) wurde beibehalten oder leicht verbessert, was zeigt, dass die „verlustbehaftete“ Natur des Intra-Model-Routing die Generierungsqualität nicht verschlechtert.
Effizienz: Die Offline-Suchkosten für die Routing-Maske (DIMR) waren moderat (18–68 Minuten pro Modellpaar) und fielen nur einmal an, während die Online-Dekodierungs-Speedups signifikant waren.
Ablation: Experimente bestätigten, dass der geroutete Slim-Verifier sowohl unabhängige Zwischenmodelle (die den Speicherbedarf erhöhen) als auch Random Layer-Skipping-Ansätze (die die distributionale Konsistenz nicht aufrechterhalten können) übertrifft.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass VIA-SD das Multi-Tier Speculative Decoding als allgemeines Paradigma für skalierbare und effiziente LLM-Inferenz etabliert.

Paradigmenwechsel: Es bewegt das Feld von einer binären „Accept/Reject“-Logik hin zu einer „gestuften Allokation“ von Verifizierungsressourcen, wodurch die „Middle Zone“ der Token-Unsicherheit effektiv genutzt wird.
Praktikabilität: Durch die Ableitung des Zwischenverifizierers direkt aus dem Zielmodell (via Layer Skipping) vermeidet die Methode den Speicher- und Engineering-Overhead des Ladens separater Zwischenmodelle, was sie hochgradig praktikabel für den Einsatz macht.
Skalierbarkeit: Die Ergebnisse legen nahe, dass mit zunehmendem Kapazitätsunterschied zwischen Drafter und Verifizier der Nutzen der hierarchischen Verifizierung mit einem gerouteten Slim-Verifier deutlicher wird, was eine robuste Lösung zur Beschleunigung des Large-Scale LLM Servings bietet.