🤖 machine learning

Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance

Dit artikel introduceert Variational Speculative Decoding (VSD), een nieuw kader dat draft-training herformuleert als variatieve inferentie om de acceptatie van sequenties door het doelmodel te maximaliseren, waardoor aanzienlijke versnellingen in de inferentie worden bereikt ten opzichte van bestaande methoden door de discrepantie tussen training en decodering op te lossen via een Expectation-Maximization-procedure met adaptieve weging en regularisatie.

Oorspronkelijke auteurs: Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

Gepubliceerd 2026-08-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij een verhaal moet schrijven. Deze robot, een Large Language Model (LLM) genoemd, is ongelooflijk talentvol maar ook ongelooflijk traag. Hij werkt als een persoon die een zin schrijft, één woord tegelijk, waarbij hij na elk woord pauzeert om na te denken over wat de volgende stap is. Dit "stop-en-denk"-proces is veilig en nauwkeurig, maar het zorgt ervoor dat de robot aanvoelt alsof hij door stroop wadt.

Om dit te versnellen, hebben wetenschappers een slimme truc uitgevonden genaamd "speculative decoding". Denk aan een team van twee: een snelle, energieke junior-assistent (het "draft model") en een wijze, trage supervisor (het "target model"). De junior-assistent probeert heel snel de volgende paar woorden van het verhaal te raden. De supervisor controleert vervolgens deze gokken. Als de gokken juist zijn, accepteert de robot ze allemaal tegelijk, waardoor de trage "denktijd" wordt overgeslagen. Als een gok fout is, corrigeert de supervisor deze, en proberen ze het opnieuw. Het doel is dat de junior-assistent lange, correcte ketens van woorden raadt, zodat de supervisor ze in grote batches kan goedkeuren, waardoor het proces razendsnel gaat.

Er is echter een addertje onder het gras: de junior-assistent wordt meestal getraind door het de "perfecte" oplossing te laten zien en het te vragen die enkele weg te onthouden. Maar in het echte spel kijkt de supervisor niet naar slechts één perfect pad; de kijkt naar een hele boom van mogelijkheden en kiest de beste uit. Het blijkt dat het trainen van de assistent om slechts één recht pad te volgen, het verschrikkelijk slecht maakt in het raden van het juiste pad wanneer de supervisor in werkelijkheid naar een heel bos aan opties kijkt. Deze mismatch tussen hoe de assistent wordt getraind en hoe hij in werkelijkheid het spel speelt, heeft de snelheid van deze AI-robots tegengehouden.

Het Grote Idee van het Papier: Een Nieuwe Manier om de Assistent te Trainen

In dit papier stellen de onderzoekers een nieuwe trainingsmethode voor genaamd Variational Speculative Decoding (VSD). Ze realiseerden zich dat de oude manier van de draft model trainen leek op het trainen van een racewagenchauffeur om alleen op een enkel, recht circuit te rijden, terwijl de echte race een complex, bochtig parcours met veel mogelijke bochten inhoudt.

Het Probleem met de Oude Manier
De auteurs leggen uit dat huidige methoden de draft model trainen om "greedy" (hebzuchtig) te zijn. Dit betekent dat het model wordt geleerd om altijd het meest waarschijnlijke volgende woord te kiezen, wat één rechte lijn van tekst creëert. Maar tijdens het eigenlijke spel kijkt het systeem niet alleen naar één lijn; het genereert een "boom" van veel verschillende mogelijke woordcombinaties en kiest vervolgens de beste. Het papier laat zien dat dit een mismatch creëert: het model wordt getraind om perfect te zijn in één specifiek pad, maar het spel vereist dat het goed is in veel verschillende paden. Sterker nog, hun experimenten toonden aan dat ongeveer 30% van de tijd het "perfecte" pad waar het model voor getraind is, wordt weggegooid tijdens het spel omdat het niet daadwerkelijk de beste keuze was tussen de vele opties.

De Nieuwe Oplossing: Leren van het Hele Bos
VSD verandert de regels van de training. In plaats van alleen een rechte lijn te onthouden, behandelt de nieuwe methode de draft model als een "variational inference"-probleem. In gewone mensentaal betekent dit dat het model wordt geleerd het hele bos aan mogelijkheden te begrijpen, en niet slechts één boom. Het leert een set paden te raden die waarschijnlijk geaccepteerd zullen worden door de supervisor, in plaats van alleen maar het enkele "beste" woord te raden.

Om dit te doen, gebruiken de onderzoekers een slim tweestaps-proces (een zogenaamde Expectation-Maximization procedure):

De Raatfase (E-step): Het model genereert vele verschillende mogelijke verhaallijnen. Een speciale "oracle" (een slim filter) controleert deze paden en houdt de paden die eruitzien alsof ze de test van de supervisor zouden halen, terwijl de slechte paden worden weggegooid.
De Leertfase (M-step): Het model leert van deze "gehouden" paden. Maar hier komt de twist: de onderzoekers hebben twee speciale hulpmiddelen toegevoegd om het leren stabiel en slim te maken.
- Adaptive Rejection Weighting (ARW): Dit werkt als een coach die weet wanneer de student worstelt. Als het model veel slechte gokken maakt, negeert de coach de ruis en focust zich op de weinige goede gokken. Als het model goed presteert, let de coach op de fouten om het sneller te helpen verbeteren.
- Confidence-Aware Regularization (CAR): Dit voorkomt dat het model "overconfident" (overmoedig) wordt. Als het model voor 99% zeker is van een foute gok, geeft dit hulpmiddel een grote straf. Het leert het model om nederig te zijn en andere opties te verkennen in plaats van koppig vast te houden aan een fout idee.

Wat Ze Hebben Ontdekt
De onderzoekers testten deze nieuwe methode op verschillende verschillende AI-modellen, waaronder tekst-alleen modellen (zoals LLaMA) en modellen die afbeeldingen kunnen zien (zoals LLaVA). Ze ontdekten dat VSD de AI consequent sneller maakte zonder het dommer te maken.

Snelheid: Op tekstmodellen maakte VSD de AI tot wel 9,6% sneller dan de vorige beste methode (EAGLE-3).
Acceptatie: De "assistent" was in staat om meer woorden tegelijk te laten goedkeuren. Gemiddeld accepteerde het 6 tot 7 tokens (tekstblokken) in één keer, vergeleken met de 5 tot 6 geaccepteerde tokens door de oude methoden.
Multimodale Magie: Het werkte even goed op beeld-en-tekst modellen, waarbij de snelheid met 7,9% werd verbeterd ten opzichte van de beste bestaande methode voor die modellen (ViSpec).

Waarom Het Er Toe Doet
Het papier bewijst dat door de manier waarop we de "assistent" trainen te veranderen—zodat hij nadenkt over het hele spel in plaats van alleen over één zet—we AI aanzienlijk kunnen versnellen. De auteurs laten mathematisch zien dat hun methode gegarandeerd de "expected acceptance length" (hoeveel woorden er tegelijk worden goedgekeurd) verbetert. Ze hebben dit niet alleen geraden; ze hebben het gemeten over veel verschillende taken, van het schrijven van code tot het oplossen van wiskundige problemen en het beantwoorden van vragen over afbeeldingen.

Kortom, VSD lost de trainingsmismatch op door de draft model te trainen als een betere ontdekkingsreiziger van mogelijkheden, zodat wanneer het een gok doet, het een gok is die de supervisor waarschijnlijk ook echt zal accepteren. Dit zorgt ervoor dat de AI minder aanvoelt als iemand die door stroop wadt en meer als iemand die sprint.

Technische Samenvatting: Variational Speculative Decoding (VSD)

1. Probleemstelling: Discrepantie tussen Training en Decodering

Huidige methoden voor speculative decoding versnellen de inferentie van Large Language Models (LLM's) en Multimodale LLM's (MLLM's) door een lichtgewicht draft-model te gebruiken om tokens voor te stellen, die een target-model vervolgens parallel verifieert. Er bestaat echter een fundamentele training-decodering discrepantie:

Deterministische Training vs. Stochastische Decodering: Bestaande draft-modellen worden doorgaans getraind via cross-entropy om een enkel "greedy" token-traject te voorspellen. In contrast hiermee omvat praktische decodering stochastische multi-path sampling (bijv. tree-gebaseerde exploratie), het rangschikken van kandidaten en het verifiëren van meerdere paden.
Token-niveau Waarschijnlijkheid vs. Pad-niveau Nut: Training optimaliseert de waarschijnlijkheid van individuele tokens langs één pad. Decodering neemt echter beslissingen op pad-niveau, waarbij de waarde van een draft-pad afhangt van de cumulatieve betrouwbaarheid en het vermogen om over een sequentie heen te overleven tijdens de verificatie.
Het Gevolg: Standaard training laat de draft-distributie instorten naar een enkel deterministisch pad. Empirische analyse in het paper toont aan dat ongeveer 30% van de tijdens de training gebruikte greedy paden wordt weggefilterd tijdens de constructie van de draft-tree, en het uiteindelijke geaccepteerde pad overeenkomt met het greedy pad in slechts ~36% van de gevallen. Deze mismatch beperkt de haalbare versnelling van de inferentie.

2. Methodologie: Variational Speculative Decoding (VSD)

De auteurs stellen Variational Speculative Decoding (VSD) voor, een framework dat draft-training herformuleert als een variational inference probleem over latente draft-paden.

2.1. Variational Formulering

VSD behandelt het draft-pad $z$ als een latente voorstel (latent proposal). Het doel is om de marginale waarschijnlijkheid te maximaliseren dat een pad geldig is (d.w.z. geaccepteerd wordt door het target-model).

Pad-niveau Geldigheid: Voor een draft-pad $z = (z_1, \dots, z_\ell)$ wordt de geldelijkheids-waarschijnlijkheid $\kappa(x, z)$ gedefinieerd als de gezamenlijke waarschijnlijkheid dat alle tokens worden geaccepteerd: $\kappa(x, z) = \prod_{i=1}^\ell \alpha_i(x, z_{<i})$ , waarbij $\alpha_i$ de token-niveau acceptatiekans is.
Evidence Lower Bound (ELBO): De auteurs leiden een ELBO af voor de log-marginale waarschijnlijkheid van acceptatie, $\log Z_\theta(x)$ $lo g Z_{θ} (x)$ :
$\mathcal{L}_{VSD}(\psi; x) = \mathbb{E}_{z \sim q_\psi}[\log \kappa(x, z)] - D_{KL}(q_\psi(z|x) \parallel p_\theta(z|x))$
- De eerste term stimuleert het draft-model om paden te genereren met een hoge acceptatiekans (pad-niveau nut).
- De tweede term (KL-divergentie) fungeert als een regularisator om de draft-distributie dicht bij de target-distributie te houden, wat degeneratieve oplossingen voorkomt.

2.2. Optimalisatie via Expectation-Maximization (EM)

Omdat de posterior over geldige paden onhandelbaar (intractable) is, optimaliseert VSD de ELBO met behulp van een Monte Carlo-gebaseerde EM-procedure:

E-stap (Oracle-Filtered Sampling): Het draft-model genereert een batch kandidaat-paden. Een "oracle" (gebaseerd op het greedy pad van het target-model) filtert deze kandidaten door hoog-nutti paden te behouden en afgewezen paden te vervangen door correctieve samples uit de target-policy. Dit construeert een empirische benadering van de valid-path posterior.
M-stap (Weighted Likelihood Maximization): De parameters van het draft-model worden bijgewerkt om de waarschijnlijkheid van de geaccepteerde samples uit de E-stap te maximaliseren. Om stabiliteit en efficiëntie te garanderen, zijn twee mechanismen geïntroduceerd:
1. Adaptive Rejection Weighting (ARW): Een control variate coëfficiënt die afgewezen samples dynamisch herweegt op basis van de huidige betrouwbaarheid van het draft-model. Dit vermindert de gradiënt-variantie en voorkomt onstabiele updates wanneer het draft-model zwak is.
2. Confidence-Aware Regularization (CAR): Dit straft het draft-model af voor het toekennen van een hoge betrouwbaarheid aan ongeldige paden (hard-negative mining). Het herweegt afgewezen voorstellen op basis van de betrouwbaarheid van het draft-model, wat overmoedige fouten die de verificatiekosten verhogen, ontmoedigt.

3. Belangrijkste Bijdragen

Nieuw Framework: VSD is het eerste framework dat de training-decodering distributie-discrepantie expliciet aanpakt door draft-training te formuleren als variational inference over latente paden, in plaats van single-token voorspelling.
Theoretische Garanties:
- Theorem 1: Bewijst dat het maximaliseren van de VSD-objectieve functie een bewijsbaar lager gelegde grens verhoogt op de verwachte geaccepteerde lengte.
- Theorem 2: Demonstreert dat VSD een strikt nauwere ondergrens biedt op de verwachte geaccepteerde lengte vergeleken met traditionele KL-only training (die alleen $D_{KL}(q_\psi \parallel p_\theta)$ minimaliseert).
- Theorem 3: Karakteriseert de optimale draft-distributie bij elke EM-stap als de step-level valid-path posterior.
Algoritmische Innovaties: De integratie van ARW en CAR stabiliseert de training van pad-niveau objectieven en beheert de hoge variantie die inherent is aan Monte Carlo sampling van draft-trees.

4. Experimentele Resultaten

De auteurs evalueerden VSD over diverse LLM's (LLaMA-3.1/3.3, Vicuna, DeepSeek-R1) en MLLM's (LLaVA-1.5) op benchmarks inclusief MT-Bench, HumanEval, GSM8K en diverse visuele taken (VQAv2, ChartQA, etc.).

Prestatiewinsten:
- LLM's: VSD bereikt tot wel 9,6% versnelling ten opzichte van de state-of-the-art EAGLE-3 en verbetert de acceptatie-lengte met gemiddeld 7,6%.
- MLLM's: VSD bereikt tot wel 7,9% versnelling ten opzichte van de beste ViSpec baseline en verbetert de acceptatie-lengte met 7,9%.
Compatibiliteit: VSD is modulair en kan worden toegepast om bestaande methoden te verbeteren (bijv. EAGLE-3, MSD, ViSpec, GRIFFIN, HASS), waarbij consistent verbeteringen worden geboekt ongeacht de onderliggende draft-architectuur.
Ablatie-studies:
- Het verhogen van het aantal latente voorstellen ( $S$ ) verbetert consequent de prestaties, wat de bekwaamheid van VSD bevestigt om multi-path exploratie te benutten.
- Zowel ARW als CAR dragen significant bij aan de prestaties; het verwijderen van deze leidt tot verminderde versnelling en acceptatie-lengte door hogere variantie en overmoedige fouten.
- VSD vertoont grotere relatieve winsten op taken die langetermijnconsistentie vereisen (bijv. codegeneratie, wiskundige redenering) en wanneer de baseline greedy acceptatiegraad lager is.

5. Betekenis en Claims

Het paper claimt dat VSD een geprincipieerde verschuiving vertegenwoordigt in de training van speculative decoding. Door te bewegen van token-niveau waarschijnlijkheid naar sequentie-acceptatie, stemt VSD het doel van het draft-model af op het werkelijke decoderingsproces (multi-path verificatie).

Theoretische Afstemming: Het werk legt een directe wiskundige link tussen de variational bound en de wall-clock versnelling, wat theoretisch de efficiëntieverbetering garandeert ten opzichte van traditionele token-niveau training.
Praktische Impact: De resultaten tonen aan dat VSD een complementaire, drop-in verbetering is die de inferentie-efficiëntie van zowel tekst- als multimodale modellen aanzienlijk verhoogt zonder de outputkwaliteit aan te tasten (lossless).
Beperkingen: De auteurs merken op dat het schalen van het aantal latente voorstellen ( $S$ ) boven de 40 computationeel beperkt is in hun huidige opzet, hoewel zij verwachten dat er verdere winsten zullen zijn met een grotere $S$ . Zij identificeren ook het uitbreiden van VSD naar andere modaliteiten (bijv. spraak) als toekomstig werk.