🤖 machine learning

Approximate Speculative Decoding

Dit artikel introduceert Approximate Speculative Decoding (ASD), een methode die geen training vereist en autoregressieve generatie versnelt door mismatches in draft tokens selectief te accepteren op basis van een regret-budget om geldige suffixen te hergebruiken, waardoor de doorvoer wordt verbeteren zonder dat er nieuwe draft-modellen of finetuning nodig zijn.

Oorspronkelijke auteurs: Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang

Gepubliceerd 2026-08-05

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een verhaal probeert te schrijven met een zeer slimme, maar ongelooflijk trage vriend. Elke keer als je een nieuw woord aan je verhaal wilt toevoegen, moet je wachten tot je vriend diep nadenkt, zijn hele bibliotheek aan kennis controleert en je precies vertelt welk woord er volgt. Dit is hoe moderne AI-taalmodellen werken: ze genereren tekst één woord tegelijk, en het "denkproces" neemt het grootste deel van de tijd in beslag, waardoor het proces aanvoelt als het kijken naar het drogen van verf. Om dit te versnellen, hebben wetenschappers een truc uitgevonden genaamd "speculative decoding". Denk aan het hebben van een snelle, junior assistent die de volgende paar woorden voor je raadt. Je vraagt je trage, deskundige vriend vervolgens om snel te controleren of die gokken juist zijn. Als de expert het ermee eens is, kun je meerdere woorden tegelijk schrijven in plaats van slechts één, wat een enorme hoeveelheid tijd bespaart.

Er zit echter een addertje onder het gras. De deskundige vriend is een regelneven die strikt is. Als de assistent zelfs maar één woord raadt dat niet de absoluut perfecte keuze is die de expert zou hebben gekozen, stopt de expert het hele proces onmiddellijk. Ze gooien alle andere woorden die de assistent voor die beurt heeft geraden weg, zelfs als de meeste ervan eigenlijk perfect waren. Het is alsof een leraar een toets nakijkt en stopt met lezen zodra hij één fout antwoord ziet, en de rest van het papier bij het vuilnis zet. Deze "alles-of-niets"-regel houdt het verhaal perfect, maar het verspilt een enorme hoeveelheid van het harde werk van de assistent.

Dit artikel introduceert een nieuwe methode genaamd Approximate Speculative Decoding (ASD), die fungeert als een slimmere, flexibelere leraar. In plaats van het hele examen weg te gooien omdat er één kleine fout is gemaakt, vraagt ASD: "Is deze fout klein? En heeft de assistent de volgende paar woorden wel goed gekregen?" Als het antwoord ja is, accepteert ASD de kleine fout, behoudt de goede woorden die volgden en gaat door. Het is als een leraar die zegt: "Je hebt de spelling van 'omdat' fout gedaan, maar je hebt de volgende tien woorden perfect gespeld, dus laten we alleen dat ene woord even corrigeren en doorgaan." De onderzoekers ontdekten dat door iets toleranter te zijn met kleine fouten, ze de AI aanzienlijk sneller konden laten schrijven zonder de kwaliteit van het verhaal te ruïneren.

Het verhaal van de "gebudgeteerde" assistent

De kern van het idee achter ASD is om elke fout niet langer als een ramp te behandelen. In de oude methode, als je assistent een woord raadde dat niet de eerste keuze was, stopte het systeem onmiddellijk. Maar de auteurs realiseerden zich dat de "foute" gok van de assistent soms eigenlijk heel dicht bij de juiste keuze ligt, en dat de woorden die erop volgen nog steeds perfect zijn.

Om dit op te lossen, creëerde het team een systeem met een budget. Stel je voor dat je een pot hebt met "foutentokens". Je mag een paar kleine fouten maken, maar je moet ze betalen vanuit je pot.

De Lokale Poort (Local Gate): Voordat een fout wordt geaccepteerd, controleert het systeem hoe "erg" de fout is. Als de gok van de assistent slechts iets minder waarschijnlijk is dan het perfecte woord, is het een goedkope fout. Als het een enorme fout is, kost het te veel tokens en zegt het systeem "nee".
De Blokkade-cap (Block Cap): Je kunt niet te veel fouten maken in één enkele batch van gokken. Dit voorkomt dat de assistent in één keer te onnauwkeurig wordt.
Het Verzoekbudget (Request Budget): Dit is de totale pot met tokens voor het hele gesprek. Zodra je uit je tokens bent, moet je weer perfect worden (strikt de oude regels volgen) voor de rest van het verhaal.

De magie gebeurt wanneer het systeem een kleine fout accepteert. Omdat de volgende paar gokken van de assistent eigenlijk perfect waren (ze kwamen overeen met wat de expert zou hebben gekozen), kan het systeem deze "hergebruiken". Het hoeft de trage expert niet opnieuw te vragen om ze te controleren. Het accepteert ze gewoon en gaat verder. Dit verandert een "stop en gooi weg"-moment in een "corrigeer en ga door"-moment.

Wat ze hebben gevonden

De onderzoekers testten dit idee met enkele zeer populaire AI-modellen (zoals Qwen3 en DeepSeek) op een verscheidenheid aan taken, van het oplossen van wiskundige problemen tot het schrijven van code. Ze hoefden de modellen niet opnieuw te trainen of de assistent iets nieuws te leren; ze veranderden alleen hoe de "leraar" (de verifieerder) het werk beoordeelde.

De resultaten waren zeer veelbelovend. Door deze gebudgetteerde aanpak te gebruiken, werd het systeem sneller zonder dat er extra training nodig was.

Op een set van zeven verschillende taken werd het systeem gemiddeld 7,78% sneller vergeleken met de strikte, ouderwetse methode.
In de beste gevallen, zoals op de MATH-500 dataset, versnelde het met 11,73%.
Toen ze het testten op een enorm groot model genaamd DeepSeek-V4-Flash, zagen ze dat de acceptatiepercentages (hoeveel gokken het systeem behield) met ongeveer 10% tot 16% toenamen.

Het artikel merkt er voorzichtig bij op dat dit geen toverstaf is die alles perfect maakt. De auteurs geven expliciet aan dat deze methode het pad verandert dat de AI neemt om tot het antwoord te komen. Soms kan het verhaal iets anders zijn, of kan de "hash" (een digitale vingerafdruk van de tekst) veranderen, zelfs als het uiteindelijke antwoord nog steeds correct is. Bijvoorbeeld, bij sommige coderingstests daalde de nauwkeurigheid licht (met minder dan 1,5 procentpunt), maar bij veel andere taken bleef de nauwkeurigheid exact gelijk of verbeterde deze zelfs licht.

Waarom dit ertoe doet

De schoonheid van dit artikel is dat het geen nieuwe, snellere AI vereist of een nieuwe assistent hoeft te trainen. Het verandert alleen de regels van het spel voor de een die je al hebt. Het is alsof je beseft dat een strikte verkeersagent het hele stadsverkeer vertraagt omdat hij elke auto aan de kant zet voor elk klein overtreding, terwijl een meer flexibele aanpak het verkeer soepel zou laten doorstromen met slechts minimale, beheersbare risico's.

De auteurs suggereren dat deze methode een geweldige manier is om meer snelheid uit huidige AI-systemen te persen. Ze benadrukken dat hoewel de snelheidswinsten echt en meetbaar zijn (tot wel 15,26% in sommige gevallen), gebruikers zich bewust moeten zijn van het feit dat ze een klein beetje strikte perfectie inruilen voor veel meer snelheid. Het is een berekende afweging: je krijgt je verhaal veel sneller geschreven, en voor de meeste mensen zullen de kleine verschillen in bewoording er totaal niet toe doen. Het artikel concludeert dat deze "gebudgeteerde" aanpak een praktische, zonder training benadering is om AI-generatie sneller te maken, mits je de resultaten controleert om te zien of de kwaliteit nog steeds goed genoeg is voor je behoeften.

Technische Samenvatting: Approximate Speculative Decoding (ASD)

Probleemstelling

Autoregressieve Large Language Models (LLMs) genereren tokens sequentieel, wat een significante bottleneck veroorzaakt tijdens de inferentie door herhaalde executies van een groot doelmodel (target model). Speculative decoding pakt dit aan door een lichtgewicht "drafter"-model te gebruiken om een blok toekomstige tokens voor te stellen, die vervolgens parallel worden geverifieerd door het doelmodel.

Onder standaard greedy verificatie is het proces strikt binair: de verifieerder accepteert het langste prefix van draft-tokens dat exact overeenkomt met de argmax (greedy) tokens van het doelmodel. Het proces stopt bij de eerste mismatch, waarbij de resterende draft-tokens worden weggegooid en één enkel target-recovery token wordt toegevoegd. Deze aanpak heeft twee primaire beperkingen:

Ingebouwde Binaire Truncatie: Het behandelt een draft-token met een bijna gelijkwaardige target-logit (lage regret) identiek aan een sterk afgewezen token, en stopt onmiddellijk bij elke mismatch.
Verspilde Computatie: In een teacher-forced verificatiepass heeft het doelmodel al opeenvolgende draft-tokens gescoord, geconditioneerd op het prefix (inclusclusief de mismatch). Als een vroege mismatch wordt geaccepteerd, kan een aaneengesloten suffix van daaropvolgende draft-tokens al "target-greedy" zijn onder dit nieuwe gerealiseerde prefix. Standaard verificatie gooit deze herbruikbare tokens weg, wat extra forward passes van het doelmodel vereist om te herstellen.

De kernuitdaging is dat het accepteren van een niet-greedy token het decoderingspad verandert. Hoewel dit het hergebruik van suffixes kan ontsluiten, is het geen verliesvrije optimalisatie; ongecontroleerde accumulatie van mismatches kan de taakkwaliteit verslechteren. Het artikel stelt dat het doel niet is om mismatches te negeren, maar om een begrensd aantal expliciete uitzonderingen toe te staan terwijl de cumulatieve omvang ervan wordt gecontroleerd.

Methodologie: Approximate Speculative Decoding (ASD)

ASD is een training-vrije methode aan de verifieerder-zijde die de "first-mismatch truncation"-regel vervangt door een budgetted longest-prefix selectie strategie. Het werkt zonder het drafter-model aan te passen, vereist geen fine-tuning en voegt geen extra forward passes van het doelmodel toe.

Kernmechanismen

Lokale Target-Logit Regret:
Voor een draft-token $x_i$ en target argmax $y^*_i$ , berekent ASD de lokale regret $r_i = z_i(y^*_i) - z_i(x_i)$ , wat de voorkeur van de target voor het correcte token boven het draft-token vertegenwoordigt.
Drielagig Controlesysteem:
ASD accepteert een mismatch alleen als deze aan drie voorwaarden voldoet, waardoor het het langste haalbare aaneenhangende prefix kan selecteren:
- Lokale Regret Gate ( $g$ ): Een genormaliseerde gate $r_i / q_i \leq g$ (waarbij $q_i$ de resterende proposal-lengte is) filtert individueel kostbare mismatches en geeft de voorkeur aan uitzonderingen die proportioneel zijn aan de potentiële suffix-hergebruik.
- Per-Block Exception Cap ( $M$ ): Beperkt het aantal uitzonderingen binnen een enkel draft-blok om concentratie van fouten te voorkomen.
- Persistent Request-Level Regret Budget ( $B$ ): Houdt een grootboek bij van de cumulatieve regret ( $s$ ) over de gehele aanvraag (request). Een prefix is alleen haalbaar als de cumulatieve regret $C_t \leq B - s$ . Dit begrenst de totale afwijking over de generatie.
Realized-Prefix Suffix Hergebruik:
Zodra ASD een prefix commit die eindigt bij een geaccepteerde mismatch, hergebruikt het daaropvolgende draft-tokens die nog steeds target-greedy blijven onder de gerealiseerde historie (de historie inclusief de geaccepteerde mismatch). Deze tokens worden gecommit zonder verdere benaderende beslissingen of extra forward passes van het doelmodel.
Gevirtualiseerde Implementatie:
Het algoritme construeert een feasibility mask voor elke positie in het draft-blok op basis van de restricties. De geaccepteerde lengte is het langste all-true prefix van dit mask, berekenbaar via cumulatieve sommen en producten in $O(K)$ tijd. Wanneer het budget $B=0$ , herstelt ASD exact de standaard strikte greedy verificatie.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

Formulering: Het formuleert benaderende greedy verificatie als een budgetted longest-contiguous-prefix selectie probleem, gebruikmakend van een persistent request-level grootboek om rekening te houden met geaccepteerde draft-target mismatches.
Mechanisme Identificatie: Het identificeert en formaliseert realized-prefix suffix hergebruik, en demonstreert dat na een geaccepteerde uitzondering een aaneengesloten target-greedy suffix gecommit kan worden zonder aanvullende benaderende beslissingen, mits caches consistent worden bijgewerkt.
Empirische Validatie: Het levert experimenteel bewijs dat deze training-vrije verifieerder de throughput aanzienlijk verbetert over diverse modellen en taken, zonder de proposal-generatiemechanismen te wijzigen.

Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen3-8B/14B, Llama-3.1-8B, en Qwen2.5-7B doelmodellen gekoppeld aan DSpark, EAGLE3, en Medusa drafters over benchmarks inclusief GSM8K, MATH-500, HumanEval, MBPP, MMLU, MT-Bench, en Alpaca.

Throughput Winst: ASD verbetert de fixed-workload throughput met 3,05%–15,26% ten opzichte van gematchte strikte speculative decoding.
- Op Qwen3-14B + DSpark-14B is de gemiddelde winst over zeven taken 7,78%.
- De hoogste geobserveerde winst was 15,26% op GSM8K met Llama-3.1-8B + EAGLE3.
Nauwkeurigheid Afwegingen (Accuracy Trade-offs): De methode is een gecontroleerde benadering, geen output-preserverende optimalisatie.
- Op de primaire DSpark-14B matrix vertoonden vijf van de zeven taken een niet-negatieve verandering in nauwkeurigheid.
- Geobserveerde reducties in nauwkeurigheid waren klein (bijv. -0,61 punten op HumanEval, -0,64 op MT-Bench) en taakafhankelijk.
- Op GSM8K en MATH-500 overschreed de hash divergentie 95%, wat duidt op gewijzigde trajecten, maar de gemeten nauwkeurigheid bleef stabiel of verbeterde.
Schaalbaarheid: Winsten blijven bestaan over verschillende drafter-families (DSpark, EAGLE3, Medusa) en doelmodellen, wat aangeeft dat het voordeel wordt gedreven door het verifieerder-zijde mechanisme in plaats van specifieke proposal-architecturen.
Compatibiliteit met Grote Modellen: Op DeepSeek-V4-Flash (284B) met DSpark in een FP4-naar-FP8 compatibiliteitssetting, verhoogde ASD de verifieerder-zijde acceptatie met ongeveer 10%–16% op GSM8K en MATH-500.

Betekenis en Claims

Het artikel claimt dat ASD een breed compatibele, training-vrije weg biedt naar snellere greedy blockwise speculative decoding. De betekenis ligt in:

Ontkoppeling van Verificatie en Proposal: In tegen tegenstelling tot eerder werk dat zich richt op het verbeteren van de drafter, optimaliseert ASD de beslissing van de verifieerder over de commitment nadat de scoring voltooid is.
Expliciete Controle over de Afweging: Door een persistent regret budget en lokale gates te introduceren, stelt ASD gebruikers in staat om de snelheid-nauwkeurigheid-frontier expliciet af te stemmen, voorbij de binaire "alles-of-niets" natuur van strikte verificatie.
Systeem Efficiëntie: De methode vermindert het aantal dure doel-verificatierondes door suffixes te hergebruiken die door de target zijn gescoord, waardoor throughput-winsten worden behaald zonder extra forward passes of modeltraining.

De auteurs benadrukken dat ASD de geaccumuleerde lokale regret begrenst, maar geen identieke outputs, semantische preservatie of taakcorrectheid garandeert. Daarom adviseren zij een deployment-model waarbij verifieerder-controles bevroren zijn op disjointe data, gevolgd door een natuurlijke EOS (End-of-Sequence) taakkwaliteit-audit voor elke specifieke target, drafter en workload combinatie.