💬 NLP

VIA-SD: Verification via Intra-Model Routing for Speculative Decoding

Het artikel stelt VIA-SD voor, een multi-tier speculative decoding-framework dat intra-model routing gebruikt om een slank submodel in te zetten voor het verifiëren van concept-tokens met een gemiddeld vertrouwen, waardoor de afwijzingspercentages worden verminderd en significante versnellingen van de inferentie worden bereikt ten opzichte van bestaande methoden zonder dat aanpassingen aan de training vereist zijn.

Oorspronkelijke auteurs: Yuchen Xian, Yang He, Yunqiu Xu, Yi Yang

Gepubliceerd 2026-06-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuchen Xian, Yang He, Yunqiu Xu, Yi Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een lang, complex verhaal probeert te schrijven, maar je hebt twee redacteuren: een Snelde Stagiair en een Meesterredacteur.

In de wereld van Large Language Models (LLM's) is de "Meesterredacteur" het gigantische, superintelligente model dat tekst van hoge kwaliteit produceft, maar erg traag en duur is om te draaien. De "Snelde Stagiair" is een klein, snel model dat snel kan raden wat er volgt, maar fouten maakt.

De Oude Manier: De "Alles-of-Niets"-Controle

Traditioneel, wanneer de Stagiair een zin raadt, moet de Meesterredacteur deze controleren.

Als de Meesterredacteur het ermee eens is, geweld! De gok van de Stagiair wordt geaccepteerd.
Als de Meesterredacteur het er niet mee eens is, wordt de gok van de Stagiair weggegooid en moet de Meesterredacteur de hele zin vanaf nul herschrijven.

Dit is als een strenge baas die zegt: "Als je niet 100% perfect bent, ga ik de hele taak zelf doen." Dit verspilt veel tijd omdat de Meesterredacteur vaak werk moet herdoen dat eigenlijk al bijna goed was.

Het Nieuwe Idee: De "Middenmanager"

Het artikel introduceert een nieuw systeem genaamd VIA-SD. Het realiseert zich dat veel van de gokken van de Stagiair niet slecht zijn; ze zijn gewoon "oké" of "best goed". Ze hebben niet de volledige kracht van de Meesterredacteur nodig om ze te verbeteren.

Daarom voegt VIA-SD een Middenmanager (een "slim-verifier" genoemd) toe tussen de Stagiair en de Meesterredacteur. Deze Middenmanager is een speciale versie van de Meesterredacteur die lichter en sneller is omdat hij is gebouwd door "routing" (het selecteren van specifieke delen) van het grote model zelf.

Zo werkt het nieuwe driestappenproces:

De Makkelijke Overwinningen: De Stagiair raadt een woord. Als het overduidelijk correct is, accepteert het systeem dit onmiddellijk. Niemand hoeft het te controleren.
De "Goed Genoeg"-Zone: Als de gok van de Stagiair een beetje wankel is, stapt de Middenmanager in. In plaats van de gok af te wijzen en de Meesterredacteur te vragen om opnieuw te beginnen, past de Middenmanager het woord snel aan of schrijft het herschreven. Het is als een ervaren teamlid dat een concept kan bijschaven zonder dat daarvoor de goedkeuring van de CEO nodig is.
De Moeilijke Gevallen: Alleen als de Middenmanager echt in de war is, roept het systeem uiteindelijk de Meesterredacteur in om het zware werk te doen.

De "Router"-Truc

Hoe bouwen ze deze Middenmanager? Ze trainen geen heel nieuw model vanaf nul. In plaats daarvan nemen ze de gigantische Meesterredacteur en zetten ze sommige van zijn interne lagen uit (overslaan), waardoor een "slanke" versie ontstaat.

Denk aan de Meesterredacteur als een enorme fabriek met 50 assemblagelijnen. De Middenmanager is diezelfde fabriek, maar dan met slechts 25 lijnen die draaien. Het is sneller, maar omdat het uit dezelfde blauwdrukken is gebouwd en dezelfde gereedschappen gebruikt, begrijpt het het werk nog steeds perfect. Het artikel gebruikt een slimme zoekmethode (genaamd DIMR) om precies te bepalen welke 25 lijnen ze moeten behouden om de beste balans tussen snelheid en nauwkeurigheid te krijgen.

Waarom Dit Belangrijk Is

Het artikel beweert dat door deze Middenmanager toe te voegen:

Minder Afwijzingen: Het systeem wijst minder gokken af. In plaats van "oké" werk weg te gooien, wordt het snel gecorrigeerd.
Hogere Snelheid: Omdat de gigantische Meesterredacteur minder vaak wordt opgeroepen, wordt het hele proces 10% tot 20% sneller dan eerdere methoden, en tot wel 3 keer sneller dan standaard decoding.
Geen Extra Training: Dit systeem werkt met bestaande modellen zonder dat ze opnieuw getraind hoeven te worden. Het verandert alleen hoe ze antwoorden verifiëren tijdens het gebruik.

Kortom, VIA-SD stopt met het behandelen van elke fout als een catastrofe. In plaats van een binair "Slagen of Falen"-systeem, creëert het een gelaagd systeem waarbij "bijna goed" een snelle fix krijgt, en alleen de echt kapotte onderdelen de volle, trage aandacht van het gigantische model krijgen.

Technische Samenvatting: VIA-SD

1. Probleemstelling

Speculative Decoding (SD) is een veelgebruikte techniek om de inferentielatentie van Large Language Models (LLM's) te verminderen. Het werkt volgens een tweelaags "draft-verify"-paradigma: een lichtgewicht drafter-model genereert kandidaat-tokens, die vervolgens parallel worden geverifieerd door een groter target-model. Als de verifier de kandidaten accepteert, worden ze uitgegeven; als ze worden afgewezen, valt het systeem terug op volledige autoregressieve decoding vanuit de verifier.

Het paper identificeert een fundamentele beperking in bestaande SD-methoden: ze vertrouwen op een rigide binaire beslisregel (accepteren of volledig opnieuw berekenen). De auteurs observeren dat veel tokens in een "middelste zone" vallen waar de voorspelling van de drafter dicht bij die van de verifier ligt, maar niet volledig betrouwbaar is. In huidige frameworks triggeren deze tokens een volledige herberekening door het grote model, wat onnodige computationele kosten met zich meebrengt. Bovendien vertrouwen bestaande hiërarchische benaderingen vaak op tussenliggende modellen om binaire beslissingen te nemen, waarbij ze er niet in slagen om tussenliggende modellen te gebruiken voor actieve token-generatie of correctie.

De kernonderzoeksvraag is of tokens in de middelste zone kunnen worden afgehandeld door een reeks tussenliggende verificatiestadia te introduceren zonder de distributionele kloof tussen de drafter en de verifier te vergroten.

2. Methodologie: VIA-SD

De auteurs stellen Verification via Intra-Model Routing for Speculative Decoding (VIA-SD) voor, een multi-tier framework dat het binaire accept-reject mechanisme vervangt door een hiërarchisch verificatieproces.

Theoretische Fundering: KL-Geometrie

De auteurs herformuleren SD vanuit een informatietheoretisch perspectief. Hoewel de Total Variation (TV) afstand strikt de afwijzingspercentages in lossless SD bepaalt (wat impliceert dat tussenliggende stappen de afwijzing niet kunnen verminderen), biedt de Kullback-Leibler (KL) divergentie een flexibeler geometrisch beeld.

Pythagoreïsche Decompositie: Gebaseerd op de gegeneraliseerde pythagoreïsche stelling in de informatiegeometrie, kan de KL-divergentie tussen de drafter-distributie $p$ en de verifier-distributie $q$ worden gedecomponeerd via tussenliggende distributies $u$ : $D_{KL}(p \| q) \ge D_{KL}(p \| u) + D_{KL}(u \| q)$ .
Implicatie: Dit suggereert dat het introduceren van een tussenliggende distributie $u$ de cumulatieve divergentie (en dus de verificatiekosten) kan verminderen vergeleken met een directe $p \to q$ route, mits $u$ een geschikte projectie is.

Architectuur: De Slim-Verifier

Om de tussenliggende distributie $u$ te operationaliseren, introduceert VIA-SD een slim-verifier die wordt geconstrueerd via Dynamic Intra-Model Routing (DIMR).

Intra-Model Routing: In plaats van een apart tussenliggend model te trainen, is de slim-verifier een gerouteerd submodel afgeleid van de volledige verifier $q$ . Het wordt gecreëerd door selectief Transformer-lagen over te slaan op basis van een routing-masker $z$ .
Distributionele Consistentie: Omdat de slim-verifier dezelfde embeddings en de output head deelt met de volledige verifier, behoudt het een betere distributionele uitlijning dan een onafhankelijk tussenliggend model van dezelfde grootte.
DIMR Optimalisatie: Het optimale routing-masker wordt offline gevonden met een combinatie van random search en Bayesiaanse optimalisatie om een KL-stijl kostenfunctie te minimaliseren, waardoor wordt gewaarborgd dat de slim-verifier een stabiele benadering is van de tussenliggende distributie.

De VIA-SD Pipeline

Het inferentieproces omvat drie stadia van verificatie voor een blok gedraft tokens:

Directe Acceptatie: Tokens met een hoge betrouwbaarheid (waar de drafter $p$ goed overeenkomt met de slim-verifier $q'$ ) worden direct geaccepteerd.
Slim-Verifier Regeneratie: Tokens met een gemiddelde betrouwbaarheid (waar $p$ dichtbij is maar niet perfect) worden afgehandeld door de slim-verifier $q'$ . Als $q'$ confident is, herschrijft het de token; anders gaat het door naar de volgende fase.
Full-Model Verificatie: Tokens met een lage betrouwbaarheid of onzekerheid worden geëscaleerd naar de volledige verifier $q$ voor finale validatie of regeneratie.

Deze hiërarchische gating stelt het systeem in staat om "middelste zone" tokens op te lossen met de computationeel goedkopere slim-verifier, waarbij de volledige verifier alleen wordt gereserveerd voor de moeilijkste gevallen.

3. Belangrijkste Bijdragen

Theoretische Herformulering: Het paper introduceert een KL-gebaseerd informatietheoretisch perspectief om de introductie van tussenliggende verificatiestadia te rechtvaardigen, waarmee het voorbijgaat aan de beperkingen van het op TV-afstand gebaseerde binaire paradigma.
Slim-Verifier Ontwerp: Het ontwerpt een dynamisch gerouteerd intra-model (slim-verifier) dat de distributie van het grote model efficiënt benadert, specifiek gericht op het verminderen van redundante full-model aanroepen voor tokens met gemiddelde betrouwbaarheid.
VIA-SD Framework: Er wordt een praktisch multi-tier framework voorgesteld en geïnstantieerd als een drie-staps systeem (Drafter $\to$ Slim-Verifier $\to$ Full Verifier). Dit verlicht de binaire beperking van traditionele methoden.
Compatibiliteit: De methode is compatibel met bestaande SD-frameworks (bijv. EAGLE, PEARL) zonder dat het hertrainen van de drafter of aanpassing van de trainingsprocedure van de verifier nodig is.

4. Experimentele Resultaten

De auteurs hebben VIA-SD geëvalueerd over vier representatieve taken (Samenvatten, Vertaling, Redeneren, QA en Coding) met gebruik van meerdere modelfamilies (T5, Gemma2, LLaMA2, Qwen) en diverse grootteconfiguraties (bijv. 2B $\to$ 9B, 7B $\to$ 70B).

Reductie van Afwijzingspercentage: VIA-SD verminderde de afwijzingspercentages consistent met 0.10–0.22 vergeleken met sterke speculative decoding baselines (bijv. Cascade SD, Faster Cascades).
Versnelling: De methode leverde 10–20% versnellingen op over de state-of-the-art speculative decoding baselines. Vergeleken met non-drafting greedy decoding bereikte het een 2.5–3 $\times$ acceleratie.
Kwaliteit: De nauwkeurigheid (gemeten via ROUGE, BLEU en taakspecifieke scores) werd behouden of zelfs licht verbeterd, wat aantoont dat de "lossy" aard van de tussenliggende routing de generatiekwaliteit niet verslechtert.
Efficiëntie: De offline zoekkosten voor het routing-masker (DIMR) waren gematigd (18–68 minuten per modelpaar) en werden slechts één keer uitgevoerd, terwijl de online decoding versnellingen significant waren.
Ablatie: Experimenten bevestigden dat de gerouteerde slim-verifier beter presteert dan zowel onafhankelijke tussenliggende modellen (die meer geheugenoverhead veroorzaken) als random layer-skipping benaderingen (die falen in het handhaven van de distributionele consistentie).

5. Betekenis en Claims

Het paper claimt dat VIA-SD multi-tier speculative decoding vestigt als een algemeen paradigma voor schaalbare en efficiënte LLM-inferentie.

Paradigmaverschuiving: Het verplaatst het veld van een binaire "accept/reject" logica naar een "gestaffelde allocatie" van verificatieresources, waarbij de "middelste zone" van token-onzekerheid effectief wordt benut.
Praktische Bruikbaarheid: Door de tussenliggende verifier af te leiden van het target-model zelf (via layer skipping), vermijdt de methode de geheugen- en engineering-overhead van het laden van aparte tussenliggende modellen, wat het zeer praktisch maakt voor implementatie.
Schaalbaarheid: De resultaten suggereren dat naarmate de capaciteitskloof tussen drafter en verifier groter wordt, de voordelen van hiërarchische verificatie met een gerouteerde slim-verifier prominenter worden, wat een robuuste oplossing biedt voor het versnellen van grootschalige LLM-serving.