💬 NLP

DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification

Dit artikel introduceert DIVERSED, een nieuwe methode voor speculatieve decoding die door het gebruik van een dynamisch ensemble-gebaseerde verifieerder de strikte verificatievereisten versoepelt, waardoor de acceptatiegraad en de inferentie-efficiëntie aanzienlijk worden verbeterd zonder in te leveren op de kwaliteit van de gegenereerde tekst.

Oorspronkelijke auteurs: Ziyi Wang, Siva Rajesh Kasa, Ankith M S, Santhosh Kumar Kasa, Jiaru Zou, Sumit Negi, Ruqi Zhang, Nan Jiang, Qifan Song

Gepubliceerd 2026-04-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ziyi Wang, Siva Rajesh Kasa, Ankith M S, Santhosh Kumar Kasa, Jiaru Zou, Sumit Negi, Ruqi Zhang, Nan Jiang, Qifan Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

DIVERSED: Slimmer, Sneller en Flexibeler Tekstschrijven door AI

Stel je voor dat een kunstmatige intelligentie (AI) een verhaal schrijft, net als een mens. Normaal gesproken doet deze AI dit letterlijk één woord per keer. Het bedenkt het eerste woord, kijkt na of het klopt, bedenkt het tweede woord, kijkt weer na, en zo verder. Dit is als een zeer zorgzame, maar trage schrijver die elke zin eerst in het hoofd controleert voordat hij de pen op het papier zet. Dit kost veel tijd.

Om dit sneller te maken, hebben onderzoekers een truc bedacht die Speculative Decoding (Speculatieve Decoding) heet.

De Huidige Situaties: De "Trage Controleur" en de "Stijve Regels"

Stel je voor dat je een snelle, jonge stagiair hebt (het Draft Model) en een ervaren, dure chef-kok (het Target Model).

De stagiair schrijft snel een hele zin vooruit (bijvoorbeeld 5 woorden tegelijk).
De chef-kok kijkt er snel naar en zegt: "Ja, dit woord klopt. En dit woord ook. Maar dit woord hier? Nee, dat zou ik niet hebben gekozen."
Als de chef-kok iets afkeurt, moet de stagiair stoppen en de chef-kok het woord laten bedenken.

Het probleem? De chef-kok is extreem streng. Als de stagiair ook maar één klein woordje gebruikt dat de chef-kok niet exact zou kiezen, wordt het hele stukje weggegooid. De chef-kok zegt: "Nee, dit is niet 100% zoals ik het zou doen." Hierdoor wordt er veel tijd verspild aan het controleren van woorden die eigenlijk prima zijn, maar net niet "perfect" genoeg lijken voor de strenge regels.

De Oplossing: DIVERSED (De Slimme Teamspeler)

De onderzoekers van dit paper hebben DIVERSED bedacht. Dit is een nieuw systeem dat de regels een beetje losser maakt, maar dan op een heel slimme manier.

In plaats van dat de chef-kok alleen maar "Ja" of "Nee" zegt op basis van zijn eigen strenge regels, maken ze een Team-Verificatie.

Hoe werkt DIVERSED in het echt?
Stel je voor dat de stagiair en de chef-kok samen een gezamenlijke mening vormen over welke woorden goed zijn.

Soms is de stagiair heel slim en heeft hij een woord bedacht dat de chef-kok ook leuk vindt.
Soms is de stagiair een beetje creatief en gebruikt hij een woord dat de chef-kok niet direct zou kiezen, maar dat in deze specifieke zin perfect past.

DIVERSED leert een slimme tussenpersoon (een "verificator") die kijkt naar de context:

"Is dit een wiskundige som waar elke stap exact moet kloppen?" → Dan is de tussenpersoon streng en luistert hij vooral naar de chef-kok.
"Is dit een verhaaltje over een vakantie waar een creatief woordje de sfeer verbetert?" → Dan is de tussenpersoon soepeler en zegt hij: "Oké, die creatieve variant van de stagiair is prima, laten we dat accepteren!"

De Creatieve Analogie: De Vliegtuigpiloot en de Co-piloot

Laten we het vergelijken met vliegen:

De Standaard AI: De piloot (AI) kijkt elke seconde naar de instrumenten en maakt elke kleine correctie. Ze vliegen veilig, maar langzaam.
Speculative Decoding (Oud): De co-piloot (stagiair) probeert het vliegtuig alvast een stukje te sturen. De hoofdpiloot (chef-kok) kijkt streng naar elke beweging. Als de co-piloot ook maar een millimeter afwijkt van de perfecte lijn, schreeuwt de hoofdpiloot: "STOP!" en moet hij zelf het stuur overnemen. Dit kost tijd.
DIVERSED (Nieuw): De co-piloot en hoofdpiloot hebben een dynamische communicatie. Als het weer goed is en het vliegtuig stabiel, zegt de hoofdpiloot: "Ga je gang, co-piloot, je mag iets meer ruimte nemen." Maar als er een storm opkomt (een moeilijke wiskundetaak), zegt hij: "Hou je strikt aan mijn instructies."

DIVERSED leert dus wanneer het veilig is om losser te zijn en wanneer het streng moet zijn.

Waarom is dit zo belangrijk?

Snelheid: Omdat de AI minder vaak hoeft te stoppen en opnieuw te beginnen, gaat het schrijven veel sneller. Het is alsof je een auto hebt die minder vaak hoeft te remmen.
Kwaliteit: Het blijft net zo goed als de originele AI. De "slimme tussenpersoon" zorgt ervoor dat alleen de woorden worden geaccepteerd die de kwaliteit niet verstoren.
Flexibiliteit: Het systeem past zich aan. Het weet dat een wiskundeprobleem anders moet worden aangepakt dan een gedicht schrijven.

Kortom: DIVERSED maakt de AI sneller door haar niet langer te dwingen om elke stap 100% perfect te laten lijken, maar door haar te laten leren wanneer een "goed genoeg" stapje eigenlijk "perfect" is voor het eindresultaat. Het is de overgang van een stijve robot naar een flexibele, slimme medewerker.

1. Het Probleem

Speculatieve decoding is een krachtige techniek om de inferentie van grote taalmodellen (LLM's) te versnellen. Het werkt door een klein, snel "draft"-model tokens te laten voorspellen, die vervolgens parallel worden geverifieerd door een groot, nauwkeurig "target"-model.

De huidige uitdagingen zijn:

Rigide verificatie: Traditionele methoden eisen dat de verdeling van geaccepteerde tokens exact overeenkomt met die van het target-model. Dit leidt tot een strenge verificatiestap waarbij veel plausibele tokens worden afgewezen, wat de acceptatiegraad verlaagt en de snelheidswinst beperkt.
Verlies van kwaliteit bij lossy methoden: Bestaande "lossy" methoden (die de verificatie versoepelen om meer tokens te accepteren) gebruiken vaak statische regels. Deze regels zijn niet context-afhankelijk; ze behandelen alle tokens hetzelfde, wat kan leiden tot kwaliteitsverlies of foutieve antwoorden in kritieke situaties (bijv. wiskundige redenering).
Pareto-front limiet: Er bestaat een fundamenteel compromis (Pareto-front) tussen acceptatiegraad (snelheid) en distributie-bias (kwaliteit). Statische methoden bewegen zich langs deze front, maar kunnen de optimale balans per context niet vinden.

2. Methodologie: DIVERSED

De auteurs stellen DIVERSED (DynamIc VErification RElaxed SpEculative Decoding) voor, een framework dat de verificatiestap verslapt door gebruik te maken van een dynamische ensemble-verifier.

Kerncomponenten:

Dynamische Ensemble-Verdeling: In plaats van een vaste gewogen som van de draft- en target-verdelingen, leert DIVERSED een gewicht $w_t$ $w_{t}$ dat afhankelijk is van de context ( $x_{0:t-1}$ $x_{0 : t - 1}$ ) en het specifieke token.
- De ensemble-verdeling wordt berekend als: $\nu^\theta_t(x) = w_t p_t(x) + (1 - w_t) q_t(x)$ , waarbij $p_t$ het target-model is en $q_t$ het draft-model.
Ensemble Head: Een klein neurale netwerk (feed-forward) dat de verborgen representaties ( $h^q_t$ $h_{t}^{q}$ en $h^p_t$ $h_{t}^{p}$ ) van zowel het draft- als het target-model gebruikt om het optimale gewicht $w_t$ $w_{t}$ te voorspellen.
- Voor kwaliteitskritieke tokens (waar een fout fataal is) leunt het gewicht zwaarder naar het target-model.
- Voor minder kritieke tokens wordt het gewicht verschoven naar het draft-model om de acceptatiegraad te maximaliseren.
Training met Versterkingslering (RL): Omdat token-niveau supervisie vaak ontbreekt, wordt het ensemble-head getraind met een sequence-level beloning (bijv. nauwkeurigheid van het eindantwoord of ROUGE-score).
- Doel: Maximaliseren van de taakbeloning $R$ terwijl een hoge acceptatiegraad wordt behouden.
- Regularisatie: Een term wordt toegevoegd om te voorkomen dat het model instort naar alleen het target-model ( $w=0$ ) of alleen het draft-model ( $w=1$ ).

3. Belangrijkste Bijdragen

Theoretische Bijdragen:

Exacte Verwachting van Acceptatielengte: De auteurs leiden een exacte uitdrukking af voor de verwachte lengte van geaccepteerde tokens ( $E[T_N]$ ) zonder de gebruikelijke i.i.d. (independent and identically distributed) aanname. Ze tonen aan dat de acceptatiekans exponentieel afneemt met de positie in de draft-sequentie, wat eerder werd genegeerd.
Pareto-Optimaliteit: Ze bewijzen dat een statische ensemble-verifier precies op de Pareto-front ligt. DIVERSED gaat hier echter overheen door dynamisch te schakelen, waardoor het een betere snelheid-kwaliteit trade-off bereikt dan statische methoden.

Praktische Bijdragen:

Context-Afhangelijke Verslapping: DIVERSED introduceert een manier om de verificatieregels adaptief aan te passen per context, in plaats van een universele regel te gebruiken.
Efficiëntie zonder Kwaliteitsverlies: Het framework behoudt de taaknauwkeurigheid (bijv. wiskundige oplossingen) terwijl het de acceptatiegraad significant verhoogt.

4. Resultaten

De methode is geëvalueerd op verschillende datasets (GSM8K, CNNDM, XSum, MBPP) met diverse modelparen (Llama, Qwen, Gemma).

Hogere Acceptatiegraad: DIVERSED bereikt consistent een hogere acceptatiegraad dan statische ensemble-methoden, lossy speculative decoding en SpecCascade. Bijvoorbeeld, op de Llama-paar presteerde het met een acceptatiegraad van 72,61% (tegenover 69,49% voor statisch ensemble) op GSM8K.
Behoud van Kwaliteit: Ondanks de versoepeling blijft de taaknauwkeurigheid (Accuracy, ROUGE-2, Pass@1) vergelijkbaar met of zelfs beter dan die van het target-model en andere baselines.
Snelheidswinst: Er is een sterke correlatie tussen acceptatiegraad en wandelkloktijd (wall-clock time). DIVERSED levert een aanzienlijke snelheidswinst op, vaak met 20-30% meer geaccepteerde tokens per verificatieronde dan concurrenten.
Pareto-Front Verbetering: In grafieken die snelheid tegen kwaliteit uitzetten, ligt DIVERSED consequent boven de Pareto-front die wordt gevormd door statische ensemble-methoden, wat betekent dat het sneller is bij dezelfde kwaliteit, of beter is bij dezelfde snelheid.

5. Betekenis en Impact

DIVERSED vertegenwoordigt een belangrijke stap in de efficiëntie van LLM-inferentie:

Overcoming the Bottleneck: Het doorbreekt de beperking van rigide verificatie die de snelheidswinst van speculatieve decoding vaak beperkt.
Adaptiviteit: Het toont aan dat "lossy" decoding niet noodzakelijk leidt tot kwaliteitsverlies als de versoepeling slim en context-afhankelijk wordt toegepast.
Toekomstperspectief: De methode is model-onafhankelijk en kan worden toegepast op bestaande modelparen zonder de architectuur van de modellen zelf te hoeven wijzigen. Het opent de weg voor verdere optimalisaties, zoals blok-gebaseerde beslissingen en cross-task transfer van de geleerde verifier.

Kortom, DIVERSED biedt een elegante oplossing om de snelheid van taalmodellen te maximaliseren zonder in te leveren op de betrouwbaarheid van de gegenereerde inhoud.