DBLAST: Dependent Block Drafting for Stochastic Speculative Decoding

Technische Samenvatting: DBlast – Afhankelijke Blok-drafting voor Stochastische Speculatieve Decodering

Probleemstelling

Speculatieve decodering versnelt de inferentie van Large Language Models (LLM's) door een lichtgewicht drafter te gebruiken die meerdere toekomstige tokens voorstelt, die een doelmodel vervolgens parallel verifieert. Hoewel recente blokgebaseerde drafters (bijv. DFlash) meerdere posities in één enkele pass kunnen voorspellen, vertrouwen zij doorgaans op onafhankelijke blok-sampling. Deze aanpak gaat ervan uit dat tokens binnen een draft-blok conditioneel onafhankelijk zijn gegeven de prefix.

Deze aanname houdt goed stand bij greedy of low-entropy decodering, maar wordt kwetsbaar in stochastische (niet-greedy) decodering regimes, die essentieel zijn voor open-ended taken zoals dialoog, creatief schrijven en reinforcement learning exploratie. In stochastische settings is de doelverdeling bewust divers, en zijn meerdere voortzettingen plausibel. Het artikel identificeert een fundamentele mismatch: terwijl de drafter tokens onafhankelijk samplet om marginale doelverdelingen te matchen, verifieert het doelmodel deze sequentieel, waarbij elke acceptatie geconditioneerd is op eerder geaccepteerde tokens. Bij consequentie kan een blok met nauwkeurige per-positie marginalen er niet in slagen een coherente conditionele traject te vormen, wat leidt tot een significante degradatie van de geaccepteerde draft-lengte naarmats de entropie van de doel-samplingverdeling toeneemt.

Methodologie

De auteurs stellen DBlast (Dependent Block Drafting) voor, een framework dat afhankelijkheden injecteert in block-diffusion drafters zonder de efficiëntie van parallelle voorspelling op te offeren. De methode bestaat uit twee kerncomponenten:

1. Afhankelijke Blok-sampling via Latente Mix:
   In plaats van de voorstelverdeling over posities te factoriseren ($q(x_{1:b}|y) = \prod q_i(x_i|y)$), introduceert DBlast een categorische latente variabele $z$ (een "branch" of "mode") om correlaties binnen het blok te induceren. De gezamenlijke verdeling wordt gemodelleerd als een low-rank canonical polyadic (CP) mix:
   $$q_{dep}(x_{1:b} | y) = \sum_{z=1}^{K} q(z | y) \prod_{i=1}^{b} q_i(x_i | y, z)$$

   • Architectuur: De methode modificeert een DFlash-stijl drafter door een lichtgewicht "category hidden expander" toe te voegen die de transformer hidden states naar $K$ categorie-specifieke offsets mapt, en een "category-prior head" om $q(z|y)$ te voorspellen.
   • Inference: Tijdens de inferentie wordt een latente categorie gesampled (optioneel met een temperatuur $Z_T$), en wordt de corresponderende branch in één enkele pass greedily gedecodeerd. Dit behoudt de one-pass efficiëntie van block drafting terwijl het model in staat is om coherente, alternatieve blok-niveau voortzettingen te representeren.

2. Acceptatie-georiënteerde Trainingsdoelstelling:
   Standaard training minimaliseert de Negative Log-Likelihood (NLL) van doelblokken, wat de waarschijnlijkheid van het voorstel optimaliseert maar de sequentiële aard van speculatieve verificatie negeert. DBlast introduceert een surrogaatverlies gebaseerd op de Verwachte Geaccepteerde Lengte (AL).

   • De doelstelling is afgeleid van de verwachting van de geaccepteerde prefix-lengte, gedecomponeerd in prefix-acceptatie events.
   • Om de instabiliteit van importance weighting aan te pakken wanneer de drafter- en doelverdelingen een lage overlap hebben (vroeg in de training), stellen de auteurs een threshold-truncated log-domain surrogaat voor. Dit verlies sommeert de log-ratio van waarschijnlijkheden en de log van de conditionele geaccepteerde lengte over behouden prefixes waar de importance ratio de drempel $\tau$ overschrijdt.
   • Deze aanpak richt zich direct op het sequentiële acceptatiegedrag van de verifier, wat de afhankelijke modellering complementeert wanneer blok-likelihood alleen onvoldoende is.

Belangrijkste Bijdragen

1. Diagnose van de Mismatch: De auteurs demonstreren empirisch dat onafhankelijke blok-sampling steeds minder effectief wordt naarmata de doel-decodering minder deterministisch wordt. Zij tonen aan dat de geaccepteerde lengte significant degradeert in high-entropy regimes omdat onafhankelijke voorstellen de vereiste coherentie missen voor sequentiële verificatie.
2. Afhankelijke Blok-sampling: Zij introduceren de eerste toepassing van CP-stijl latente mix-voorstellen bij subword block-diffusion drafters voor non-greedy speculatieve sampling. Deze methode induceert correlaties tussen blok-posities terwijl parallelle token-voorspelling behouden blijft.
3. Acceptatie-georiënteerd Verlies: Zij stellen een nieuwe trainingssurrogaat voor, gemotiveerd door de verwachte geaccepteerde lengte. Deze doelstelling, gecombineerd met threshold truncatie, biedt een stabiel trainingssignaal dat de drafter afstemt op het sequentiële verificatieproces.

Experimentele Resultaten

Experimenten werden uitgevoerd met Qwen3-4B en Qwen3-8B doelmodellen over vier benchmarks: GSM8K (wiskunde), MT-Bench (chat), HumanEval (codering), en een creative-writing benchmark. De evaluatie besloeg drie target-sampling regimes variërend van hoge determinisme (Temperatuur 0.7) tot lage determinisme (Temperatuur 1.5).

• Prestatiewinst: DBlast presteerde consistent beter dan onafhankelijke blok-sampling (DFlash) en baselines getraind met NLL.
  • In de high-entropy setting (Target Temp 1.5) behaalde DBlast een macro-gemiddelde winst van 12,1% in geaccepteerde lengte voor Qwen3-8B vergeleken met de onafhankelijke baseline.
  • De winsten waren het meest uitgesproken in low-determinism regio's, wat bevestigt dat dependency modeling het meest waardevol is wanneer meerdere voortzettingen plausibel zijn.
• Ablatie studies:
  • Latente Categorieën ($K$): Het verhogen van $K$ verbeterde de prestaties, waarbij een afnemend rendement werd waargenomen na $K=4$.
  • Trainingsdoelstelling: De acceptance-oriented (AL) loss presteerde consistent beter dan NLL training, zelfs voor onafhankelijke ($K=1$) drafters, hoewel de combinatie van dependency en AL de beste resultaten opleverde.
  • Inference Temperatuur: Het kalibreren van de categorie-sampling temperatuur ($Z_T$) stelde de drafter in staat om de stochasticiteit van de doelverdeling beter te matchen, wat de geaccepteerde lengte verder verbeterde.

Betekenis en Claims

Het artikel claimt dat DBlast een kritieke kloof in speculatieve decodering aanpakt: het onvermogen van huidige blok-drafters om stochastische verificatie efficiënt af te handelen. Door aan te tonen dat within-block dependency modeling en acceptance-aligned training complementair zijn, laten de auteurs zien dat het mogelijk is om hoge acceptatiegraden te bereiken in diverse, non-greedy decodering scenario's zonder de parallelle efficiëntie op te offeren die speculatieve decodering aantrekkelijk maakt.

De auteurs merken bescheiden op dat hoewel hun surrogaatverlies geen formeel onbevooroordeeld estimator of lower bound is, het dient als een praktisch en effectief trainingssignaal. Zij erkennen ook dat de relatie tussen de soft latent-mixture gebruikt tijdens training en de greedy-branch decoding gebruikt tijdens inference een open gebied blijft voor formele karakterisering, hoewel hun empirische resultaten een effectieve transfer demonstreren. Het werk suggereert dat toekomstige speculatieve decoderingssystemen voor open-ended generatie verder moeten gaan dan onafhankelijke token-voorspelling om de structurele coherentie van toekomstige sequenties te vangen.