🤖 machine learning

Bastion: Budget-Aware Speculative Decoding with Tree-structured Block Diffusion Drafting

BASTION is een trainingsvrij, budgetbewust speculatief decoderingskader dat dynamisch query-afhankelijke boomstructuren construeert via adaptieve best-first-expansie om de kwaliteit van de voorstellen in evenwicht te brengen met hardwarebeperkingen, waarbij het een snelheidswinst van tot 6,61x bereikt ten opzichte van standaard autoregressieve decodering en tegelijkertijd betere prestaties levert dan bestaande block-diffusie-baselines.

Oorspronkelijke auteurs: Soowon Oh, Nam Cao, Yujin Kim, Hojung Jung, Huzama Ahmad, Sangmin Bae, Se-Young Yun

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Soowon Oh, Nam Cao, Yujin Kim, Hojung Jung, Huzama Ahmad, Sangmin Bae, Se-Young Yun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een verhaal probeert te schrijven met een zeer wijze, maar ongelooflijk trage, redacteur (het Doelmodel). Elke keer als je één woord schrijft, moet je wachten tot de redacteur het leest, erover nadenkt en je het groene licht geeft voordat je het volgende woord kunt schrijven. Zo werken huidige AI-chatbots: ze schrijven één woord per keer en wachten na elke stap op een "controle". Het is accuraat, maar pijnlijk traag.

Om dit te versnellen, gebruiken onderzoekers een Conceptmodel (een snellere, minder wijze assistent) om de volgende paar woorden te raden voordat de redacteur ze controleert. Als de redacteur het eens is met de gok, kun je meerdere woorden tegelijk schrijven en de wachttijd overslaan.

Er is echter een addertje onder het gras bij de nieuwste, snelste conceptschrijvers (genaamd Block Diffusion). In plaats van een zin woord voor woord te raden, roepen ze een heel blok woorden tegelijk uit. Het probleem is dat, omdat ze ze allemaal tegelijk roepen, ze niet altijd zeker weten hoe de woorden samen in een logische volgorde passen. Het is alsof een kok een hoop ingrediënten tegelijk op het aanrecht gooit; individueel zien ze er goed uit, maar als je er gewoon één van boven pakt, eindig je misschien met een vreemd, onzinnig gerecht.

BASTION is een nieuw systeem dat is ontworpen om deze rommel op te lossen en het hele proces bliksemsnel te maken. Hier is hoe het werkt, met eenvoudige analogieën:

1. De "Boom van Mogelijkheden" (In plaats van één pad)

Oude methoden namen de uitroep van het conceptmodel, kozen het enige "beste" woord, toen het volgende "beste" woord, en hoopten op het beste. Als dat pad verkeerd bleek, moest de redacteur het hele ding afwijzen en verloor je tijd.

BASTION is anders. Stel je voor dat het conceptmodel je niet één pad geeft; het geeft je een familieboom van mogelijkheden.

In de eerste stap zegt het: "Misschien is het volgende woord 'kat' (80% kans) of 'hond' (20% kans)."
In plaats van alleen 'kat' te kiezen, bouwt BASTION een kleine boom: één tak voor 'kat', één voor 'hond'.
Dan, voor het volgende woord, vertakt het zich opnieuw vanuit beide 'kat' en 'hond'.
Plotseling heb je een klein bos van potentiële zinnen dat groeit vanuit hetzelfde startpunt.

2. De "Slimme Tuinman" (Budgetbewuste Controller)

Hier zit het lastige deel: je kunt geen oneindig bos laten groeien. De redacteur (Doelmodel) heeft een limiet aan het aantal takken dat het in één keer kan controleren. Als je een boom laat groeien die te breed of te diep is, wordt de tijd die het kost om de boom te controleren langer dan het gewoon woord voor woord schrijven.

Hier komt BASTION's "Slimme Tuinman" om de hoek kijken.

Het Budget: De Tuinman weet precies hoeveel tijd de redacteur heeft (het "budget").
De Strategie: In plaats van de boom te laten groeien tot een vaste grootte (zoals "altijd 10 takken"), kijkt de Tuinman naar het vertrouwen van elke tak.
- Als een tak er veelbelovend uitziet (hoog vertrouwen), laat de Tuinman die dieper groeien.
- Als een tak zwak lijkt, stopt hij daar met groeien.
Het Stopbord: De Tuinman vraagt constant: "Zal het toevoegen van nog één tak ons meer snelheid geven, of gaat het alleen maar tijd verspillen door doodlopende paden te controleren?" Zodra de kosten van het controleren van een nieuwe tak de voordelen overstijgen, stopt de Tuinman met groeien en stuurt hij de boom naar de redacteur.

3. De "Snelheidsmeter" (Hardware-bewustzijn)

Verschillende computers (GPU's) zijn als verschillende auto's. Een sportauto (een krachtige GPU) kan een enorme boom zeer snel controleren. Een compacte auto (een zwakkere GPU) zou kunnen worstelen met dezelfde boom.

BASTION heeft een ingebouwde Snelheidsmeter die precies weet hoe snel jouw specifieke computer is. Het raadt niet zomaar; het meet hoe lang het duurt om een boom van een bepaalde grootte op jouw machine te verifiëren. Het gebruikt deze realtime data om precies te beslissen hoe groot de boom moet zijn voor jouw specifieke configuratie, zodat je de maximale snelheid krijgt zonder je computer te overbelasten.

Het Resultaat

Door deze ideeën te combineren, bereikt BASTION wat het paper een 6,61x versnelling noemt.

Standaard AI: Schrijft 1 woord, wacht, schrijft 1 woord, wacht. (Snelheid: 1x)
Oude Snelle Methoden: Raadt een paar woorden, maar blijft vaak steken op het verkeerde pad. (Snelheid: ~2-3x)
BASTION: Laat een slimme, op maat gemaakte boom van gissingen groeien, controleert de veelbelovendste paden en stopt precies wanneer het het meest efficiënt is. (Snelheid: ~6,6x)

Kortom, BASTION is als een slimme projectmanager voor AI-schrijven. In plaats van blind te gokken of een stijve structuur te bouwen, bouwt het dynamisch een flexibele "boom van opties" die perfect is afgestemd op de snelheid van de computer, zodat de AI zo snel mogelijk schrijft zonder fouten te maken.

Technische Samenvatting: BASTION

Probleemstelling

Grote Taalmodellen (LLM's) kampen met hoge leveringskosten vanwege het sequentiële karakter van autoregressieve (AR) decoding, waarbij voor elke gegenereerde token een aparte forward-pass door het doelmanmodel vereist is. Speculatieve decoding lost dit aan door gebruik te maken van een lichtgewicht 'drafter' om meerdere kandidaattokens voor te stellen, die het doelmanmodel parallel verifieert.

Hoewel recente vooruitgang in block-diffusie drafters (bijv. DFlash, TiDAR) de parallelle voorspelling van meerdere toekomstige tokens in één stap mogelijk maakt, brengen ze een kritieke beperking met zich mee: deze modellen genereren positie-afhankelijke marginaalverdelingen in plaats van volledig geconditioneerde sequenties. Bijgevolg leidt het vastleggen van een enkel greedig (top-1) pad vaak tot incoherente sequenties onder de verdeling van het doelmanmodel. Bestaande boomgebaseerde methoden voor speculatieve decoding (bijv. EAGLE-3) vertrouwen doorgaans op statische, heuristisch vooraf gedefinieerde boomtopologieën die niet adaptief zijn ten opzichte van de specifieke query of hardwarebeperkingen, wat leidt tot suboptimale afwegingen tussen draftkwaliteit en verificatie- overhead.

Methodologie: BASTION

BASTION (Budget-Aware Speculative Decoding with Tree-structured Block Diffusion Drafting) is een trainingsvrij kader dat dynamisch query-afhankelijke boomtopologieën construeert om de decoding-versnelling te maximaliseren. Het integreert drie synergetische componenten:

1. Boomgebaseerde Block-Diffusie Drafting

In tegenstelling tot autoregressieve drafters die tokens sequentieel genereren, gebruikt BASTION een block-diffusie drafter om positie-afhankelijke marginaalverdelingen $\{q_k(\cdot)\}$ te produceren in één forward-pass.

Topologie-ontkoppeling: De draftkosten ( $T_{draft}$ ) zijn invariant voor de boomstructuur (ketens, brede bomen of diepe bomen) omdat het blok parallel wordt verwerkt.
Marginaal Onafhankelijkheid: Kandidaten op verschillende posities zijn onafhankelijk van elkaar gegeven de gevalideerde context, waardoor ze vrij kunnen worden gecombineerd tot een prefixboom $\mathcal{T}$ .
Pad-scoren: Elke knoop $i$ in de boom op diepte $d(i)$ krijgt een pad-score toegewezen $\rho(i) = \prod_{k=1}^{d(i)} q_k(x_{ik})$ , die de gezamenlijke waarschijnlijkheid van het pad onder de verdeling van de drafter weergeeft.

2. Acceptatie-Surrogaat en Best-First Uitbreiding

Om te bepalen welke knopen in de verificatieboom moeten worden opgenomen zonder de kosten van verificatie door het doelmanmodel te maken, hanteert BASTION een pad-vertrouwenssurrogaat.

Surrogaat-schatting: De verwachte geaccepteerde lengte $\mathbb{E}[A(\mathcal{T})]$ wordt benaderd door de som van pad-scores: $\hat{A}(\mathcal{T}) = \sum_{i \in \mathcal{T}} \rho(i)$ . Dit rust op de premisse dat paden met hoge waarschijnlijkheid van de drafter overeenkomen met de voorkeurs-trajectorie van het doelmanmodel.
Optimale Constructie: Het artikel bewijst dat een best-first uitbreidingstrategie bewezen optimaal is voor het maximaliseren van $\hat{A}(\mathcal{T})$ onder een vast budget. Het algoritme voegt iteratief de geldige knoop met de hoogste $\rho(i)$ toe, waarbij wordt gewaarborgd dat de boom eerst groeit langs de veelbelovendste trajecten. Dit resulteert in een concaaf verband tussen boomgrootte en verwachte acceptatie, met afnemende meeropbrengst.

3. Hardware-bewuste Online Budgetcontroller

BASTION bepaalt dynamisch de optimale boomgrootte $N$ bij elke decoding-stap door de marginale winst in acceptatielengte af te wegen tegen de marginale toename in verificatielatentie.

Latentiemodellering: Het kader maakt gebruik van een hardware-bewust roofline-model om de verificatielatentie $T_{verify}(N)$ te schatten. Dit model houdt rekening met geheugenbandbreedte en rekbeperkingen, en is gekalibreerd via waargenomen runtime's om correcties aan te brengen voor kernel-fusie en planning- overhead.
Adaptief Stoppen: De controller breidt de boom uit totdat de geschatte versnelling $S(N) = \frac{\hat{A}(\mathcal{T}_N) \cdot L_{AR}}{C(N)}$ begint af te nemen. Dit waarborgt dat het systeem de uitbreiding precies stopt wanneer de kosten van het verifiëren van extra knopen de voordelen van een langere geaccepteerde sequentie overtreffen.

Belangrijkste Bijdragen

Boomgebaseerde Block-Diffusie Drafting: Introductie van een best-first prefixboom-construktie-algoritme dat pad-scores van drafter-logits benut om hoogwaardige, prefix-gesloten kandidaatbomen te bouwen vanuit block-diffusie logits, verdergaand dan enkelvoudig pad-greedig decoding.
Hardware-bewuste Online Budgetcontroller: Een innovatieve controller die dynamisch de optimale boomgrootte bepaalt bij elke stap door verwachte acceptatiewinsten af te wegen tegen hardware-gekalibreerde verificatielatentie, waardoor de noodzaak voor statische, vaste boomgroottes wordt geëlimineerd.
Uitgebreide Empirische Validatie: Omvattende evaluatie over diverse doelmanmodellen (Qwen3, Llama-3.1), benchmarks (wiskunde, code, chat) en GPU-architecturen (A100, H100, A6000, RTX PRO 6000), waarbij significante versnellingen worden aangetoond zonder per-instelling tuning.

Experimentele Resultaten

Geevalueerd op een NVIDIA A100 GPU met greedig decoding (temperatuur 0):

Versnelling: BASTION bereikt een gemiddelde 6,61× versnelling ten opzichte van standaard autoregressieve decoding op Qwen3-8B.
Vergelijking met Baselines:
- Presteert beter dan EAGLE-3 (state-of-the-art AR-gebaseerde boomdecoding) met 2,45× (6,61× versus 2,70× gemiddeld).
- Presteert beter dan DFlash (state-of-the-art block-diffusie enkelvoudig pad) met 1,39× (6,61× versus 4,76× gemiddeld).
Acceptatielengte: BASTION bereikt aanzienlijk grotere Gemiddelde Geaccepteerde Lengtes (AAL) in vergelijking met enkelvoudig pad-baselines (bijv. 8,48 versus 6,24 op Qwen3-8B), wat bevestigt dat boomgestructureerde verificatie succesvol langere geldige voortzettingen vastlegt.
Generalisatie: De prestatiewinsten zijn consistent over verschillende GPU-generaties (inclusief H100 en Blackwell-architecturen) en modelfamilies, wat aangeeft dat de methode niet gebonden is aan specifieke hardware of modelconfiguraties.

Betekenis en Claims

Het artikel claimt dat BASTION een aanzienlijke vooruitgang in speculatieve decoding vertegenwoordigt door de spanning op te lossen tussen de parallelle efficiëntie van block-diffusie drafters en de sequentiële coherentie die door doelmanmodellen wordt vereist. Door statische, heuristische boomvormen te vervangen door een dynamische, budget-bewuste constructie, maakt BASTION volledig gebruik van beschikbare parallelle rekenbronnen terwijl het de latentieboetes van over-verificatie van lage-waarschijnlijkheid paden vermijdt.

Cruciaal is dat de methode trainingsvrij is en geen per-instelling tuning vereist, waardoor het direct inzetbaar is over diverse hardware en modelconfiguraties. De auteurs stellen dat hun aanpak effectief de kloof overbrugt tussen het theoretische potentieel van block-diffusie drafting en praktische, hoogdoorvoer inferentie, waarbij bijna optimale versnellingen worden bereikt door adaptief de draftstructuur af te stemmen op real-time systeembeperkingen.