💬 NLP

EntMTP: Accelerating LLM Inference with Entropy Guided Multi Token Prediction

EntMTP is een training-vrije scheduler die de diepte van multi-token voorspelling dynamisch aanpast op basis van lokale generatie-entropie om de inferentie-doorvoer te maximaliseren terwijl de outputkwaliteit behouden blijft, waarbij een versnelling van tot liefst 1,36x wordt bereikt ten opzichte van bestaande baselines.

Oorspronkelijke auteurs: Carrie Chen

Gepubliceerd 2026-06-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Carrie Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een verhaal probeert te schrijven, maar je hebt een zeer strikte regel: je mag slechts één woord tegelijk schrijven, en na elk enkel woord moet je stoppen, je hele levenswerk controleren om te zien of dat woord perfect is, en dan pas verdergaan. Dit is hoe huidige Large Language Models (LLM's) meestal werken. Het is ongelooflijk nauwkeurig, maar het is ook pijnlijk traag omdat je constant stopt om je werk te controleren.

Om dit te versnellen, hebben onderzoekers een truc uitgevonden genaamd Multi-Token Prediction (MTP). In plaats van één woord te schrijven en te controleren, probeert het model de volgende drie of vier woorden tegelijk te raden, als een conceptversie. Daarna doet het een grote "controle" om te zien hoeveel van die gokken juist waren. Als het drie woorden correct had geraden, bespaart het veel tijd.

Echter, het paper EntMTP wijst op een gebrek in hoe deze truc momenteel wordt gebruikt.

Het Probleem: De "One-Size-Fits-All" Fout

Huidige modellen gebruiken een statische strategie. Stel je voor dat je een auto rijdt. De huidige methode zegt: "No matter of je nu op een gladde snelweg rijdt of op een hobbelige zandweg, je moet altijd je voet op het gaspedaal houden met exact dezelfde snelheid en precies 100 voet vooruit kijken."

Op een gladde snelweg (lage entropie): De weg is voorspelbaar. Je zou veilig 100 voet vooruit kunnen kijken en de volgende bochten perfect kunnen raden.
Op een hobbelige zandweg (hoge entropie): De weg is chaotisch. Ver vooruit kijken is een verspilling van tijd, want je kunt een kuil of een hert raken. Je zou slechts een paar voet vooruit moeten kijken en voorzichtig moeten rijden.

Bestaande modellen (zoals Hydra en Medusa) kiezen één "kijk-afstand" (een specifieke boomstructuur) voordat ze beginnen en houden daar de hele tijd aan vast. Dit is inefficiënt. Soms raden ze te ver vooruit en verspillen ze energie; andere keren raden ze te weinig vooruit en missen ze een kans om op te trekken.

De Oplossing: EntMTP (De Slimme Co-Piloot)

De auteurs stellen EntMTP voor (Entropy-guided Multi-Token Prediction). Denk aan dit als een slimme co-piloot die constant de wegcondities controleert en de bestuurder vertelt hoe ver hij vooruit moet kijken.

Het lezen van de "Entropie" (De Wegcondities):
Het model meet constant hoe "verrassend" de volgende woorden zijn.
- Lage Entropie (Voorspelbaar): De tekst vloeit soepel (bijv. "De zon komt op in de..."). De co-piloot zegt: "Makkelijk! Laten we de volgende 4 woorden raden!"
- Hoge Entropie (Chaotisch): De tekst is lastig of complex (bijv. een moeilijk wiskundig probleem of een plotselinge plotwending). De co-piloot zegt: "Ho, dit is riskant. Laten we slechts de volgende 1 woord raden om veilig te blijven."
De "Tree Bank" (De Gereedschapskist):
Voordat het model zelfs begint met schrijven, bereiden de onderzoekers een kleine "bank" van verschillende gokstrategieën (bomen) voor. Sommige zijn groot en agressief (veel woorden raden), en sommige zijn klein en conservatief (weinig woorden raden).
- Cruciaal is dat ze niet zomaar één kiezen. Ze maken een menu van de beste opties voor verschillende situaties.
De Wisseling (De Versnellingsbak):
Tijdens het schrijfproces werkt EntMTP als een versnellingsbak.
- Als de tekst makkelijk is, schakelt het naar een Hoge Versnelling (de grote boom) om vooruit te razen.
- Als de tekst moeilijker wordt, schakelt het direct naar een Lage Versnelling (de kleine boom) om een crash te voorkomen.
- De Magie: Schakelen kost bijna geen tijd. Het is slechts een snelle pointer-wissel in het geheugen van de computer, geen zware herbouw.

De Resultaten: Sneller Zonder Kwaliteitsverlies

Het paper testte deze nieuwe "Slimme Co-Piloot" op drie zeer verschillende soorten taken:

Coderen (HumanEval): Het schrijven van computerprogramma's.
Wiskunde (GSM8K): Het oplossen van basisschool wiskundeproblemen.
Chatten (ShareGPT): Het voeren van een gesprek.

De Uitkomst:

Snelheid: EntMTP was consequent 9% tot 15% sneller dan de vorige beste methoden (Hydra). In sommige gevallen was het 36% sneller dan oudere methoden.
Kwaliteit: Omdat het model zijn werk nog steeds perfect controleert, is de kwaliteit van het schrijven helemaal niet gedaald. Het is also wordt sneller gereden maar arriveer je op exact dezelfde bestemming met dezelfde veiligheid.
Efficiëntie: Het bereikte deze versnelling niet door de computer sterker te maken, maar door de computer slimmer te maken over wanneer het ver vooruit moet raden en wanneer het voorzichtig moet zijn.

De Kernboodschap

Denk aan de oude manier als een hardloper die op volle snelheid 100 meter sprint, stopt om zijn veters te strikken, weer 100 meter sprint, en weer stopt, ongeacht of het parcours vlak is of vol hindernissen zit.

EntMTP is de hardloper die naar het parcours kijkt. Als het vlak is, sprint hij hard. Als hij een hindernis ziet aankomen, vertraagt hij net genoeg om er veilig overheen te stappen, om vervolgens direct weer te sprinten. Hierdoor kan hij de race veel sneller voltooien zonder te struikelen.

Technische Samenvatting: EntMTP

Probleemstelling

Large Language Models (LLM's) kampen met een aanzienlijke latentie-bottleneck door de sequentiële aard van autoregressieve decodering, waarbij elke token-generatie een volledige forward pass door alle modelparameters vereist. Hoewel Speculative Decoding dit aanpakt door kandidaat-tokens te genereren met een goedkoper model en deze parallel te verifiëren, integreren Multi-Token Prediction (MTP)-benaderingen zoals Medusa en Hydra deze capaciteit direct in het doelmodel via lichtgewicht heads, waardoor de noodzaak voor een apart draft-model vervalt.

Huidige MTP-implementaties (bijv. Hydra) vertrouwen echter op een statische boomgebaseerde attention-topologie. Dit betekent dat de speculatiediepte en de computationele kosten voor verificatie constant blijven gedurende de gehele generatiesequentie, ongeacht de context. De auteurs stellen dat dit fundamenteel niet in lijn is met de entropiepatronen van natuurlijke taal:

Gebieden met lage entropie (zeer voorspelbaar) ondersteunen betrouwbare multi-step drafting en profiteren van diepere bomen.
Gebieden met hoge entropie (onvoorspelbaar) vereisen conservatieve speculatie om verspilde verificatiecycli te voorkomen.

Bovendien is de optimale boomtopologie taakspecifiek. Een topologie die Pareto-optimaal is voor één benchmark (bijv. code-generatie) kan suboptimaal zijn voor een andere (bijv. conversationele dialoog), terwijl huidige methoden vaak een enkele globale topologie offline selecteren.

Methodologie: EntMTP

Het paper stelt EntMTP (Entropy-guided Multi-Token Prediction) voor, een training-vrije scheduler die dynamisch schakelt tussen verschillende boomgebaseerde attention-topologieën op basis van een lopende schatting van de lokale generatie-entropie. Het systeem werkt in twee fasen:

1. Offline: Het construeren van de Throughput-Pareto-front

In plaats van een enkele statische boom te selecteren, bouwt EntMTP een bank van taakspecifieke, Pareto-optimale bomen:

Greedy Constructie: Met behulp van een self-rollout procedure op een kalibratieset construeert het systeem greedily een sequentie van voorstelbomen van toenemende grootte. Het scoort kandidaat-bomen op basis van de gemiddelde acceptatie-lengte, waarbij bij gelijke scores de voorkeur wordt gegeven aan minder diepe dieptes en kleinere kind-rank sommen.
Recalibratie: Om de optimistische bias in de initiële scoring te corrigeren (waarbij kandidaten worden gescoord tegen een grotere gezamenlijke boom), worden de fronten gerecalibreerd tegen een canonieke Hydra self-rollout met gebruik van elk kandidaat-specifieke voorstel en attention mask.
Throughput Evaluatie: Het systeem evalueert de volledige acceptatie-front end-to-end op de doelwerkbelasting, waarbij de wall-clock output tokens per seconde wordt gemeten. Dit identificeert een "Throughput-Pareto bank" ( $B = \{T_1, \dots, T_K\}$ ) van bomen die de beste kosten-throughput afwegingen bieden voor die specifieke taak.

2. Online: Inference-Time Tree Scheduler

Tijdens runtime selecteert EntMTP de optimale boom uit de vooraf gecompileerde TopologyBank voor elke decode-stap zonder masks te reconstrueren of kernels te herbouwen (schakelen is een $O(1)$ pointer swap).

Feature Input: De scheduler consumeert standaard features van het model, specifgens de EAGLE-2 path value (afgeleid van de top-1 waarschijnlijkheid van de base LM en de top-1 waarschijnlijkheden van de Hydra heads). Deze scalaire $s$ vertegenwoordigt de beste padwaarde en correleert monotoon met de verwachte acceptatie-lengte.
Selectiebeleid: Het paper introduceert drie beleidsregels om de feature $s$ $s$ naar een boomindex te mappen:
- ENTMTP∗: Een statische regel die de enkele taak-optimale boom selecteert.
- ENTMTP-l: Een threshold ladder die $s$ in $K$ intervallen verdeelt, waarbij verschillende bomen worden geselecteerd voor verschillende betrouwbaarheidsniveaus.
- ENTMTPτ: Een hysteretische binaire regel die gebruikmaakt van aparte "on" ( $\tau_{on}$ ) en "off" ( $\tau_{off}$ ) drempels. Dit schakelt tussen een conservatieve (kleine/ondiepe) boom en een agressieve (grote/diepe) boom, wat per-stap jitter tijdens entropiefluctuaties voorkomt.

Belangrijkste Bijdragen

Identificatie van Taakafhankelijkheid: Het paper toont aan dat acceptatiegedrag en throughput-fronten sterk werkbelasting-afhankelijk zijn, wat het gebruik van een enkele globale topologie voor diverse taken ongeldig maakt.
Training-vrije Dynamische Scheduling: EntMTP introduceert een runtime scheduler die de speculatiediepte aanpast aan de lokale context-voorspelbaarheid zonder dat extra modeltraining of fine-tuning vereist is.
Efficiënte Implementatie: Het systeem bereikt dynamische switching met verwaarloosbare overhead (<0,1 ms per stap) door gebruik te maken van vooraf gecompileerde attention masks en positie-offsets, waardoor de switching cost wordt teruggebracht tot een eenvoudige pointer swap.
Lossless Acceleratie: De methode behoudt de exacte doelverdeling, wat garandeert dat winsten in snelheid niet ten koste gaan van de generatiekwaliteit (de perplexity blijft binnen 0,02 nats van het base model).

Resultaten

Geëvalueerd op HumanEval, ShareGPT en GSM8K benchmarks met Vicuna-7B, presteert EntMTP consistent beter dan bestaande baselines:

vs. Hydra: EntMTP bereikt een 1,09–1,15x versnelling ten opzichte van de Hydra default. De dynamische scheduler (ENTMTPτ) levert de beste resultaten, met 124,7 tok/s op HumanEval (+14,0% over Hydra) en 117,5 tok/s op ShareGPT (+7,8% over Hydra).
vs. Medusa: EntMTPτ bereikt een piekversnelling van ~1,36x ten opzichte van Medusa baselines.
vs. Autoregressief (AR): EntMTPτ biedt een 3,13x tot 3,47x versnelling ten opzichte van vanilla autoregressieve decodering over alle benchmarks.
Efficiëntie: De dynamische scheduler (ENTMTPτ) voegt een marginale verbetering van 0,5–2,1% toe ten opzichte van de statische taak-optimale boom (ENTMTP∗), met de grootste winsten waargenomen op GSM8K waar het mengen van conservatieve bomen tijdens high-entropy reasoning stappen de verifier-cycli recycleert.

Betekenis

Het paper claimt dat EntMTP een belangrijke stap voorwaarts is in speculative decoding door de speculatiediepte af te stemmen op de inherente voorspelbaarheid van de gegenereerde tekst. Door af te stappen van statische, "one-size-fits-all" topologieën naar een context-bewuste, entropie-gestuurde aanpak, maximaliseert EntMTP de verwachte geaccepteerde token-throughput over de volledige distributie van de gegenereerde tekst. Het werk demonstreert dat significante reducties in latentie kunnen worden bereikt door intelligente scheduling van bestaande MTP-architecturen zonder de getrouwheid van de gegenereerde output in gevaar te brengen.