🤖 machine learning

Fast and Expressive Multi-Byte Prediction with Probabilistic Circuits

Dit artikel introduceert MTPC, een op probabilistische circuits gebaseerd framework voor multi-token voorspelling dat de afweging tussen expressiviteit en latentie optimaliseert door gezamenlijke distributies over toekomstige tokens te coderen, waardoor de generatie van byte-niveau en subword LLM's aanzienlijk wordt versneld terwijl de oorspronkelijke prestaties van het model behouden blijven.

Oorspronkelijke auteurs: Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een verhaal probeert te schrijven, maar je hebt een zeer strikte regel: je mag slechts één letter tegelijk schrijven. Elke keer als je een letter typt, moet je stoppen, nadenken en je superintelligente brein (de AI) vragen wat de volgende letter is. Dit is hoe de meeste huidige Large Language Models (LLM's) werken. Het is accuraat, maar ook ongelooflijk traag, vooral als je in "bytes" schrijft (de ruwe bouwstenen van tekst) in plaats van hele woorden, omdat je duizenden letters moet typen om een enkele zin te schrijven.

Dit paper introduceert een nieuwe methode genaamd MTPC (Multi-Token Prediction Circuits) om dit snelheidsprobleem op te lossen zonder de kwaliteit van het verhaal te verliezen.

Zo werkt het, met behulp van alledaagse analogieën:

1. Het Probleem: Het "Raadspelletje" vs. De "Kristallen Bol"

Om de snelheid te verhogen, probeerden onderzoekers een truc genaamd Multi-Token Prediction (MTP). In plaats van één letter te raden, probeert de AI een heel blok letters tegelijk te raden (zoals het raden van de volgende 8 letters van een woord).

De Oude Manier (Onafhankelijkheidsveronderstelling): Stel je voor dat je de volgende 8 letters van een woord raadt, maar je behandelt elke letter alsof deze geen relatie heeft met de anderen. Je raadt de eerste letter, dan de tweede, dan de derde, waarbij je de andere letters volledig negeert.
- Het Resultaat: Dit is snel, maar leidt tot onzin. Je krijgt misschien "Cretoria" in plaats van "Pretoria" of "Craporia", omdat het model niet besefte dat die letters bij elkaar moesten passen. Het is alsof je een huis probeert te bouwen door willekeurig bakstenen te kiezen zonder te controleren of ze passen.
De Nieuwe Manier (MTPC): De auteurs zeggen: "Laten we stoppen met het isoleren van letters. Laten we het hele blok als een verbonden groep raden." Ze gebruiken een wiskundig hulpmiddel genaamd een Probabilistisch Circuit.
- De Analogie: Denk aan de oude manier als een rij mensen die een briefje doorgeven, waarbij iedereen een willekeurig woord fluistert. De nieuwe manier is als een dirigent die een orkest leidt. De dirigent (het circuit) weet dat als het eerste instrument een C-majeur akkoord speelt, de volgende instrumenten moeten spelen wat bij dat akkoord past. Het begrijpt de afhankelijkheden tussen de letters.

2. De Gereedschapskist: De "Circuit Architect"

Het paper stelt een flexibel framework voor (MTPC) waarmee je kunt kiezen hoe "verbonden" de letters moeten zijn. Ze bieden verschillende "architecturen" (vormen van het circuit) aan om een balans te vinden tussen snelheid en intelligentie:

FF (Fully Factorised): De "Willekeurig Raden" modus. Snel, maar dom. (De orkestleden spelen alleen).
CP (Canonical Polyadic): Een "Groep Raden." Ze raden een paar hoofdthema's en bouwen de letters eromheen. Iets slimmer.
HMM (Hidden Markov Model): Een "Kettingreactie." De eerste letter beïnvloedt de tweede, die de derde beïnvloedt, enzovoort. Dit is erg slim maar traag, omdat je moet wachten tot de een klaar is voordat de volgende kan beginnen.
BTree (Binary Tree): De "Teamoverleg" modus. Dit is de ster van het paper. Stel je voor dat je de 8 letters splitst in twee groepen van 4. Het model raadt de eerste groep en de tweede groep tegelijkertijd, maar ze zijn verbonden door een "teamleider" (een verborgen variabele) die ervoor zorgt dat ze het eens zijn over het algemene thema.
- Waarom het geweldig is: Het krijgt de intelligentie van de "Kettingreactie" maar de snelheid van de "Willekeurig Raden" omdat het twee dingen tegelijk doet.

3. Het Veiligheidsnet: "Speculative Decoding"

Je zou je kunnen afvragen: "Als de AI een heel blok in één keer raadt, wat als het fout gaat?"

Het paper gebruikt een techniek genaamd Speculative Decoding.

De Analogie: Stel je een snelle hardloper voor (het Draft Model) en een trage, uiterst nauwkeurige rechter (de Verifier).
1. De snelle hardloper sprint vooruit en raadt de volgende 8 letters.
2. De trage rechter controleert ze één voor één.
3. Als de rechter het eens is met de gok van de hardloper, geweldig! We houden die letters aan.
4. Als de rechter het er niet mee eens is, stoppen we direct daar, gooien de slechte gokken weg en houden alleen de letters over die de rechter heeft goedgekeurd.

Omdat het Draft Model (MTPC) zo goed is in het begrijpen van hoe letters met elkaar verbonden zijn (dankzij de BTree-circuit), is de rechter veel vaker het eens met de hardloper dan voorheen. Dit betekent dat we meer van de snelle gokken kunnen behouden, wat het hele proces versnelt.

4. De Resultaten: Versnellen zonder de boel te breken

De auteurs hebben dit getest op twee specifieieve AI-modellen:

EvaByte: Een model dat al in bytes schrijft.
Llama 3.2 3B (Byte): Een populair model dat is omgezet om in bytes te schrijven.

De Bevindingen:

Massale Versnelling: Vergeleken met de oude "één letter tegelijk" methode, maakte MTPC EvaByte 5,15 keer sneller en Llama 2,24 keer sneller.
Beter dan de "Onafhankelijkheid" Truc: Zelfs vergeleken met andere snelle methoden die simpelweg letters onafhankelijk van elkaar raden, was MTPC 1,17 keer sneller.
Geen Kwaliteitsverlies: Cruciaal is dat, dankzij het "Veiligheidsnet" (Speculative Decoding), de uiteindelijke output exact dezelfde kwaliteit heeft als wanneer de AI het één letter tegelijk had geschreven. Je verliest geen nauwkeurigheid voor snelheid.

Samenvatting

Het paper presenteert een nieuwe manier om AI-tekstgeneratie sneller te maken door de AI te leren om blokken tekst als een verbonden groep te raden in plaats van geïsoleerde letters. Door een slimme "Binary Tree" structuur (BTree) te gebruiken om deze gokken te organiseren en een "Rechter" in te zetten om ze te verifiëren, hebben ze een enorme snelheidswinst behaald (tot wel 5x) terwijl ze garanderen dat de tekst perfect blijft. Het is alsof je een typist leert om hele woorden in één keer te typen, maar dan met een veiligheidsnet dat typefouten direct vangt.

Technische Samenvatting: Snelle en Expressieve Multi-Byte Voorspelling met Probabilistische Circuits

Probleemstelling

Autoregressieve (AR) Large Language Models (LLMs) genereren tekst één token per keer, wat hoge latentie en energiekosten met zich meebrengt. Deze bottleneck is bijzonder ernstig bij byte-level LLMs, die geen tokenizers hebben maar aanzienlijk meer decodestappen vereisen om tekst van dezelfde lengte te genereren vergeleken met subword-modellen. Hoewel Multi-Token Prediction (MTP) een oplossing biedt door een venster van toekomstige tokens gelijktijdig te voorspellen, worden bestaande benaderingen geconfronteerd met een kritieke afweging tussen expressiviteit en efficiëntie:

Onafhankelijkheidsaannames: Veel huidige MTP-methoden gaan ervan uit dat toekomstige tokens onafhankelijk zijn (Fully Factorised, FF). Hoewel efficiënt, offert dit de expressiviteit op, wat leidt tot "byte-salad" voortzettingen (bijv. zinloze combinaties van geldige bytes) en lage acceptatiegraden tijdens speculatieve decodering.
Ondiepe Autoregressieve Heads: Alternatieve methoden (bijv. Hydra, EAGLE) behouden autoregressieve generatie binnen het voorspellingsvenster. Hoewel ze expressiever zijn, liggen ze dichter bij versnelde AR-decodering dan echte gezamenlijke MTP en leggen ze de afhankelijkheidsstructuur niet bloot als een instelbare modelleringskeuze.
Latentie vs. Expressiviteit: Er is een gebrek aan een systematisch framework om het spectrum tussen volledig gefactoriseerde modellen en complexe gezamenlijke distributies te navigeren zonder een evenredig hoge latentie te veroorzaken.

Methodologie: MTPC Framework

De auteurs stellen MTPC (Multi-Token Prediction Circuits) voor, een framework dat gebruikmaakt van Probabilistische Circuits (PC's) om de gezamenlijke distributie over toekomstige tokens te parametriseren. MTPC behandelt de gezamenlijke distributie als een tractabele computationele graaf die hiërarchische mengmodellen codeert, waardoor een systematische exploratie van architecturale varianten mogelijk is.

Kerncomponenten

Probabilistische Circuit Architecturen: MTPC generaliseert bestaande methoden en introduceert nieuwe structuren om afhankelijkheden tussen toekomstige bytes te modelleren:
- MTPC-FF: Een volledig gefactoriseerd model (equivalent aan standaard onafhankelijke MTP) gerepresenteerd als een product van inputunits.
- MTPC-CP: Een Canonical Polyadic (CP) decompositie die een discrete latente variabele introduceert om een mengeling van gefactoriseerde componenten te creëren, waardoor enige afhankelijkheden worden hersteld.
- MTPC-HMM: Een Hidden Markov Model parameterisatie die een sequentie van latente variabelen gebruikt om verre afhankelijkheden te vangen via tijdafhankelijke transitiematrices.
- MTPC-BTree: Een nieuwe Binary Tree factorisatie die een hiërarchie van latente variabelen codeert. Deze structuur maakt parallelle sampling van tokens en latente variabelen mogelijk, wat de asymmetrie en latentieproblemen van HMM's aanpakt.
Parameterisatie met LLM's:
- Het framework gebruikt een LLM-backbone (met optionele LoRA-adapters) om contextuele kenmerken uit de inputgeschiedenis te extraheren.
- Een neuraal netwerk-head brengt deze kenmerken in kaart naar de parameters van de PC (input unit distributies en sum unit gewichten), wat een neurale conditionele circuit creëert.
- Dit stelt het model in staat om specifieke circuitstructuren (FF, CP, HMM, BTree) te abstraheren en zich te concentreren op het leren van de getensoriseerde parameters.
Integratie van Speculatieve Decodering:
- MTPC maakt gebruik van self-speculative decoding, waarbij het draft-model (MTPC-head) en de verifier (AR LLM) dezelfde backbone delen.
- Het draft-model samplet een venster van tokens parallel vanuit de PC.
- De verifier accepteert of verwerpt deze tokens parallel.
- Garanties: Het framework garandeert dat greedy decodering identieke outputs geeft aan de doel-AR LLM, en dat sampling in verwachting overeenkomt met het doel, wat zorgt voor geen verlies in generatiekwaliteit.
Afwegingsdimensies:
- Circuit Architectuur: Kiezen tussen FF, CP, HMM of BTree om de balans tussen afhankelijkheidsmodellering en computationele kosten te bepalen.
- Layer Sharing: Het aanpassen van het aantal LoRA-lagen in het draft-model (0 tot 4 lagen) om de divergentie tussen draft en verifier representaties te controleren, wat de expressiviteit-latentie afweging verder afstemt.

Belangrijkste Bijdragen

MTPC Framework: Introductie van een snel MTP-framework gebaseerd op Probabilistische Circuits dat de onafhankelijkheidsaannames versoepelt en tensor-decompositie methoden (zoals CP) generaliseert in een verenigd PC-framework.
Systematische Afwegingsanalyse: Rigoureuze identificatie van de afwegingen tussen geaccepteerde tokens (expressiviteit) en generatielatentie. Het paper demonstreert dat optimale throughput niet altijd wordt bereikt door het meest expressieve model (bijv. HMM), maar door architecturen zoals BTree die betere parallellisatie bieden.
Empirische Validatie: Het retrofitten van MTPC op twee byte-level LLM's:
- EvaByte (6.5B): Een byte-level model dat vooraf is getraind met MTP-mogelijkheden.
- Llama 3.2 3B (Byte): Een "byte-fied" versie van een populair subword-model, niet vooraf getraind voor MTP.

Experimentele Resultaten

De auteurs evalueerden MTPC op NVIDIA L40S en RTX 3090 GPU's met de Tulu 3 dataset.

Throughput Winsten:
- EvaByte: MTPC bereikte een 5.15× versnelling ten opzichte van standaard AR-generatie en een 1.17× versnelling ten opzichte van MTP met onafhankelijkheidsaannames (FF).
- Llama 3.2 3B: MTPC bereikte een 2.24× versnelling ten opzichte van AR-generatie en een 1.17× versnelling ten opzichte van FF MTP.
Architectuur Prestaties:
- BTree vs. HMM: Hoewel HMM's hoge acceptatiegraden behaalden, introduceerde hun autoregressieve aard een hoge latentie, wat resulteerde in lagere algehele throughput. BTree architecturen vonden de optimale balans, wat parallelle sampling mogelijk maakte en de hoogste throughput bereikte, vooral voor grotere window sizes ( $n=16$ ).
- LoRA Layers: Het toevoegen van LoRA-adapters aan het draft-model verhoogde de expressiviteit (geaccepteerde tokens) maar ook de latentie. De optimale configuratie varieerde per model: 1 LoRA-laag was optimaal voor EvaByte, terwijl 2 LoRA-lagen baat hadden bij Llama.
Window Size: Het uitbreiden van het voorspellingsvenster naar $n=16$ verhoogde de throughput aanzienlijk voor expressieve circuits (HMM, BTree) vergeleken met $n=8$ , vooral wanneer dit gecombineerd werd met LoRA-adapters.

Betekenis en Claims

Het paper claimt dat MTPC een systematische manier biedt om door het spectrum van MTP architecturale varianten te navigeren, waarbij men verder gaat dan de binaire keuze tussen onafhankelijke voorspelling en ondiepe autoregressieve heads. Door gebruik te maken van Probabilistische Circuits, stelt het framework onderzoekers in staat om expliciet inter-token afhankelijkheden te modelleren terwijl tractabiliteit behouden blijft.

De auteurs benadrukken dat deze winsten in throughput worden behaald zonder de generatiekwaliteit op te offeren, aangezien het speculatieve decoderingsproces de alignment met de doel-AR LLM garandeert. Het werk suggereert dat byte-level LLM's, die vaak gehinderd worden door computationele overhead, mainstream kunnen worden door dergelijke efficiënte multi-byte voorspellingsstrategieën. Het framework wordt gepresenteerd als een flexibel instrument voor het optimaliseren van de efficiëntie van de volgende generatie byte-level modellen. De code en modellen zijn publiekelijk beschikbaar gemaakt.