💬 NLP

Cross-Family Speculative Decoding for Polish Language Models on Apple~Silicon: An Empirical Evaluation of Bielik~11B with UAG-Extended MLX-LM

Deze studie presenteert de eerste empirische evaluatie van cross-familie speculatieve decoding voor Poolse taalmodellen op Apple Silicon, waarbij wordt vastgesteld dat contextbewuste tokenvertaling de acceptatiepercentages verbetert maar dat de geheugenbandbreedte-beperkingen op deze architectuur de theoretische snelheidswinst vaak tenietdoen.

Oorspronkelijke auteurs: Krzysztof Fonal

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Krzysztof Fonal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel slimme, maar trage professor hebt die een verhaal voor je moet schrijven. Deze professor (het grote model) is geweldig, maar hij denkt heel langzaam na voor elk woord dat hij schrijft. Om hem sneller te maken, heb je een snelle, jonge stagiair (het kleine model) in dienst.

De stagiair probeert de volgende paar woorden van het verhaal te raden. Als de professor het eens is met de stagiair, schrijft hij die woorden direct neer. Als de stagiair het fout heeft, schrijft de professor het woord zelf en begint de stagiair opnieuw. Dit heet speculatieve decoding. Het idee is dat de stagiair zo snel is dat de professor tijd wint, omdat hij maar één keer hoeft na te denken voor een hele reeks woorden die de stagiair al heeft voorspeld.

Het probleem in dit onderzoek:
Deze "professor" en "stagiair" spreken vaak verschillende talen of gebruiken verschillende woordenboeken.

De professor is Bielik 11B, een model dat gespecialiseerd is in het Pools (een taal met veel klinkers met streepjes erboven, zoals ą en ę).
De stagiairs zijn andere modellen, zoals Qwen of Llama, die niet specifiek voor het Pools zijn gemaakt.

Het probleem is dat ze het Pools op een heel andere manier "opbreken" in stukjes (tokenisering). Voor de professor is het woord wino (wijn) misschien één stukje, maar voor de stagiair is het twee stukjes: w en ino. Als de stagiair wino raadt, maar de professor ziet het als w + ino, dan raakt de communicatie in de war en moet de professor alsnog alles zelf doen. Dat kost tijd.

De oplossing van het onderzoek:
De auteur, Krzysztof, heeft een nieuwe methode bedacht voor computers van Apple (de M2-chip in MacBooks) om deze twee verschillende "taalgebruikers" toch samen te laten werken. Hij noemt dit UAG (Universal Assisted Generation).

Hij gebruikt een slimme vertaler die niet alleen het woord vertaalt, maar ook kijkt naar de context.

Analogie: Stel je voor dat de stagiair "w" zegt. De vertaler kijkt naar het vorige woord. Als het vorige woord een zin was die eindigde op een spatie, weet de vertaler dat "w" waarschijnlijk het woord "in" (Pools voor "in") is. Als het vorige woord een naam was, weet hij dat "w" het begin is van "wino". Door deze context te gebruiken, kan de vertaler de woorden van de stagiair perfect aanpassen aan het woordenboek van de professor.

Wat hebben ze ontdekt?

Context is koning: Als je de vertaler alleen het woord laat vertalen zonder te kijken naar de vorige woorden, gaat het vaak mis. Maar als je de vertaler ook de laatste paar woorden laat zien (de context), werkt het veel beter. Zelfs als de stagiair een ander model is dan de professor, kunnen ze samenwerken als de vertaler slim genoeg is.
De "Pools-specialist" is niet altijd de beste stagiair: Je zou denken dat een stagiair die ook Pools spreekt (Bielik 1.5B) de beste is. Maar nee! De algemene stagiairs (Qwen en Llama) bleken vaak sneller en accurater. Waarom? Omdat de "Pools-specialist" zijn eigen, heel specifieke manier van woorden opbreken gebruikt, wat juist weer in strijd is met de professor. De algemene stagiairs zijn flexibeler.
De Apple-chip is een smalle brug: Apple-computers hebben een heel slim ontwerp waar de geheugenbank en de processor één zijn (Unified Memory). Dit is goed voor energie, maar het is een smalle brug.
- Analogie: Stel je voor dat de professor en de stagiair een smalle brug moeten oversteken om hun werk te doen. Als de stagiair probeert 4 of 5 woorden tegelijk te raden (een lange voorspelling), duurt het te lang om over die smalle brug te lopen. De tijd die je wint door te voorspellen, verlies je weer doordat je over de brug moet wachten.
- Conclusie: Op Apple-computers werkt het alleen als de stagiair maar 2 woorden vooruit denkt. Als hij 4 of 6 woorden vooruit denkt, wordt het juist langzamer dan als de professor alleen zou werken.

Wanneer werkt het wel?
Het werkt het beste bij tekst die voorspelbaar is, zoals lijsten, getallen, of herhalende zinnen (zoals in Wikipedia-artikelen). Bij creatief schrijven of het beantwoorden van moeilijke vragen, waar de tekst heel anders kan zijn, werkt het minder goed.

Waarom is dit belangrijk?
Dit onderzoek toont aan dat je op je eigen laptop (zonder internet en zonder dure cloud-diensten) sneller Pools kunt genereren. Het is een stap in de richting van privacy: je data blijft bij jou, je betaalt geen abonnement, en je kunt toch snel werken. Het bewijst ook dat je niet altijd de "beste" kleine model nodig hebt, maar dat slimme vertaling tussen verschillende modellen het verschil kan maken.

Samenvattend:
Je hebt een trage professor en een snelle stagiair die verschillende woordenboeken gebruiken. Door een slimme vertaler met context te gebruiken, kunnen ze samenwerken op een Apple-laptop. Maar ze moeten niet te veel vooruitdenken (maximaal 2 woorden), anders steken ze vast op de smalle brug van het geheugen. En soms is een algemene stagiair beter dan een specialist!

Probleemstelling

Speculatieve decoding is een techniek om de inferentie van grote taalmodellen (LLM's) te versnellen door een kleiner "draft"-model te gebruiken om kandidaat-tokens te genereren, die vervolgens door een groter "target"-model in één forward pass worden geverifieerd. Hoewel deze techniek effectief is voor modelparen met dezelfde tokenizer op high-end GPU's, zijn er drie cruciale beperkingen die in dit onderzoek worden aangepakt:

Tokenizer-incompatibiliteit: Bestaande methoden vereisen vaak dat draft- en target-modellen dezelfde tokenizer delen. Voor talen met een rijke morfologie, zoals het Pools, is dit een groot probleem. Het Poolse model Bielik 11B (gebaseerd op Mistral) gebruikt een andere tokenizer dan het kleinere Poolse model Bielik 1.5B (gebaseerd op Qwen2.5 met een aangepaste APT4-tokenizer).
Hardware-architectuur: De theorie achter speculatieve decoding gaat uit van een "memory-bandwidth-bound" scenario waarbij het verifiëren van $k$ tokens evenveel kost als het genereren van één token. Het is onbekend of dit geldt voor Apple Silicon's Unified Memory Architecture, waar CPU en GPU dezelfde geheugenbus delen, wat leidt tot een andere kostendynamiek dan bij discrete NVIDIA GPU's.
Gebrek aan ondersteuning: De Universal Assisted Generation (UAG) methode, die cross-tokenizer decoding mogelijk maakt, was tot nu toe niet geïmplementeerd in MLX-LM, het inferentieframework voor Apple Silicon.

Methodologie

Het onderzoek introduceert een nieuwe implementatie van UAG binnen het MLX-LM framework en voert een empirische evaluatie uit op een Apple M2 Pro-chip (32 GB unified memory).

Implementatie van UAG: De auteurs hebben een token-vertaallaag toegevoegd die draft-tokens omzet naar de vocabulaire van het target-model. Ze vergelijken drie strategieën:
- Geen vertaling: Directe doorgifte van tokens (faalt bij verschillende tokenizers).
- Naive vertaling: Decoderen naar tekst en opnieuw tokeniseren zonder context.
- Context-aware vertaling: Een verbeterde methode waarbij een prefix van reeds geaccepteerde tokens ( $p=5$ ) wordt toegevoegd voordat de tekst opnieuw wordt getokeniseerd. Dit lost de randproblemen op die ontstaan door verschillende segmentatiestrategieën van tokenizers.
Experimenteel Opzet:
- Target Model: Bielik 11B-Instruct (8-bit gekwantiseerd, Mistral-architectuur).
- Draft Models: Bielik 1.5B (Qwen2.5-architectuur, Poolse tokenizer), Qwen2.5-1.5B, en Llama 3.2-1B.
- Datasets: Drie Poolse datasets met verschillende kenmerken: Polish Wikipedia (gestructureerd, voorspelbaar), pl_alpaca (instructievolgend, variabel), en synthetische korte vragen.
- Variabelen: Draft-lengtes $k \in \{2, 4, 6\}$ .

Belangrijkste Bijdragen

Eerste implementatie van UAG in MLX-LM: Het mogelijk maken van cross-family speculatieve decoding op Apple Silicon voor modellen met verschillende tokenizers.
Empirische evaluatie voor Poolse LLM's: De eerste systematische studie die aantoont dat cross-family decoding voor Poolse modellen mogelijk is, ondanks de morfologische complexiteit en tokenizer-verschillen.
Hardware-bewuste kostenspecificatie: Het onthullen dat de theoretische aannames over speculatieve decoding op Apple Silicon anders zijn dan op discrete GPU's. De auteurs ontwikkelen een parametrische snelheidsformule die rekening houdt met de specifieke bandbreedte- en overhead-karakteristieken van de M2 Pro.
Inzicht in "Content-Type" effecten: Het aantonen dat het type gegenereerde tekst (gestructureerd vs. creatief) een grotere invloed heeft op het succes dan de keuze van het draft-model zelf.

Resultaten

De resultaten tonen een genuanceerd beeld van de prestaties op Apple Silicon:

Context-aware vertaling is essentieel: Deze strategie levert consistent de hoogste acceptatiepercentages op (tot 45% voor Qwen/Llama op Wikipedia). Naive vertaling presteert vaak slechter dan geen vertaling, vooral bij Llama en Qwen, vanwege randfouten bij het opnieuw tokeniseren.
Verrassende drafter-prestaties: Het Poolse gespecialiseerde model Bielik 1.5B presteert slechter als drafter dan de algemene modellen Qwen2.5-1.5B en Llama 3.2-1B. Dit komt door de incompatibiliteit van de APT4-tokenizer met de Mistral-tokenizer van het target-model, wat leidt tot lagere acceptatiepercentages ondanks de taalkundige affiniteit.
De "Break-even" drempel:
- Bij $k=2$ kan speculatieve decoding de baseline prestaties evenaren of overtreffen (tot 1.7x versnelling) op gestructureerde teksten (Wikipedia) met acceptatiepercentages van 40-50%.
- Bij $k=4$ en hoger neemt de overhead (door de sequentiële aard van de draft-passes op de gedeelde bus) sneller toe dan het voordeel van extra geaccepteerde tokens. De benodigde acceptatiepercentages om break-even te bereiken stijgen naar 80-90%+, wat in de praktijk zelden wordt bereikt.
- Bij $k=6$ is er geen enkele configuratie die de baseline haalt; de throughput daalt drastisch.
Content-afhankelijkheid: Gestructureerde inhoud (lijsten, tabellen, herhalende zinnen) profiteert het meest. Open instructievolgende taken (zoals in pl_alpaca) tonen lagere acceptatiepercentages en minder snelheidswinst.

Betekenis en Conclusie

Dit onderzoek biedt een cruciale leidraad voor het gebruik van LLM's op consumentenhardware, specifiek Apple Silicon:

Haalbaarheid voor minderheidstalen: Cross-family speculatieve decoding is een haalbare strategie voor Poolse (en waarschijnlijk andere morfologisch rijke) talen, mits er gebruik wordt gemaakt van context-aware vertaling. Gebruikers hoeven niet per se een klein, taalspecifiek model te hebben om versnelling te krijgen; algemene modellen werken vaak beter.
Hardware-beperkingen: Op Apple Silicon is de geheugenbandbreedte de beperkende factor. In tegenstelling tot NVIDIA GPU's, waar verifiëren van meerdere tokens bijna gratis is, kost elke draft-pass op de M2 Pro aanzienlijke tijd. Daarom is een korte draft-lengte ( $k=2$ ) de enige veilige optie; langere sequenties zijn contraproductief.
Energie-efficiëntie: Ondanks lagere absolute snelheden dan high-end datacenter GPU's, is Apple Silicon uitzonderlijk energie-efficiënt (ongeveer 2.0 J/token). Dit maakt het ideaal voor lokale, privacy-bewuste toepassingen en lange inferentie-sessies zonder API-kosten.
Toekomstperspectief: De studie identificeert technische uitdagingen (zoals "token absorption" bij het opnieuw tokeniseren) die door verdere engineering kunnen worden opgelost. Het onderstreept dat voor lokale AI-deployment op Apple Silicon, de combinatie van privacy, energie-efficiëntie en matige snelheidswinst (via $k=2$ ) een sterke waardepropositie vormt.

Probleemstelling

Methodologie

Belangrijkste Bijdragen

Resultaten

Betekenis en Conclusie

Meer zoals dit