💬 NLP

Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding

Dit artikel introduceert Pruned BPE, een post-training methode die de efficiëntie van tokenisatie verbetert door intermediate merge-tokens met een lage blootstelling te verbergen uit de vocabulaire van het model en die slots te heralloceren aan meer frequente kandidaten, waardoor de lengte van de gecodeerde sequentie wordt verminderd zonder de voor het model zichtbare vocabulairegrootte te vergroten.

Oorspronkelijke auteurs: Kenny Shao

Gepubliceerd 2026-08-04

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kenny Shao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert lezen. Om dit te doen, kun je hem niet simpelweg een woordenboek van elk woord in het universum geven; dat zou te zwaar zijn voor zijn brein. In plaats daarvan leer je hem een slim trucje: breek woorden af in kleinere, herbruikbare brokjes, zoals LEGO-steentjes. Als de robot "unbelievable" ziet, heeft hij geen speciale steen nodig voor het hele woord. Hij kan gewoon "un", "believe" en "able" aan elkaar klikken. Dit is hoe moderne AI de wereld leest: het hakt tekst in kleine stukjes die "tokens" worden genoemd.

De meest populaire manier om te beslissen welke LEGO-steentjes je wilt houden, is een methode genaamd Byte Pair Encoding (BPE). Zie BPE als een zeer strikte, repetitieve leraar. De leraar kijkt naar een enorme stapel tekst, vindt de twee stukjes die het vaakst naast elkaar voorkomen, en plakt ze aan elkaar om een nieuwe, grotere steen te maken. Dit doet de leraar keer op keer, waardoor een bibliotheek van steentjes ontstaat die variëren van enkele letters tot hele woorden. Het probleem is dat deze leraar een beetje een verzamelaar is. Hij plakt stukjes aan elkaar die alleen nuttig zijn voor het maken van grotere stukken, maar die nooit op zichzelf verschijnen in het uiteindelijke verhaal. Het is alsof je een LEGO-steentje hebt dat alleen wordt gebruikt om de toren van een kasteel te bouwen, maar de toren wordt nooit gebouwd in het uiteindelijke model. De robot moet dit nutteloze steentje nog steeds in zijn rugzak dragen, wat ruimte inneemt die gebruikt had kunnen worden voor iets interessanters.

Dit artikel, getiteld "Pruned BPE," stelt een simpele vraag: Wat als we de rugzak van de robot kunnen opruimen nadat de leraar klaar is met het bouwen van de bibliotheek? De auteur, onder leiding van Kenny Shao, stelt een methode voor om naar alle steentjes te kijken die de leraar heeft gemaakt, de steentjes te identificeren die zelden in de uiteindelijke tekst voorkomen, en ze te vervangen door betere, nuttigere steentjes. Ze verkleinen de rugzak niet; ze herschikken de inhoud zodat elke plek gevuld is met iets dat de robot daadwerkelijk nodig heeft om te zien.

Het Probleem: De "Ghost" Steentjes

Om de oplossing te begrijpen, moeten we eerst de rommel zien. Wanneer de standaard BPE-leraar werkt, bouwt hij een hiërarchie op. Hij kan "en" en "viron" aan elkaar plakken om "environ" te maken, en vervolgens "environ" en "ment" aan elkaar plakken om "environment" te maken. In het standaard systeem krijgt elke steen die tijdens dit proces wordt gecreëerd een plek in de uiteindelijke woordenschat van de robot.

Maar hier is de crux: de steen "environ" kan een fantastische helper zijn bij het bouwen van "environment", maar hij verschijnt zelden op zichzelf in echte zinnen. Het is een "ghost" steentje (een spooksteentje). Het bestaat in het geheugen van de robot en neemt een waardevolle plek in, maar de robot gebruikt het bijna nooit als een definitief antwoord. Het is alsond het bewaren van een gespecialiseerde schroevendraaier in je zak die je slechts één keer per jaar gebruikt om een specifiek speeltje te bouwen, terwijl je geen ruimte meer hebt voor een hamer of een moersleutel.

De auteur stelt dat deze ghost-steentjes ruimte verspillen. Omdat ze zelden worden gebruikt, krijgt de robot niet genoeg oefening met hen, waardoor hun begrip van deze steentjes zwak is. Ondertussen zijn er andere nuttige woordfragmenten die de robot wel vaak ziet, maar die geen plek in de rugzak krijgen omdat alle plekken bezet zijn door deze nutteloze geesten.

De Oplossing: De Grote Rugzak-wissel

Het artikel introduceert Pruned BPE, een tweestaps-proces dat fungeert als een opruimploeg na de training.

Stap 1: De Standaard Bouwfase.
Eerst laten ze de standaard BPE-leraar zijn werk doen zoals gebruikelijk. Hij bouwt de volledige bibliotheek van steentjes, door paren aan elkaar te plakken totdat hij de doelgrootte bereikt (bijvoorbeeld 10.000 steentjes). Op dit punt is de bibliotheek vol, maar het is rommelig met die "ghost" steentjes.

Stap 2: De Zichtbaarheidscontrole.
Nu kijkt de auteur naar de uiteindelijke bibliotheek en vraagt: "Hoe vaak komt dit steentje daadwerkelijk voor in de voltooide tekst?" Ze tellen de "exposure" (blootstelling) van elk steentje. Als een steentje zoals "environ" slechts een fractie van de tijd voorkomt, wordt het gemarkeerd als "internal-only" (alleen intern). Het blijft in het systeem als een verborgen helper—het kan nog steeds worden gebruikt om grotere woorden te bouwen—maar het mag niet langer een definitief antwoord zijn dat de robot ziet.

Stap 3: De Herallocatie.
Dit is het magische deel. Wanneer ze een ghost-steentje uit de "zichtbare" lijst gooien, laten ze er niet zomaar een gat achter. Ze gaan terug naar de trainingsdata en blijven de robot leren om nieuwe steentjes te vinden die daadwerkelijk nuttig zijn. Ze blijven trainen totdat ze genoeg hoogwaardige, veelgeziene steentjes hebben gevonden om de lege plekken te vullen.

De rugzak blijft dus even groot (bijvoorbeeld 10.000 slots), maar de inhoud is totaal anders. De nutteloze "ghost" steentjes worden vervangen door "star" steentjes die de robot daadwerkelijk gebruikt. Wanneer de robot een woord leest, gebruikt hij nog steeds de verborgen helper-steentjes om de structuur te bouwen, maar de uiteindelijke lijst met tokens die hij naar het brein stuurt, bevat alleen de nuttige, hoog-zichtbare tokens.

Wat Ze Vonden

De auteur testte deze methode op twee verschillende stapels tekst: één die grotendeels Engels is en één die grotendeels Chinees is, plus een mix van beide. Ze vergeleken hun "Pruned" methode met de standaard "verzamelaars" methode, waarbij de grootte van de rugzak exact gelijk bleef voor beide.

De resultaten waren verrassend consistent. Door de laag-zichtbare geesten te vervangen door hoog-zichtbare sterren, slaagde de Pruned BPE-methode erin de tekst iets beter te comprimeren.

Op de Engels-rijke tekst verminderden ze het aantal benodigde tokens met ongeveer 0,27% tot 0,36% (afhankelijk van hoe streng ze waren met de "ghost"-regel).
Op de Chinees-rijke tekst was de verbetering vergelijkbaar, variërend van 0,23% tot 0,36%.

Om dit in perspectief te plaatsen: de auteur merkt op dat het verkrijgen van deze mate van compressie met standaard BPE meestal vereist dat je nog eens 2.000 tokens aan de rugzak toevoegt. Pruned BPE levert je diezelfde efficiëntiewinst zonder de rugzak groter te maken. Het is alsof je meer opslagruimte krijgt zonder een grotere koffer te kopen.

Ze voerden ook een speciale test uit om er zeker van te zijn dat de verbetering niet alleen een toevalstreffer was van de manier waarop de standaard BPE-leraar zijn steentjes rangschikt. Ze gebruikten een andere, super-slimme "minimum-token" decoder die de oorspronkelijke volgorde van de leraar negeerde en alleen naar de lijst met beschikbare steentjes keek. Zelfs met deze eerlijke, neutrale decoder produceerde de Pruned BPE-lijst nog steeds kortere, efficiëntere tekst. Dit suggereert dat de verbetering komt door het hebben van een betere lijst met steentjes, en niet alleen door de manier waarop ze zijn gerangschikt.

De "Ghost" Voorbeelden

Om te zien hoe deze "ghost" steentjes eruitzien, keek de auteur naar enkele specifieke voorbeelden:

Engels: Een fragment zoals "viron" kan een ghost zijn. Het is geweldig voor het bouwen van "environment", maar je ziet "viron" zelden alleen staan.
Chinees: Een karakter zoals "gan" (onderdeel van "gan ga", wat "awkça" betekent) kan een ghost zijn. Het is nodig om het volledige woord te bouwen, maar het wordt zelden alleen gebruikt.
Code en Bytes: Sommige ghosts zijn zelfs vreemder. Omdat computers tekst lezen als bytes (kleine getallen), zijn sommige steentjes slechts gedeeltelijke stukjes van een letter. Bijvoorbeeld, een specifieke byte-sequentie kan nodig zijn om het Chinese karakter voor "vaardigheid" te bouwen, maar die byte-sequentie alleen betekent niets. Het is een ghost die alleen bestaat om te helpen bij het bouwen van het echte ding.

Waarom Het Er Toe Doet (en Wat Niet)

Het artikel is voorzichtig in de opmerking dat dit niet doet. Het bewijst niet dat de robot plotseling slimmer wordt in het schrijven van poëzie of het oplossen van wiskundige problemen. De auteur mat alleen hoe efficiënt de tekst werd gecomprimeerd (minder tokens om hetzelfde te zeggen). Er is niet getest of het brein van de robot daadwerkelijk beter leert met deze nieuwe steentjes. Dat is een vraag voor toekomstig onderzoek.

De paper weerlegt echter wel het idee dat je de woordenschat moet verkleinen om ruimte te besparen. Sommige eerdere ideeën suggereerden simpelweg de zeldzame steentjes te verwijderen, wat de rugzak kleiner maakte maar de robot dwong om meer, kleinere steentjes te gebruiken om hetzelfde te zeggen (waardoor de tekst langer werd). Pruned BPE bewijst dat je de grootte van de rugzak constant kunt houden en toch een kortere, efficiëntere tekst kunt krijgen door simpelweg de inhoud te wisselen.

De Kernboodschap

Uiteindelijk is Pruned BPE een les in opruimen. Het laat zien dat in de wereld van AI, het hebben van een enorme bibliotheek aan tokens minder belangrijk is dan het hebben van de juiste tokens. Door te wachten tot het einde om te beslissen wat daadwerkelijk nuttig is, en vervolgens de "ghost" helpers te wisselen voor "star" performers, kunnen we het leesproces van de robot iets efficiënter maken. Het is een kleine aanpassing—het bespaart minder dan een half procent aan ruimte—maar in de wereld van massieve AI-modellen, waar elke byte telt, is dat een betekenisvolle overwinning. De robot hoeft niet de hele geschiedenis van zijn constructie mee te dragen; hij heeft alleen de beste gereedschappen nodig voor de klus.

Technische Samenvatting: Pruned BPE

Probleemstelling

Byte Pair Encoding (BPE) is de standaard methode voor subword-tokenisatie bij grote taalmodellen (LLM's), maar het lijdt aan een fundamentele discrepantie tussen hoe tokens worden geleerd en hoe ze worden gebruikt. Tijdens de standaard BPE-training iteratieve de algoritme de meest frequente aangrenzende paren samen te voegen om een vocabulaire op te bouwen. Echter, veel tokens die tijdens dit proces worden geleerd, dienen primair als intermediaire constructie-eenheden voor langere, frequentere tokens, in plaats van dat ze verschijnen als definitieve, door het model zichtbare tokens in de gecodeerde corpus.

In byte-level BPE wordt dit probleem verergerd door de noodzaak om volledige Unicode-tekens (vooral voor CJK-schriften) te construeren uit byte-sequenties. Gevolgen hiervan is dat de uiteindelijke vocabulaire vaak "low-exposure" tokens bevat—intermediaire knopen die zelden onafhankelijk worden uitgegeven. Het blootstellen van deze tokens aan het taalmodel verspilt de beperkte capaciteit van de vocabulaire. Bovendien, omdat deze tokens minder frequent voorkomen in de uiteindelijke gecodeerde corpus, ontvangen hun embeddings minder effectieve trainingsupdates, wat de prestaties van het downstream model potentieel kan verslechteren. Standaard benaderingen zoals het inkrimpen van de vocabulaire (vocabulary trimming) verwijderen deze tokens simpelweg, wat de omvang van de vocabulaire vermindert en de sequentielengte kan verhogen, wat een oneerlijke vergelijking met de baseline creëert.

Methodologie: Pruned BPE

Het artikel stelt Pruned BPE voor, een post-training methode die het merge-constructieproces scheidt van de model-zichtbare vocabulaireselectie. De kerninnovatie is het gebruik van final exposure (uiteindelijke blootstelling) als criterium voor zichtbaarheid, in plaats van de frequentie van het paar dat de token oorspronkelijk creëerde.

De methode werkt in drie hoofdfasen:

Standaard BPE-training (Fase 1):
De tokenizer wordt normaal getraind met standaard BPE-regels totdat een doelstelling voor de model-zichtbare vocabulairegrootte ( $N_{visible}$ ) is bereikt. Dit vestigt de volledige merge-boom en de oorspronkelijke merge-rangordes.
Visibility Pruning en Resumed Training (Fase 2):
Na de initiële training evalueert het algoritme elke geleerde token op basis van zijn final exposure ( $E(t)$ ), gedefinieerd als het aantal keren dat de token voorkomt in de volledig gecodeerde corpus nadat alle merges zijn toegepast.
- Tokens met een exposure onder een drempelwaarde $\tau$ worden geclassificeerd als internal-only (alleen intern). Zij worden behouden in de merge-tabel om de constructie van langere tokens te ondersteunen, maar worden niet blootgesteld aan het taalmodel.
- Tokens met een exposure $\ge \tau$ zijn kandidaten voor de zichtbare vocabulaire.
- Om de doelstelling voor de vocabulairegrootte te handhaven, hervat het algoritme de training vanaf het checkpoint om aanvullende kandidaat-tokens te genereren. De training gaat dynamisch door totdat er genoeg voldoende geëxposeerde kandidaten zijn gevonden om de $N_{visible}$ slots die voorheen door low-exposure tokens werden bezet, in te vullen.
Token Reallocatie en Encoding:
- Reallocatie: De "slots" die vrijkomen door internal-only tokens worden ingevuld door de nieuw getrainde, high-exposure kandidaten. De oorspronkelijke merge-rangordes blijven behouden om te garanderen dat de merge-volgorde ongewijzigd blijft, maar de geëxporteerde Token ID's worden opnieuw toegewezen (remapped) om de nieuwe zichtbare vocabulaire te reflecteren.
- Encoding: Tijdens inferentie wordt de standaard BPE-merging uitgevoerd. Als een internal-only token wordt gegenereerd, wordt deze recursief uitgebreid naar zijn zichtbare kinderen voordat de uiteindelijke token ID-sequentie wordt geretourneerd. Dit zorgt ervoor dat het taalmodel alleen ID's ontvangt uit de zichtbare vocabulaire, terwijl de efficiëntie van de geleerde merge-structuur behouden blijft.

Belangrijkste Bijdragen

Final Exposure als Selectiecriterium: Het werk introduceert final exposure als een post-training metriek om onderscheid te maken tussen tokens die nodig zijn voor de merge-constructie en tokens die geschikt zijn voor model-zichtbaarheid. Dit maakt het mogelijk om de vocabulaire-slots te herverdelen zonder de onderliggende merge-boomstructuur te wijzigen.
Vocabulaire Reallocatie versus Reductie: In tegenstelling tot het inkrimpen van de vocabulaire, behoudt Pruned BPE de doelstelling voor de model-zichtbare vocabulairegrootte. Het vult de geprunede slots op met extra getrainde kandidaten, wat zorgt voor een eerlijke vergelijking met standaard baselines.
Referentie-implementatie: De auteur biedt een praktische implementatie die Unicode-bewuste pretokenisatie, CPU-parallelle training en de scheiding van zichtbare en interne vocabularies ondersteunt.
Vocabulaire-alleen Evaluatie: Het artikel introduceert een evaluatie die enkel op de vocabulaire gericht is, gebruikmakend van een gedeelde exacte minimum-token dynamic-programming (DP) encoder. Dit isoleert het voordeel van de vocabulaire-compositie van de native BPE merge-order encoding, en toont aan dat de verbetering voortkomt uit de kwaliteit van de zichtbare tokens zelf.

Experimentele Resultaten

Experimenten werden uitgevoerd op twee niet-overlappende corpora (Corpus I: ~640MB, Corpus II: ~1GB) en hun combinatie, die Engels, Chinees, code en meertalige data beslaan.

Reductie in Geëncodeerde Lengte: Bij een exposure-drempel van 40% verminderde Pruned BPE de geëncodeerde lengte consequent ten opzichte van Standard BPE bij dezelfde vocabulairegrootte.
- Bij evaluaties op dezelfde corpus varieerden de reducties van 0,27% tot 0,36%.
- Bij cross-corpus evaluaties waren de reducties vergelijkbaar, variërend van 0,22% tot 0,36%.
Vergelijking met Vocabulaire Expansie: Het artikel merkt op dat het vergroten van de Standard BPE vocabulaire met 2K tokens doorgaans een marginale reductie van 1,5%–3,8% oplevert. De winst van Pruned BPE (ca. 0,3%) vertegenwoordigt een betekenend deel van deze marginale winst, waardoor vergelijkbare compressievoordelen worden behaald zonder de vocabulaire van het model te vergroten.
Validatie van de Vocabulaire Alleen: Met gebruik van de gedeelde minimum-token DP encoder (die merge-rangordes negeert), bereikte Prude BPE nog steeds een reductie van 0,23%–0,31%. Dit bevestigt dat de efficiëntiewinst voortkomt uit de effectievere compositie van de zichtbare vocabulaire, en niet enkel uit de specifieke BPE merge-volgorde.
Kwalitatieve Analyse: Internal-only tokens werden gevonden in de vorm van herbruikbare Engelse fragmenten (bijv. "vironment"), Chinese karaktercomponenten (bijv. "renmin gonghe"), gedeeltelijke UTF-8 byte-sequenties en gestructureerde tekstfragmenten (bijv. " htt").

Betekenis en Claims

Het artikel claimt dat Pruned BPE een praktische methode biedt om de allocatie-efficiëntie van vaste BPE-vocabularies te verbeteren zonder het aantal tokens dat aan het taalmodel wordt blootgesteld te vergroten. Door low-exposure tokens te behandelen als interne constructie-eenheden en hun slots te herverdelen naar beter geëxposeerde kandidaten, vermindert de methode de sequentielengte en verbetert het potentieel de kwaliteit van de embedding-training.

De auteur neemt een bescheiden standpunt in met betrekking tot de downstream impact. Er wordt expliciet gesteld dat hoewel de verbeteringen in de geëncodeerde lengte consistent zijn, het artikel nog niet vaststelt of deze verbeteringen vertalen naar een efficiëntere training van het taalmodel, een lagere validatieverlies of verbeterde prestaties op downstream taken. De primaire bijdrage is de demonstratie dat final exposure een levensvatbaar criterium is voor het optimaliseren van de vocabulaire-compositie, waarbij toekomstig werk vereist is om deze voordelen te valideren in gecontroleerde downstream taalmodel-trainingsscenario's.