Stel je voor dat je een superintelligente robot probeert te leren hoe hij menselijke taal moet spreken. Om dit te doen, moet je elke zin opdelen in piepkleine bouwstenen die "tokens" worden genoemd. Denk aan deze tokens als LEGO-steentjes. Als je een standaard set steentjes gebruikt, heb je misschien een miljoen kleine stukjes nodig om een simpel huis te bouwen, wat de constructie traag en rommelig maakt. Jarenlang was de meest populaire manier om deze steentjes te maken (een methode genaamd Byte Pair Encoding, of BPE) het samenvoegen van de meest voorkomende letterparen. Het was alsof je zei: "Hé, 'th' en 'e' komen vaak voor, dus laten we een 'the'-steentje maken." Maar deze aanpak had een gebrek: het hield zo veel van korte, veelvoorkomende woorden dat het lange, betekenisvolle zinnen steeds in kleine, inefficiënte brokjes uiteenviel. Dit dwong de robot om veel meer steentjes te verwerken dan nodig was, wat zijn denkproces vertraagde en zijn geheugen opslokte.

Stel je nu een nieuwe manier voor om die LEGO-sets te bouwen. In plaats van alleen te kijken naar hoe vaak een paar voorkomt, vraagt deze nieuwe methode: "Wat als we grotere, slimmere steentjes maken die meer terrein beslaan?" Dit is de kern van een nieuwe studie door onderzoekers Dong Dong en Weijie Su van de Universiteit van Pennsylvania. Ze hebben een nieuwe tokenizer geïntroduceerd genaamd Length-MAX. In plaats van alleen te tellen hoe vaak een woord voorkomt, beloont Length-MAX langere zinsdelen die vaak genoeg voorkomen om nuttig te zijn. Het is alsof je beseft dat hoewel "the" veel voorkomt, de frase "the United States" een veel betere bouwsteen is dan drie afzonderlijke stukjes. Door kleine, repetitieve steentjes te vervangen door minder, langere en meer betekenisvolle eenheden, kan de robot zijn zinnen sneller bouwen, minder geheugen gebruiken en het verhaal ook daadwerkelijk beter begrijpen.

Het probleem met te veel kleine steentjes

Al een lange tijd is de standaardmanier om computers taal te leren het opdelen van tekst in kleine stukjes op basis van hoe vaak ze voorkomen. Dit wordt Byte Pair Encoding (BPE) genoemd. Het werkt door de twee meest voorkomende symbolen naast elkaar te vinden en deze samen te voegen tot een nieuwe token. Het is een beetje als een spel waarbij je steeds de populairste buren combineert totdat je geen zetten meer over hebt.

Het probleem is dat dit spel de voorkeur geeft aan korte, hoogfrequente fragmenten. Het behandelt een lange, samenhangende frase zoals "in the midst of a historic snowstorm" als een verzameling kleine, losgekoppelde stukjes. Omdat moderne AI-modellen aandacht moeten besteden aan elk afzonderlijk stukje om de hele zin te begrijpen, zorgt het hebben van te veel kleine stukjes ervoor dat de wiskundige complexiteit explodeert. Het is alsof je een boek probeert te lezen waarin elk woord is opgesplitst in drie lettergrepen; je moet drie keer zoveel "woorden" lezen om dezelfde betekenis te krijgen. Dit vertraagt de training, maakt de AI trager in het beantwoorden van vragen en vereist meer computergeheugen.

Ontmoet Length-MAX: De "Langer is Beter"-strategie

De onderzoekers achter dit paper besloten het scenario om te draaien. Ze vroegen zich af: "Wat als we optimaliseren voor lengte in plaats van alleen voor frequentie?" Ze creëerden een nieuwe tokenizer genaamd Length-MAX.

In plaats van alleen te zoeken naar de meest voorkomende paren, zoekt Length-MAX naar substrings die een specifieke score maximaliseren: Frequentie × Lengte. Het beloont tokens die zowel veel voorkomen als lang zijn. Als een frase als "the United States" vaak genoeg voorkomt, zal Length-MAX deze oppakken en er een enkele token van maken, in plaats van het op te splitsen in "the", "United" en "States".

Om dit te doen, moesten het team een lastig wiskundig puzzeltje oplossen. Ze ontdekten dat het vinden van de perfecte set lange tokens een probleem is dat zo complex is dat het wiskundig gezien onmogelijk is om het perfect op te lossen voor enorme hoeveelheden tekst (een probleem dat bekend staat als NP-hard). Daarom bouwden ze een slim "greedy" algoritme. Stel je een scorebord voor waarbij elke mogelijke frase een score krijgt op basis van hoe lang deze is en hoe vaak deze voorkomt. Het algoritme kiest de best scorende frase, legt deze vast, en herhaalt het proces totdat de vocabulaire vol is. Ze maakten dit ongelooflijk snel door gebruik te maken van een techniek genaamd Rabin-Karp rolling hash, waardoor ze door de tekst kunnen scannen als een hogesnelheidsscanner, en ze draalden dit op honderden computerkernen tegelijk.

De resultaten: Sneller, kleiner en slimmer

Het team testte deze nieuwe methode door AI-modellen vanaf nul te trainen (specifiek GPT-2 modellen) en deze te vergelijken met de standaard BPE-methode. De resultaten waren indrukwekkend op alle fronten:

• Minder tokens: Over verschillende vocabulairegroottes heen verminderde Length-MAX het aantal tokens dat nodig is om tekst te representeren met 14–18% vergeleken met BPE. Voor een vocabulaire van 64.000 woorden was de reductie 13,0%. Dit betekent dat de AI aanzienlijk minder "steentjes" hoeft te verwerken om hetzelfde te zeggen.
• Snellere training: Omdat er minder tokens te verwerken zijn, leerden de modellen sneller. Om een specifiek niveau van vaardigheid te bereiken, had het 124-miljoen-parameter model 18,5% minder stappen nodig, het 355-miljoen-parameter model 17,2% minder stappen, en het 1,3-miljard-parameter model 18,5% minder stappen.
• Snellere antwoorden: Wanneer de modellen werden gevraagd tekst te genereren, waren ze sneller. De inferentie-latentie (de tijd die het kost om te antwoorden) daalde met 13,7% voor het 124M-model, en de snelheid waarmee tekst werd gegenereerd (throughput) nam toe met 16%.
• Minder geheugen: De modellen gebruikten ook minder geheugen. De onderzoekers ontdekten dat het geheugen dat nodig is voor het "werkgeheugen" van het model (de zogenaamde KV-cache) en de vocabulaire-embeddings met 18% daalde.
• Beter begrip: Verrassend genoeg maakte het gebruik van minder tokens de AI niet dommer; het maakte hem juist slimmer. In tests die meten hoe goed de AI lange verhalen en context begrijpt, presteerden de Length-MAX-modellen beter. Bijvoorbeeld, op een test genaamd LAMBADA daalde de verwarring (perplexity) van de AI met 11,7%, en op een test voor gezond verstand genaamd HellaSwag verbeterde de nauwkeurigheid met 4,3 punten.

Waarom het werkt (en wat het niet doet)

De magie van Length-MAX is niet alleen dat het tijd bespaart; het is dat het verandert hoe de AI de wereld ziet. Door woorden te groeperen in langere, betekenisvolle frases (zoals "in the midst of"), kan de AI de context van een zin gemakkelijker behouden. Het is het verschil tussen proberen een verhaal te begrijpen door naar individuele letters te kijken versus het kijken naar hele woorden en frases.

De onderzoekers controleerden ook of ze het natuurlijke "ritme" van de taal niet hadden verstoord. Ze ontdekten dat Length-MAX nog steeds de natuurlijke wetten van taalfrequentie volgt (bekend als Zipf's wet), wat betekent dat het niet zomaar vreemde, willekeurige lange woorden creëerde. Het behield de natuurlijke structuur van de taal terwijl het de efficiëntie verhoogde.

De paper merkt echter ook zorgvuldig op wat deze methode niet doet. Het werkt niet op modellen die al getraind en "bevroren" zijn; je moet het model vanaf de basis trainen met de nieuwe tokenizer om deze voordelen te behalen. Het richt zich ook op Engelse teksten, dus het is nog niet duidelijk of het even goed werkt voor talen met zeer verschillende structuren. Bovendien, hoewel de resultaten sterk zijn voor modellen tot 1,3 miljard parameters, suggereren de onderzoekers dat voor massieve modellen (zoals 7 miljard parameters) de voordelen waarschijnlijk vergelijkbaar zijn, maar dat dit nog niet volledig is getest.

De essentie

Length-MAX is een frisse aanpak van een decennia oud probleem. Door te beseffen dat "langer vaak beter is" voor tokens, hebben de onderzoekers een manier gevonden om AI-modellen sneller, goedkoper in gebruik en verrassend beter in het begrijpen van context te maken. Het is een herinnering aan het feit dat de beste manier om vooruit te gaan soms niet is om een grotere motor te bouwen, maar een slimmere transmissie. De code en de nieuwe vocabulaire's zijn nu beschikbaar voor iedereen om te proberen, wat een praktische manier biedt om meer efficiëntie uit de volgende generatie taalmodellen te halen.