Joint Optimization for Greedy Longest-match Tokenization

Stel je voor dat je een enorme bibliotheek met boeken probeert in te pakken in een enkele, piepkleine koffer voor een reis. Je wilt zoveel mogelijk tekst in een beperkte ruimte passen, maar je kunt de pagina's niet zomaar tot een bal pletten; je moet ze organiseren in nette, hanteerbare brokstukken. In de wereld van kunstmatige intelligentie is deze "koffer" het geheugen van de computer, en de "brokstukken" worden tokens genoemd. AI-modellen lezen tekst niet als hele woorden, maar als deze kleinere stukjes. De manier waarop we woorden ophakken, doet er veel toe: als we ze slecht opdelen, gebruiken we meer ruimte en moet de computer harder werken om ze te lezen. Jarenlang was de standaardmanier om deze woorden op te hakken een methode genaxt Byte Pair Encoding (BPE). Denk aan BPE als een zeer efficiënte, maar ietwat rigide bibliothecaris die een strikte regel volgt: "Plak altijd de twee meest voorkomende tekststukjes als eerste aan elkaar." Het is een snelle, hebzuchtige aanpak die goed heeft gewerkt, maar het is in essentie een heuristiek — een goede gok gebaseerd op een eenvoudige regel, niet een perfecte wiskundige oplossing.

Onlangs zijn wetenschappers een grote vraag gaan stellen: Is de "goede gok" van deze bibliothecaris wel echt het beste wat we kunnen doen? Of is er een slimmere manier om de woorden op te hakken die nóg meer tekst in de koffer past? Dit artikel duikt in die vraag door te kijken naar een specifieke manier waarop AI tekst leest, gen ideaal "Greedy Longest-Match". Stel je voor dat je een zin leest en bij elke stap de langst mogelijke bekende woordgroep pakt voordat je naar de volgende letter gaat. De auteurs wilden zien of ze een vocabulaire specifiek voor deze leesstijl konden ontwerpen, in plaats van alleen te hopen dat een algemeen bruikbare vocabulaire zou werken. Ze bouwden een nieuw systeem genaamd JOLT (Joint Optimization for Greedy Longest-match Tokenization). In plaats van alleen stukjes aan elkaar te plakken op basis van frequentie, behandelt JOLT het hele probleem als een gigantische, complexe puzzel. Het gebruikt geavanceerde wiskunde om precies uit te rekenen welke woordstukjes behouden moeten blijven en hoe elk woord in de trainingsdata moet worden opgedeeld, zodat de AI, wanneer het de tekst leest met de "longest-s-match"-regel, het absolute minimum aantal stukjes gebruikt.

Het artikel stelt vast dat, hoewel de oude bibliothecaris (BPE) eigenlijk best goed is — hij zit al binnen 1% tot 2% van de theoretisch best mogelijke verpakking — het nieuwe systeem, JOLT, nog een klein beetje extra ruimte kan uitpersen. Door deze wiskundige puzzel op te lossen, slaagt JOLT erin bijna de volledige resterende kloof tussen de oude methode en de perfecte theoretische limiet te dichten. In tests met verschillende groottes van tekstdata verminderde JOLT het aantal benodigde tokens met tot wel 0,78% vergeleken met de standaardmethode. Hoewel dat getal klein klinkt, betekent het in de wereld van AI dat een model meer tekst kan lezen, sneller kan denken en minder kost om te draaien. De auteurs laten zien dat door de vocabulaire perfect af te stemmen op de manier waarop de AI de tekst daadwerkelijk leest, we bijna alle "compressieruimte" kunnen terugwinnen die eerder onbenut bleef.

Het verhaal van JOLT: Het oplossen van de woordpuzzel

Om te begrijpen hoe JOLT werkt, stel je voor dat je een meesterkok bent die het perfecte menu probeert samen te stellen voor een enorm banket. Je hebt een enorme lijst met ingrediënten (de tekst) en je moet ze in specifieke maten hakken (tokens) om ze aan je gasten (de AI) te serveren. De crux is dat je gasten een heel specifieke eetgewoonte hebben: ze grijpen altijd de grootste hap die in hun mond past voordat ze naar de volgende hap gaan. Dit is de "Greedy Longest-Match"-regel.

Een lange tijd gebruikten chefs (AI-onderzoekers) een standaard recept genaamd BPE. Ze keken naar de ingrediënten en zeiden: "Hé, 'th' en 'e' komen vaak samen voor, laten we ze aan elkaar plakken tot 'the'." Ze bleven dit doen, de meest voorkomende paren aan elkaar plakken, totdat ze een menu van een bepaalde omvang hadden. Het werkte goed, maar het was een beetje alsof je een huis bouwt door simpelweg bakstenen op te stapelen zonder te controleren of de muren wel recht staan. Het was een "hebzuchtige" aanpak — eerst het makkelijke, voor de hand liggende doen.

De auteurs van dit artikel realiseerden zich dat als je wilt dat de gasten efficiënt eten, je niet alleen een menu moet maken op basis van wat gebruikelijk is; je moet een menu maken op basis van hoe ze eten. Ze creëerden JOLT, wat een soort super-slimme chef is die het hele menu in één keer plant, waarbij rekening wordt gehouden met elk enkel ingrediënt en elke mogelijke manier om het te hakken, om ervoor te zorgen dat het eindresultaat perfect is geoptimaliseerd voor de "grootste hap"-gewoonte van de gasten.

De Wiskundige Puzzel
De kern van JOLT is een enorme wiskundige opdracht. De auteurs moesten twee dingen gelijktijdiger beslissen:

1. Welke ingrediënten behouden we: Welke woordstukjes moeten in de uiteindelijke vocabulaire zitten?
2. Hoe de tekst te hakken: Welke specifieke stukjes moeten worden gebruikt om elk woord in de trainingsdata op te bouwen?

Het lastige deel is dat deze twee beslissingen aan elkaar gekoppeld zijn. Je kunt niet besluiten een woord op te delen in "ta" en "ble" tenzij je ook daadwerkelijk hebt besloten om "ta" en "ble" in je vocabulaire op te nemen. Bovendien, omdat de AI de "longest match"-regel gebruikt, moet je ervoor zorgen dat als je een woord opdeelt in "ta" en "ble", er niet een langer stuk zoals "table" in je vocabulaire zit dat de aandacht steelt. Als "table" bestaat, zal de AI "table" in zijn geheel eten, en dan mislukt je plan om "ta" en "ble" te serveren.

Om dit op te lossen, gebruikten de auteurs een techniek genaamd "Integer Programming". Stel je een gigantisch rooster van schakelaars voor. Sommige schakelaars zetten een woord aan (zetten het in de vocabulaire), en andere schakelaars zetten een specifieke manier van het opdelen van een woord aan. Het doel is om de schakelaars om te zetten om het laagst mogelijke totale aantal stukjes te krijgen. Het oplossen van dit rooster voor een hele bibliotheek aan tekst is echter zo enorm dat zelfs de snelste computers er eeuwigen tijd voor nodig zouden hebben.

De Slimme Afkorting
De auteurs bedachten daarom een slimme truc. In plaats van te proberen de hele puzzel in één keer op te lossen, begonnen ze met een kleine, eenvoudige versie. Ze beschouwden alleen het hakken van woorden in één of twee stukken. Ze losten het wiskundige probleem op, en als de computer zei: "Hé, dit woord is te moeilijk om met alleen deze stukjes te hakken, ik heb meer opties nodig," voegden ze meer complexe hakopties toe voor alleen dat specifieke woord. Ze herhaalden dit proces en voegden alleen daar complexiteit toe waar dat nodig was, totdat de oplossing stabiliseerde.

Deze aanpak stelde hen in staat om een oplossing te vinden die ongelooflijk dicht bij de perfecte theoretische limiet ligt. Ze ontdekten dat de standaard BPE-methode al een geweldig werk deed en al binnen 1% tot 2% van het best mogelijke resultaat zat. Maar JOLT slaagde erin 89,6% tot 99,4% van die resterende kloof te dichten.

De Resultaten
Toen ze hun nieuwe systeem testten op verschillende hoeveelheden data (van 100.000 tot 400.000 woorden) en verschillende vocabulairegroottes (32.000 en 64.000 woorden), waren de resultaten duidelijk. JOLT gebruikte consequent minder tokens dan de standaard BPE-methode.

• Met een vocabulaire van 32.000 woorden verminderde JOLT het aantal tokens met tot wel 0,78% vergeleken met de standaardmethode.
• Met een vocabulaire van 64.000 woorden was de verbetering kleiner maar nog steeds aanwezig, bereikend tot 0,31%.

Het artikel controleerde ook hoe dicht hun oplossing bij de absolute wiskundige limiet lag. Ze vonden dat hun definitieve, afgeronde oplossing binnen 0,008% tot 0,176% van de theoretische limiet lag. Dit betekent dat het "afrondingsproces" (het omzetten van de wiskundige oplossing naar een echte, bruikbare vocabulaire) niet veel efficiëntie verloor. De kleine winsten die JOLT maakte ten opzichte van BPE waren geen toeval; het waren echte, structurele verbeteringen.

Waarom dit ertoe doet
De auteurs keken ook naar andere methoden. Ze ontdekten dat een populaire methode genaamd WordPiece, die is ontworend voor dezelfde "longest match"-leesstijl, in feite slechter presteerde dan BPE wanneer deze werd getest. Dit kwam omdat WordPiece werd getraind om een ander doel te maximaliseren (het voorspellen van het volgende woord) in plaats van het minimaliseren van het aantal stukjes. Dit bewijst dat je niet zomaar een vocabulaire kunt gebruiken die voor één doel is ontworpen en verwachten dat deze perfect werkt voor een ander doel. Je moet de vocabulaire specif