A Pilot Study of Autocompleting Tokenizers

Elke dag typen miljoenen mensen berichten op smartphones of computers met behulp van systemen die het volgende woord raden voordat ze klaar zijn met typen. Deze autocomplete-functies werken omdat menselijke taal vol zit met patronen; zodra je het begin van een zin ziet, volgt de rest vaak een voorspelbaar pad. Ditzelfde principe van voorspelling ligt aan de basis van moderne kunstmatige intelligentie, specife**lijk de grote computermodellen die vertaling en tekstgeneratie aandrijven. Deze modellen, bekend als Transformers, zijn ongelooflijk krachtig maar vereisen enorme hoeveelheden data om te functioneren. Om tekst te verwerken, breken ze zinnen af in piepkleine eenheden die tokens worden genoemd. Jarenlang was de standaardmethode om letters te groeperen in brokken die hele woorden of delen van woorden vertegenwoordigen, een techniek die de data beheersbaar houdt. Er bestaat echter een eenvoudiger alternatief: het afbreken van tekst in individuele bytes, de kleinste eenheden van digitale informatie. Hoewel deze byte-gebaseerde aanpak universeel is en geen speciale woordenboeken voor verschillende talen vereist, creëert het sequenties die zo lang zijn dat ze de computer vertragen en het model minder effectief maken.

Onderzoekers aan het Williams College probeerden dit probleem op te lossen door een simpele vraag te stellen: als een computer met een hoge mate van vertrouwen de volgende letter in een reeks kan voorspellen, heeft hij dan echt die letter nodig om de zin te begrijpen? Ze stelden een nieuwe methode voor die werkt als een slim filter, dat de delen van een tekst verwijdert die te voor de hand liggend zijn om nuttig te zijn. Door een klein, lichtgewicht programma te trainen om te fungeren als een autocomplete-assistent, identificeerden ze welke bytes in een zin zo voorspelbaar waren dat ze veilig verwijderd konden worden voordat het hoofdmodel voor vertaling ze ooit te zien krijgt. Het resultaat is een gecomprimeerde versie van de tekst die aanzienlijk korter is, maar nog steeds alle noodzakelijke betekenis draagt. Hun experimenten toonden aan dat ze voor talen zoals Engels en Frans bijna een derde van de tekens konden verwijderen zonder de kwaliteit van de vertaling te verliezen. Deze bevinding suggereert dat een groot deel van de data die we in deze krachtige AI-systemen voeden redundant is, en dat door de voorspelbare delen weg te strippen, we deze modellen sneller en efficiënter kunnen maken zonder hun vermogen om de wereld te begrijpen op te offeren.

De kern van dit werk omvat een driestappenproces dat transformeert hoe tekst in een machine wordt gevoerd. Eerst leest een klein, snel model de originele tekst byte voor byte, waarbij het voorspelt wat er volgt op basis van wat het al heeft gezien. Als het model zeer zeker is over de volgende letter, markeert het die letter als voorspelbaar. In de tweede stap verwijdert het systeem deze gemarkeerde tekens uit de sequentie. Om ervoor te zorgen dat het hoofdmodel niet in de war raakt door de ontbrekende stukjes, wijzigt het systeem de voorafgaande byte om aan te geven dat een karakter is verwijderd, waardoor het model de leemte uit de context kan afleiden. Ten slotte wordt deze verkorte, gecomprimeerde sequentie doorgegeven aan een groot, standaard vertaalmodel, dat vervolgens de output in de doeltaal genereert. De onderzoekers testten verschillende manieren om met deze ontbrekende stukjes om te gaan, en vonden dat de meest effectieve methode betrokken was bij het gebruik van dit specifieke type marker dat simpelweg de afwezigheid van een karakter noteerde door de vorige byte aan te passen, waardoor het hoofdmodel de rest uit de context kon afleiden.

Toen het team deze techniek toepaste op het vertalen van Engels naar Frans, waren de resultaten opmerkelijk. Ze ontdekten dat ze de brontekst konden comprimeren tot ongeveer 68 procent van de oorspronkelijke lengte, terwijl ze exact dezelfde vertaalkwaliteit behielden als de ongecomprimeerde versie. In sommige gevallen presteerde de gecomprimeerde versie zelfs iets beter. De onderzoekers testten de methode ook op talen met zeer verschillende schriftsystemen en structuren, waaronder Fins, dat een complexe grammatica heeft; Russisch, dat een ander alfabet gebruikt; en Chinees, waarbij karakters hele woorden in plaats van klanken vertegenwoordigen. In al deze gevallen werkte de aanpak goed en reduceerde de tekstlengte naar specifieke ratio's van 0,468 voor Fins, 0,468 voor Russisch en 0,668 voor Chinees, terwijl de vertaalkwaliteit werd behouden of zelfs verbeterd. Deze consistentie over dergelijke diverse talen suggereert dat het vermogen om redundante informatie te voorspellen en te verwijderen een fundamentele eigenschap is van menselijke taal, en niet slechts een eigenaardigheid van het Engels.

De studie vergeleek deze slimme compressiemethode ook met eenvoudigere, minder geavanceerde manieren om tekst in te korten, zoals het verwijderen van alle klinkers of het behouden van slechts de eerste paar letters van elk woord. Deze grove methoden slaagden er niet in om de vertaalkwaliteit te behouden, wat bewees dat de sleutel niet alleen het verwijderen van tekens is, maar het verwijderen van de juiste tekens. De onderzoekers demonstreerden dat door een model te gebruiken om te identificeren welke delen van de tekst werkelijk voorspelbaar zijn, ze de ruis konden wegstrippen terwijl de essentie intact bleef. Deze aanpak biedt een praktische manier om de computationele kosten van het draaien van grote taalmodellen te verminderen, wat hen potentieel sneller kan laten draaien op minder krachtige hardware. Het werk suggereert dat veel van de bytes die we momenteel computers dwingen te verwerken, onnodig zijn, en dat door het model zelf de gaten te laten invullen, we hetzelfde resultaat kunnen bereiken met minder inspanning. Hoewel de studie een pilotonderzoek is, bieden de bevindingen een duidelijk pad naar efficiëntere AI-systemen die diverse talen kunnen afhandelen zonder de zware last van het expliciet verwerken van elke afzonderlijke letter.