Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems
Dit artikel kwantificeert de aanzienlijke tokenisatie-overhead waar Oekraïense en andere Cyrillische talen in moderne AI-systemen mee te maken hebben in vergelijking met het Engels, waarbij wordt aangetoond dat dit verschil voortkomt uit de allocatie van trainingsdata, maar effectief kan worden gemitigeerd door middel van compressietechnieken tijdens de inferentie of door het trainen van gebalanceerde byte-level BPE-tokenizers.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wanneer een computer een zin leest, ziet hij woorden niet zoals een mens dat doet. In plaats daarvan breekt de computer de tekst af in kleine stukjes die 'tokens' worden genoemd, wat de basisunits zijn die de machine gebruikt om betekenis te begrijpen en kosten te berekenen. Voor talen die het Latijnse alfabet gebruiken, zoals het Engels, zijn deze stukjes vaak efficiënt omdat de letters zelf zeer weinig ruimte in de computergeheugen innemen. Voor talen geschreven in het Cyrillische schrift, zoals het Oekraïens, is de situatie echter anders. De tekens die in deze schriften worden gebruikt, vereisen meer digitale ruimte om op te slaan, en omdat de meeste gegevens die worden gebruikt om kunstmatige intelligentie te trainen in het Engels zijn, heeft de computer geleerd om Engelse tekst zeer efficiënt te verwerken, terwijl hij moeite heeft met het Cyrillische schrift. Dit creëert een verborgen belasting: om dezelfde hoeveelheid informatie te verwerken, moet een computer een Oekraïense zin mogelijk in bijna twee keer zoveel stukjes breken als een Engelse zin, wat het proces trager en duurder maakt.
Een recente studie door onafhankelijk onderzoeker Ivan Dobrovolskyi onderzoekt deze ongelijkheid, waarbij de focus specifiek ligt op het Oekraïens, maar conclusies trekt die van toepassing zijn op veel andere talen die het Cyrillische schrift gebruiken. Het onderzoek stelt een eenvoudige maar cruciale vraag: waarom heeft de computer zoveel moeite met deze talen, en kunnen we het oplossen zonder te wachten op een volledige herziening van de technologie? De studie suggere houdt dat het probleem niet alleen gaat over de vorm van de letters of hoeveel ruimte ze innemen, maar eerder over hoe de computer heeft geleerd ze te lezen. Door te analyseren hoe verschillende moderne systemen tekst afbreken, vond de onderzoeker dat de onbalans voortkomt uit de trainingsgegevens zelf. De computer heeft veel meer Engelse tekst gezien dan Oekraïense tekst, waardoor hij minder snelkoppelingen heeft geleerd voor de Oekraïense taal.
Om de omvang van het probleem te meten, testte de onderzoeker negen verschillende commerciële systemen die worden gebruikt door grote technologiebedrijven. Hij voerde deze systemen miljoenen woorden aan Oekraïense tekst en vergeleek hoeveel stukjes elk systeem creëerde tegenover hoeveel stukjes er voor het Engels werden gecreëerd. De resultaten toonden een aanzienlijke kloof. Op de meest moderne systemen vereiste de Oekraïense tekst tussen de 68 procent en 121 procent meer stukjes dan de Engelse tekst. Op oudere systemen was de kloof zelfs groter, waarbij het bereikte tot 220 procent meer stukjes. Dit betekent dat voor elke dollar die wordt uitgegeven aan het verwerken van Engelse tekst, een gebruiker bijna het dubbele bedrag kan uitgeven aan het verwerken van dezelfde hoeveelheid Oekraïense tekst, simpelweg omdat de computer meer werk moet verrichten om de woorden af te breken.
De studie keek ook naar de vraag of het overstappen naar het Latijnse alfabet, een proces dat romanisering wordt genoemd, het probleem zou oplossen. Sommigen hebben gesuggereerd dat het schrijven van het Oekraïens met Latijnse letters de computer sneller en goedkoper zou maken om te lezen. Echter, het onderzoek vond het tegenovergestelde waar voor moderne systemen. Omdat deze systemen al efficiënte manieren hebben geleerd om de inheemse Cyrillische letters die op het Oekraïense web te vinden zijn te verwerken, maakte het dwingen van de tekst in Latijnse letters de computer juist in de war. Dit zorgde ervoor dat de tekst in nog meer stukjes werd gebroken, wat de kosten op sommige systemen met wel 19 procent verhoogde. De computer werkt het best met het schrift dat hij het vaakst heeft gezien in zijn trainingsdata, en voor het Oekraïens is dat het inheemse Cyrillische schrift.
Om te begrijpen of het probleem bij de bron opgelost kon worden, creëerde de onderzoeker een nieuw, op maat gemaakt systeem dat ontworpen is om Engels en Oekraïens gelijk te behandelen. In plaats van de computer te laten leren van het enorme, Engelstalige internet, werd dit nieuwe systeem getraind op een perfect gebalanceerde mix van Engelse en Oekraïense tekst. De resultaten waren opmerkelijk. Wanneer dit gebalanceerde systeem werd gebruikt, kromp de kloof in efficiëntie drastisch. De Oekraïense tekst vereiste niet langer twee keer zoveel stukjes; in plaats daarvan vereiste het slechts ongeveer 30 procent meer stukjes dan de Engelse tekst. Dit bewijst dat de hoge kosten geen onvermijdelijke fysieke limiet zijn van de letters zelf, maar een resultaat zijn van hoe de computer is getraind. Als de trainingsdata gebalanceerd is, leert de computer efficiënt te zijn voor beide talen.
Het onderzoek onderzocht ook een manier om kosten te verlagen zonder de training van de computer te veranderen. Door een techniek te gebruiken die intelligent onnodige woorden uit de tekst verwijdert voordat de computer het leest, waren de onderzoekers erin geslaerd de hoeveelheid Oekraïense tekst met bijna de helft te verminderen. Cruciaal was dat deze compressie de bekwaamheid van de computer om de juiste antwoorden te vinden in een test met duizenden echte producten en klantvragen niet schaadde. Het systeem haalde nog steeds de juiste prijzen, beoordelingen en details op even nauwkeurig als het deed met de volledige, ongecomprimeerde tekst. Dit suggereert dat hoewel de trainingsonbalans een diepgeworteld probleem is, er praktische manieren zijn om de kosten nu al te verlagen terwijl de technologie de stap inhaalt.
Uiteindelijk onthult de studie dat de inefficiëntie in het lezen van Cyrillische talen een oplosbaar probleem is van dataallocatie, en geen inherente fout in de schriften. De computer is niet kapot; hij is simpelweg bevooroordeeld naar de data die hij het meest heeft gezien. Door de trainingsdata aan te passen om meer van deze ondervertegenwoordigde talen op te nemen, of door slimme compressietools te gebruiken, kan de digitale kloof in kosten en snelheid worden verkleind. De bevindingen bieden een duidelijk pad voorwaarts om kunstmatige intelligentie rechtvaardiger te maken, en ervoor te zorgen dat de voordelen van deze krachtige instrumenten niet beperkt blijven tot hen die schrijven in de meest voorkomende schriften.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.