Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems
Diese Arbeit quantifiziert den signifikanten Tokenisierungs-Overhead, mit dem Ukrainisch und andere kyrillische Sprachen in modernen KI-Systemen im Vergleich zu Englisch konfrontiert sind, und zeigt auf, dass diese Disparität aus der Allokation von Trainingsdaten resultiert, aber durch Techniken zur Kompression während der Inferenz oder durch das Training ausgewogener Byte-Level-BPE-Tokenizer effektiv gemildert werden kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wenn ein Computer einen Satz liest, sieht er Wörter nicht so wie ein Mensch. Stattdessen zerlegt er den Text in kleine Stücke, sogenannte Token, welche die Basiseinheiten sind, mit denen die Maschine Bedeutung versteht und Kosten berechnet. Für Sprachen, die mit dem lateinischen Alphabet geschrieben werden, wie zum Beispiel Englisch, sind diese Stücke oft effizient, da die Buchstaben selbst nur sehr wenig Platz im Speicher des Computers beanspruchen. Für Sprachen, die in der kyrillischen Schrift verfasst sind, wie etwa Ukrainisch, sieht die Situation jedoch anders aus. Die Zeichen, die in diesen Skripten verwendet werden, benötigen mehr digitalen Speicherplatz, und da der Großteil der Daten, die zur Ausbildung künstlicher Intelligenz verwendet werden, auf Englisch ist, hat der Computer gelernt, englische Texte sehr effizient zu verarbeiten, während er mit Kyrillisch Schwierigkeiten hat. Dies erzeugt eine versteckte Steuer: Um die gleiche Menge an Informationen zu verarbeiten, muss ein Computer einen ukrainischen Satz unter Umständen in fast doppelt so viele Teile zerlegen wie einen englischen, was den Prozess langsamer und teurer macht.
Eine aktuelle Studie des unabhängigen Forschers Ivan Dobrovolskyi untersucht diese Disparität und konzentriert sich dabei speziell auf das Ukrainische, zieht jedoch Schlussfolgerungen, die für viele andere Sprachen mit der kyrillischen Schrift gelten. Die Forschung stellt eine einfache, aber entscheidende Frage: Warum hat der Computer solche Schwierigkeiten mit diesen Sprachen, und können wir das Problem lösen, ohne auf eine vollständige Überarbeitung der Technologie zu warten? Die Studie legt nahe, dass das Problem nicht nur an der Form der Buchstaben oder daran liegt, wie viel Platz sie einnehmen, sondern vielmehr daran, wie der Computer beigebracht wurde, sie zu lesen. Durch die Analyse, wie verschiedene moderne Systeme Texte zerlegen, fand der Forscher heraus, dass das Ungleichgewicht in den Trainingsdaten selbst begründet liegt. Der Computer hat weitaus mehr englischen Text gesehen als ukrainischen, weshalb er weniger Abkürzungen für die ukrainische Sprache gelernt hat.
Um das Ausmaß des Problems zu messen, testete der Forscher neun verschiedene kommerzielle Systeme, die von großen Technologieunternehmen genutzt werden. Er fütterte diese Systeme mit Millionen von Wörtern ukrainischen Textes und verglich, wie viele Teile jedes System erzeugte, im Vergleich dazu, wie viele Teile für englischen Text erstellt wurden. Die Ergebnisse zeigten eine signifikante Lücke. Bei den modernsten Systemen erforderte der ukrainische Text zwischen 68 und 121 Prozent mehr Teile als der englische Text. Bei älteren Systemen war die Lücke noch größer und erreichte bis zu 220 Prozent mehr Teile. Das bedeutet, dass ein Nutzer für jeden Dollar, der für die Verarbeitung englischer Texte ausgegeben wird, möglicherweise fast das Doppelte für die Verarbeitung desselben Volumens an ukrainischem Text ausgeben muss, schlichtweg weil der Computer mehr Arbeit leisten muss, um die Wörter zu zerlegen.
Die Studie untersuchte auch, ob der Wechsel zum lateinischen Alphabet, ein Prozess, der als Romanisierung bekannt ist, das Problem lösen würde. Einige haben vorgeschlagen, dass das Schreiben von Ukrainisch mit lateinischen Buchstaben den Computer schneller und kostengünstiger machen würde. Die Forschung ergab jedoch das Gegenteil für moderne Systeme. Da diese Systeme bereits effiziente Wege gelernt haben, die im ukrainischen Web vorkommenden nativen kyrillischen Buchstaben zu handhaben, verwirrte das Erzwingen des Textes in lateinische Buchstaben den Computer tatsächlich. Dies führte dazu, dass der Text in noch mehr Teile zerlegt wurde, was die Kosten auf einigen Systemen um bis zu 19 Prozent erhöhte. Der Computer arbeitet am besten mit dem Skript, das er in seinen Trainingsdaten am häufigsten gesehen hat, und das ist für das Ukrainische das native kyrillische Skript.
Um zu verstehen, ob das Problem an der Wurzel behoben werden könnte, entwickelte der Forscher ein neues, maßgeschneidertes System, das darauf ausgelegt ist, Englisch und Ukrainisch gleich zu behandeln. Anstatt den Computer einfach aus dem riesigen, englischlastigen Internet lernen zu lassen, wurde dieses neue System mit einer perfekt ausgewogenen Mischung aus englischem und ukrainischem Text trainiert. Die Ergebnisse waren bemerkenswert. Als dieses ausgewogene System verwendet wurde, schrumpfte die Effizienzlücke drastisch. Der ukrainische Text benötigte nicht mehr die doppelte Menge an Teilen; stattdessen benötigte er nur etwa 30 Prozent mehr Teile als der englische Text. Dies beweist, dass die hohen Kosten keine unvermeidliche physische Grenze der Buchstaben selbst sind, sondern ein Resultat dessen, wie der Computer trainiert wurde. Wenn die Trainingsdaten ausgewogen sind, lernt der Computer, für beide Sprachen effizient zu sein.
Die Forschung untersuchte auch einen Weg, die Kosten zu senken, ohne das Training des Computers zu ändern. Durch den Einsatz einer Technik, die unnötige Wörter intelligent aus dem Text entfernt, bevor der Computer ihn liest, konnten die Forscher die Menge des ukrainischen Textes um fast die Hälfte reduzieren. Entscheidend war dabei, dass diese Komprimierung die Fähigkeit des Computers, die richtigen Antworten in einem Test mit tausenden echten Produkten und Kundenfragen zu finden, nicht beeinträchtigte. Das System rief die korrekten Preise, Bewertungen und Details genauso genau ab wie mit dem vollständigen, unkomprimierten Text. Dies deutet darauf hin, dass das Ungleichgewicht in den Trainingsdaten zwar ein tief verwurzeltes Problem ist, es aber praktische Möglichkeiten gibt, die Kosten bereits jetzt zu senken, während die Technologie nachzieht.
Letztendlich zeigt die Studie, dass die Ineffizienz beim Lesen kyrillischer Sprachen ein lösbares Problem der Datenallokation ist und kein inhärenter Fehler in den Skripten selbst. Der Computer ist nicht defekt; er ist lediglich zugunsten der Daten voreingenommen, die er am häufigsten gesehen hat. Durch die Anpassung der Trainingsdaten, um diese unterrepräsentierten Sprachen stärker einzubeziehen, oder durch den Einsatz smarter Komprimierungswerkzeuge kann die digitale Kluft bei Kosten und Geschwindigkeit verringert werden. Die Erkenntnisse bieten einen klaren Weg nach vorn, um künstliche Intelligenz gerechter zu gestalten und sicherzustellen, dass die Vorteile dieser leistungsstarken Werkzeuge nicht auf diejenigen beschränkt sind, die in den gebräuchlichsten Skripten schreiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.