The Tokenizer Tax Across 25 European Languages: Domain Invariance, Cross-Lingual Few-Shot Effects, and the Ukrainian Penalty
Diese Arbeit quantifiziert eine „Tokenizer-Steuer" über 25 europäische Sprachen hinweg und zeigt, dass nicht-englische Sprachen, insbesondere das Ukrainische und solche mit komplexer Morphologie, aufgrund einer Unterrepräsentation in den Vorab-Trainingsdaten deutlich höhere Token-zu-Wort-Verhältnisse aufweisen, während gleichzeitig nachgewiesen wird, dass diese Fruchtbarkeitsrangfolgen domänenübergreifend konsistent bleiben und Few-Shot-Effekte modellimmanent und nicht sprachabhängig sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bezahlen eine Taxifahrt. Im Englischen berechnet das Taxi Ihnen die Fahrt nach dem „Stop" (ein Wort). Doch im Ukrainischen besteht der Taxifahrer darauf, Ihnen nach dem „Schritt" (ein winziger Teil eines Wortes) zu berechnen. Da ukrainische Wörter oft länger und komplexer sind, muss der Fahrer viele mehr Schritte unternehmen, um dasselbe Ziel zu erreichen. Sie zahlen am Ende doppelt so viel für exakt dieselbe Fahrt, obwohl die Distanz unverändert geblieben ist.
Dieser von Wolodymyr Owtscharow verfasste Artikel handelt von dieser versteckten „Steuer" auf nicht-englische Sprachen bei der Nutzung von KI. Hier ist die Aufschlüsselung dessen, was sie mit einfachen Analogien gefunden haben:
1. Die „Schritt"-Steuer (Token-Fruchtbarkeit)
KI-Modelle lesen ganze Wörter nicht wie Menschen. Sie zerlegen Text in winzige Häppchen, sogenannte Tokens.
- Die Analogie: Stellen Sie sich ein Wort als einen Laib Brot vor.
- Englisch: Die KI schneidet den Laib in große, dicke Scheiben. Sie benötigen nur 1,2 Scheiben, um ein Wort darzustellen.
- Ukrainisch: Die KI verwendet ein stumpfes Messer und schneidet denselben Laib in winzige, krümelige Stücke. Es sind 2,7 Scheiben erforderlich, um ein Wort darzustellen.
- Die Kosten: Da KI-Unternehmen Sie pro „Scheibe" (Token) berechnen, kostet das Sprechen Ukrainisch für denselben Textumfang etwa 2,2-mal mehr als das Sprechen Englisch.
- Die Hierarchie: Der Artikel maß 25 europäische Sprachen.
- Die günstige Gruppe: Englisch, Spanisch und Französisch (1,2 bis 1,7 Scheiben pro Wort).
- Die mittlere Gruppe: Deutsch und Niederländisch (1,7 bis 1,9 Scheiben).
- Die teure Gruppe: Slawische Sprachen wie Polnisch und Tschechisch (2,2 bis 2,5 Scheiben).
- Die teuerste Gruppe: Ukrainisch, Griechisch und Maltesisch (etwa 3,1 Scheiben).
2. Die „Ukrainische Strafe"
Die Forscher stellten etwas Überraschendes über das Ukrainische fest. Obwohl Ukrainisch, Polnisch und Tschechisch allesamt slawische Cousins mit ähnlichen Wortstrukturen sind, ist die Verarbeitung des Ukrainischen deutlich teurer.
- Die Analogie: Stellen Sie sich zwei identische Fabriken vor. Die eine (Polnisch) verfügt über einen gut bestellten Vorrat an vorgefertigten Ziegeln, da sie schon lange baut. Die andere (Ukrainisch) muss jeden Ziegel aus rohem Stein schneiden, da sie in der Vergangenheit ignoriert wurde.
- Die Ursache: Der Artikel zeigt, dass das Ukrainische 2 bis 6-mal weniger Trainingsdaten in der „Bibliothek" der KI hat als Polnisch oder Tschechisch. Da die KI ukrainische Wörter nicht so oft gesehen hat, weiß sie nicht, wie sie sie effizient gruppieren soll. Sie zerschneidet sie weiterhin in winzige, ineffiziente Stücke.
3. Das „Einheitsmesser"
Der Artikel testete, ob sich diese „Steuer" ändert, je nachdem, worüber Sie sprechen (z. B. juristische Verträge vs. Nachrichten vs. Wikipedia).
- Das Ergebnis: Es spielt keine Rolle. Die Rangliste darüber, welche KI „günstig" und welche „teuer" ist, bleibt exakt gleich, egal ob Sie über Fußball, Recht oder Geschichte sprechen.
- Die Erkenntnis: Wenn Sie eine KI an einem Texttyp testen, wissen Sie genau, wie viel sie Sie für jeden anderen Texttyp kosten wird. Sie müssen sie nicht jedes Mal neu testen.
4. Der „Zaubertrick" (Few-Shot-Lernen)
KI kann manchmal eine neue Aufgabe lernen, indem sie nur ein paar Beispiele sieht (wie das Zeigen einer Beispiel-Frage und -Antwort). Die Forscher testeten, ob dieser „Zaubertrick" für verschiedene Sprachen unterschiedlich funktioniert.
- Das Ergebnis: Der Trick hat nichts mit der Sprache zu tun, sondern mit der Persönlichkeit der KI (ihrem Design).
- Manche KIs (wie „Nemotron") werden intelligenter, wenn ihnen Beispiele gezeigt werden, egal ob der Text Ukrainisch, Polnisch oder Russisch ist.
- Andere KIs (wie „Maverick") werden tatsächlich dümmer, wenn ihnen Beispiele gezeigt werden, wiederum unabhängig von der Sprache.
- Die Lehre: Geben Sie nicht der Sprache die Schuld für die Verwirrung der KI. Geben Sie dem Design der KI die Schuld. Wenn eine KI mit Beispielen im Englischen scheitert, wird sie wahrscheinlich auch mit Beispielen im Ukrainischen scheitern.
5. Warum manche KIs beim Zerschneiden besser sind
Die Forscher schauten unter die Haube, um zu sehen, wie verschiedene KIs die Wörter zerschneiden.
- Die guten Zerschneider: Manche KIs (wie Gemma 2) schneiden ukrainische Wörter an natürlichen „Morphem"-Grenzen (den bedeutungstragenden Teilen eines Wortes, wie Wurzeln und Endungen). Das ist effizient.
- Die schlechten Zerschneider: Andere KIs (wie Qwen3) schneiden Wörter an zufälligen Stellen, manchmal sogar einen einzigen bedeutungstragenden Teil in zwei Hälften. Es ist, als würde man ein Sandwich genau in der Mitte einer Gurke durchschneiden, statt zwischen den Brotscheiben.
- Die Überraschung: Ein größeres Wörterbuch (Vokabular) garantiert kein besseres Zerschneiden. Manche KIs mit riesigen Wörterbüchern zerschnitten ukrainische Wörter dennoch in winzige, ineffiziente Stücke, weil sie einfach nicht genügend ukrainische Beispiele in ihren Trainingsdaten hatten, um die richtigen Schnitte zu lernen.
Zusammenfassung der Empfehlungen
Der Artikel schlägt drei einfache Regeln für alle vor, die KI mit Ukrainisch oder ähnlichen Sprachen nutzen:
- Erwarten Sie die Steuer: Planen Sie ein Budget dafür ein, dass Ukrainisch etwa doppelt so viel kostet wie Englisch.
- Testen Sie einmal: Sie müssen die „Steuer" nur einmal messen; sie gilt für alle Themen.
- Seien Sie vorsichtig mit Beispielen: Gehen Sie nicht davon aus, dass das Zeigen von Beispielen einer KI hilft. Bei manchen Modellen kann es die Leistung sogar verschlechtern, und dies geschieht in jeder Sprache.
Das Fazit: Die Welt der KI ist derzeit mit einer englischen Voreingenommenheit aufgebaut. Solange die „Bibliotheken" der Trainingsdaten nicht ausgeglichen sind, werden Sprachen wie Ukrainisch eine versteckte „Schritt-Steuer" zahlen müssen, nur um verstanden zu werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.