💬 NLP

The Tokenizer Tax Across 25 European Languages: Domain Invariance, Cross-Lingual Few-Shot Effects, and the Ukrainian Penalty

Ce papier quantifie une « taxe de tokenisation » à travers 25 langues européennes, révélant que les langues non anglaises, en particulier l'ukrainien et celles à morphologie complexe, souffrent de ratios token-mot significativement plus élevés en raison d'une sous-représentation dans les données de pré-entraînement, tout en démontrant que ces classements de fertilité restent cohérents à travers les domaines et que les effets few-shot sont inhérents au modèle plutôt que dépendants de la langue.

Auteurs originaux : Volodymyr Ovcharov

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Volodymyr Ovcharov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous payez pour une course de taxi. En anglais, le taxi vous facture par « arrêt » (un mot). Mais en ukrainien, le chauffeur de taxi insiste pour vous facturer par « pas » (un tout petit morceau d'un mot). Parce que les mots ukrainiens sont souvent plus longs et plus complexes, le chauffeur doit faire beaucoup plus de pas pour atteindre la même destination. Vous finissez par payer deux fois plus cher pour exactement la même course, même si la distance n'a pas changé.

Ce papier, écrit par Volodymyr Ovcharov, traite entièrement de cette « taxe » cachée qui pèse sur les langues autres que l'anglais lors de l'utilisation de l'IA. Voici le détail de leurs découvertes, en utilisant des analogies simples :

1. La taxe « Pas » (Fertilité du Tokenizer)

Les modèles d'IA ne lisent pas les mots entiers comme le font les humains. Ils découpent le texte en tout petits morceaux appelés tokens.

L'analogie : Imaginez un mot comme un pain.
- Anglais : L'IA coupe le pain en grosses tranches épaisses. Vous n'avez besoin que de 1,2 tranche pour représenter un mot.
- Ukrainien : L'IA utilise un couteau émoussé et coupe le même pain en tout petits morceaux friables. Il faut 2,7 tranches pour représenter un mot.
Le coût : Puisque les entreprises d'IA vous facturent par « tranche » (token), parler ukrainien vous coûte environ 2,2 fois plus cher que parler anglais pour la même quantité de texte.
La hiérarchie : Le papier a mesuré 25 langues européennes.
- Le groupe bon marché : Anglais, espagnol et français (1,2 à 1,7 tranches par mot).
- Le groupe intermédiaire : Allemand et néerlandais (1,7 à 1,9 tranches).
- Le groupe cher : Langues slaves comme le polonais et le tchèque (2,2 à 2,5 tranches).
- Le plus cher : Ukrainien, grec et maltais (environ 3,1 tranches).

2. La « Pénalité ukrainienne »

Les chercheurs ont découvert quelque chose de surprenant concernant l'ukrainien. Même si l'ukrainien, le polonais et le tchèque sont tous des cousins slaves avec des structures de mots similaires, l'ukrainien est nettement plus coûteux à traiter.

L'analogie : Imaginez deux usines identiques. L'une (le polonais) dispose d'un stock bien fourni de briques pré-découpées car elle construit depuis longtemps. L'autre (l'ukrainien) doit tailler chaque brique dans de la pierre brute car elle a été ignorée par le passé.
La cause : Le papier montre que l'ukrainien dispose de 2 à 6 fois moins de données d'entraînement dans la « bibliothèque » de l'IA par rapport au polonais ou au tchèque. Parce que l'IA n'a pas vu les mots ukrainiens aussi souvent, elle ne sait pas comment les regrouper efficacement. Elle continue de les découper en tout petits morceaux inefficaces.

3. Le couteau « Taille unique »

Le papier a testé si cette « taxe » changeait selon le sujet dont vous parlez (par exemple, contrats juridiques vs actualités vs Wikipédia).

La découverte : Cela n'a pas d'importance. Le classement de quelle IA est « bon marché » et laquelle est « chère » reste exactement le même, que vous parliez de football, de droit ou d'histoire.
La conclusion : Si vous testez une IA sur un type de texte, vous savez exactement combien cela vous coûtera pour n'importe quel autre type de texte. Vous n'avez pas besoin de la re-tester à chaque fois.

4. Le « Tour de magie » (Apprentissage par quelques exemples)

L'IA peut parfois apprendre une nouvelle tâche simplement en voyant quelques exemples (comme lui montrer un exemple de question et de réponse). Les chercheurs ont testé si ce « tour de magie » fonctionnait différemment selon les langues.

La découverte : Le tour ne concerne pas la langue ; il concerne la personnalité de l'IA (sa conception).
- Certaines IA (comme « Nemotron ») deviennent plus intelligentes lorsqu'on leur montre des exemples, que le texte soit en ukrainien, en polonais ou en russe.
- D'autres IA (comme « Maverick ») deviennent en fait moins intelligentes lorsqu'on leur montre des exemples, encore une fois, quelle que soit la langue.
La leçon : Ne blâmez pas la langue pour la confusion de l'IA. Blâmez la conception de l'IA. Si une IA échoue avec des exemples en anglais, elle échouera probablement aussi avec des exemples en ukrainien.

5. Pourquoi certaines IA sont meilleures pour découper

Les chercheurs ont regardé sous le capot pour voir comment différentes IA découpent les mots.

Les bons découpeurs : Certaines IA (comme Gemma 2) coupent les mots ukrainiens aux frontières naturelles des « morphèmes » (les parties significatives d'un mot, comme les racines et les terminaisons). C'est efficace.
Les mauvais découpeurs : D'autres IA (comme Qwen3) coupent les mots à des endroits aléatoires, parfois en divisant une seule partie significative en deux. C'est comme couper un sandwich juste au milieu d'une cornichon au lieu de le couper entre les tranches de pain.
La surprise : Avoir un plus grand dictionnaire (vocabulaire) ne garantit pas un meilleur découpage. Certaines IA avec d'énormes dictionnaires continuent de découper les mots ukrainiens en tout petits morceaux inefficaces simplement parce qu'elles n'avaient pas assez d'exemples ukrainiens dans leurs données d'entraînement pour apprendre les bons coups.

Résumé des recommandations

Le papier suggère trois règles simples pour toute personne utilisant l'IA avec l'ukrainien ou des langues similaires :

Attendez-vous à la taxe : Prévoyez un budget sachant que l'ukrainien coûtera environ le double de l'anglais.
Testez une seule fois : Vous n'avez besoin de mesurer la « taxe » qu'une fois ; elle s'applique à tous les sujets.
Soyez prudent avec les exemples : Ne supposez pas que montrer des exemples à une IA l'aidera. Pour certains modèles, cela pourrait en fait nuire aux performances, et cela se produit dans toutes les langues.

La conclusion : Le monde de l'IA est actuellement construit avec un biais anglais. Tant que les « bibliothèques » de données d'entraînement ne seront pas équilibrées, des langues comme l'ukrainien paieront une « taxe par pas » cachée simplement pour être comprises.

Résumé technique : La taxe des tokenizers à travers 24 langues européennes

Énoncé du problème

Les tokenizers imposent un coût économique et technique caché au traitement automatique des langues (NLP) non anglophones, en particulier pour les langues à morphologie riche. Cette « taxe des tokenizers » découle de la fécondité — le nombre de sous-mots générés par mot. Alors que le texte anglais est tokenisé efficacement (environ 1,2 token/mot), les langues à morphologie complexe ou sous-représentées dans les données de pré-entraînement peuvent engendrer des coûts 2,5 fois plus élevés. Des études antérieures (Petrov et al., 2023 ; Ahia et al., 2023) ont documenté ces disparités mais s'appuyaient sur des sources de texte hétérogènes, rendant difficile l'isolement de la contribution du tokenizer de la variation du contenu. De plus, la « pénalité ukrainienne » spécifique par rapport aux langues slaves cognates et la cohérence interlinguistique des effets de l'apprentissage avec peu d'exemples (few-shot) restaient non quantifiées dans un cadre contrôlé.

Méthodologie

L'étude emploie une conception expérimentale interlinguale contrôlée pour mesurer la fécondité et ses effets en aval à travers dix modèles de base et 25 langues européennes.

Modèles : Dix modèles ont été évalués, dont sept accessibles via AWS Bedrock (Llama 4 Maverick, Llama 3.3 70B, Mistral Large 3, Nemotron Super 3, Nova Pro, Qwen3 32B, Qwen3 235B) et trois mesurés localement à l'aide de tokenizers publics (GPT-4o, Gemma 2 27B, DeepSeek V3).
Ensembles de données :
- Mesure de fécondité : Texte parallèle SIB-200 (25 langues de l'UE + ukrainien) et Wikipédia ukrainienne (registre encyclopédique). Les textes ont été concaténés en blocs d'environ 6 000 caractères pour minimiser la surcharge des invites système.
- Classification : Classification de sujets SIB-200 (7 classes) à travers quatre langues slaves (ukrainien, polonais, russe, tchèque).
- Compétence linguistique : Benchmark ULP (347 questions à choix multiples sur la grammaire ukrainienne).
Conception expérimentale :
1. Invariance de domaine : Mesure de la fécondité à travers les registres juridique, journalistique et encyclopédique pour tester la stabilité du classement.
2. Cartographie interlinguale : Calcul de la fécondité moyenne pour 25 langues afin d'établir une hiérarchie.
3. Analyse des sous-mots : Décomposition de termes juridiques ukrainiens spécifiques pour analyser la préservation des frontières morphologiques.
4. Évaluation few-shot : Comparaison de la précision en zero-shot versus few-shot sur SIB-200 pour déterminer si les écarts de performance dépendent de la langue ou sont inhérents au modèle.
5. Corrélation de compétence : Corrélation des taux de fécondité avec la précision grammaticale sur le benchmark ULP.

Contributions clés

Carte de fécondité interlinguale contrôlée : La première mesure de la fécondité des tokenizers à travers 25 langues européennes utilisant du texte parallèle, isolant le comportement du tokenizer de la variation du contenu.
Validation de l'invariance de domaine : Démonstration que les classements de fécondité sont stables à travers les registres juridique, journalistique et encyclopédique ( $\rho > 0,97$ ), impliquant qu'une seule mesure suffit pour prédire les coûts dans tous les domaines.
Analyse mécaniste des sous-mots : Identification que les tokenizers à haute fécondité fragmentent les frontières morphologiques à des niveaux arbitraires d'octets plutôt que de préserver les morphèmes, expliquant les écarts de performance.
Effets few-shot inhérents au modèle : Preuve que les effets de l'apprentissage avec peu d'exemples (amélioration ou dégradation) sont cohérents à travers différentes langues slaves pour un modèle donné, indiquant que l'effet est piloté par l'architecture du modèle plutôt que par les propriétés de la langue d'entrée.
Quantification de la pénalité ukrainienne : Quantification spécifique du coût en tokens 15–18 % plus élevé pour l'ukrainien par rapport aux langues slaves cognates (polonais, tchèque), attribué à la sous-représentation dans les données de pré-entraînement.

Résultats

1. La hiérarchie de la taxe des tokenizers

La fécondité s'étend sur une plage de 2,5× à travers les langues européennes :

Plus efficace : Anglais (1,23 token/mot).
Romance : 1,5–1,7.
Germanique : 1,7–1,9.
Slave : 2,2–2,5.
Ouralien/Baltique : 2,7–3,0.
Plus coûteux : Grec et maltais (~3,1).

La pénalité ukrainienne : L'ukrainien moyenne 2,66 tokens/mot, payant 15–18 % de plus que le polonais (2,25) et le tchèque (2,28). Cet écart persiste malgré une complexité morphologique similaire. L'analyse des corpus révèle que l'ukrainien dispose de 2 à 6 fois moins de données de pré-entraînement que le polonais dans les principaux corpus (mC4, OSCAR, CulturaX), conduisant à moins de fusions de sous-mots optimisées.

2. Variance des modèles et fragmentation des sous-mots

La conception des modèles impacte significativement la fécondité. Par exemple, pour le grec, la fécondité varie de 2,29 (Llama 4 Maverick) à 5,73 (Qwen3).

Tokenizers efficaces (ex. Gemma 2, Llama 3.3) : Préservent les frontières morphémiques (ex. diviser вiдповiдальнiсть en 3–4 tokens).
Tokenizers inefficaces (ex. Qwen3, DeepSeek) : Fragmentent les mots aux frontières d'octets (divisant le même mot en 8–9 tokens), malgré des tailles de vocabulaire comparables ou plus grandes.

3. Invariance de domaine

Les classements de fécondité sont parfaitement préservés ( $\rho = 1,0$ ) à travers les textes journalistiques, juridiques et encyclopédiques. Bien que les comptes absolus de tokens varient légèrement selon le domaine (le texte encyclopédique est généralement le plus coûteux en raison de la diversité du vocabulaire), l'ordre relatif des coûts des modèles reste constant.

4. Effets few-shot interlinguaux

L'impact de l'invocation few-shot est inhérent au modèle, et non dépendant de la langue :

Nemotron Super 3 : Amélioration des performances sur les quatre langues slaves (moyenne +10,5 pp).
Llama 4 Maverick : Dégradation des performances sur les quatre langues slaves (moyenne -8,4 pp), avec un effondrement significatif des classes vers les catégories dominantes (ex. sciences, politique).
Cette cohérence à travers les scripts cyrillique et latin suggère que l'effet est déterminé par la manière dont le mécanisme d'attention d'un modèle traite le contenu de démonstration, et non par la morphologie de la langue d'entrée.

5. Compétence linguistique

La corrélation entre une faible fécondité et une haute précision grammaticale (benchmark ULP) est faible ( $\rho = -0,43$ ) et non statistiquement significative ( $p=0,34$ ). Bien que Llama 4 Maverick (fécondité la plus faible) ait atteint la précision la plus élevée (57,3 %), des valeurs aberrantes comme Nemotron (fécondité modérée, précision la plus faible) indiquent que l'architecture et la composition des données d'entraînement sont de meilleurs prédicteurs de compétence que l'efficacité de la tokenisation seule.

Importance et affirmations

L'article prétend fournir la première carte contrôlée et invariante de domaine de la « taxe des tokenizers » à travers l'Europe. Sa signification principale réside dans :

Impact économique : Établir que le traitement du contenu ukrainien coûte 2,2 fois plus que l'anglais purement en raison de la conception du tokenizer, un coût qui s'accumule à travers les appels API.
Changement méthodologique : Prouver que la fécondité est une propriété stable du vocabulaire du tokenizer, permettant aux praticiens de mesurer le coût une fois et de le prédire dans tous les domaines d'application.
Représentation des données : Souligner que la « pénalité ukrainienne » n'est pas uniquement une caractéristique linguistique mais une conséquence directe de la sous-représentation dans les corpus de pré-entraînement, ce qui entraîne des vocabulaires de sous-mots sous-optimaux.
Conseils pratiques : Recommander aux praticiens de privilégier les approches zero-shot pour les langues à morphologie riche (car les effets few-shot sont imprévisibles et spécifiques au modèle) et de budgétiser la taxe de tokens spécifique de leur langue cible.

Les auteurs publient toutes les mesures de fécondité et les données de décomposition des sous-mots en tant qu'ensemble de données public pour permettre une sélection de modèles et des politiques de routage conscientes des coûts.