Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems
Cet article quantifie le surcoût de tokenisation important auquel sont confrontées l'ukrainien et d'autres langues cyrilliques dans les systèmes d'IA modernes par rapport à l'anglais, démontrant que cette disparité provient de l'allocation des données d'entraînement mais peut être efficacement atténuée par des techniques de compression au moment de l'inférence ou en entraînant des tokeniseurs BPE de niveau octet équilibrés.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Lorsqu'un ordinateur lit une phrase, il ne voit pas les mots comme un humain le fait. Au lieu de cela, il décompose le texte en petits fragments appelés « tokens », qui sont les unités de base que la machine utilise pour comprendre le sens et calculer les coûts. Pour les langues utilisant l'alphabet latin, comme l'anglais, ces fragments sont souvent efficaces car les lettres elles-mêmes occupent très peu d'espace dans la mémoire de l'ordinateur. Cependant, pour les langues écrites avec l'alphabet cyrillique, comme l'ukrainien, la situation est différente. Les caractères utilisés dans ces écritures nécessitent plus d'espace numérique pour être stockés, et comme la majeure partie des données utilisées pour entraîner l'intelligence artificielle est en anglais, l'ordinateur a appris à traiter le texte anglais de manière très efficace tout en peinant avec le cyrillique. Cela crée une taxe cachée : pour traiter la même quantité d'informations, un ordinateur pourrait avoir besoin de diviser une phrase ukrainienne en près de deux fois plus de morceaux qu'une phrase anglaise, ce qui rend le processus plus lent et plus coûteux.
Une étude récente du chercheur indépendant Ivan Dobrovolskyi examine cette disparité, en se concentrant spécifiquement sur l'ukrainien, mais en tirant des conclusions applicables à de nombreuses autres langues utilisant l'alphabet cyrillique. La recherche pose une question simple mais critique : pourquoi l'ordinateur éprouve-t-il tant de difficultés avec ces langues, et pouvons-nous y remédier sans attendre une refonte complète de la technologie ? L'étude suggère que le problème ne vient pas seulement de la forme des lettres ou de l'espace qu'elles occupent, mais plutôt de la manière dont l'ordinateur a appris à les lire. En analysant comment différents systèmes modernes décomposent le texte, le chercheur a découvert que le déséquilibre provient des données d'entraînement elles-mêmes. L'ordinateur a vu beaucoup plus de textes en anglais qu'en ukrainien, il a donc appris moins de raccourcis pour la langue ukrainienne.
Pour mesurer l'ampleur du problème, le chercheur a testé neuf systèmes commerciaux différents utilisés par de grandes entreprises technologiques. Il a soumis à ces systèmes des millions de mots de texte ukrainien et a comparé le nombre de morceaux créés par chaque système par rapport au nombre de morceaux créés pour l'anglais. Les résultats ont montré un écart significatif. Sur les systèmes les plus modernes, le texte ukrainien nécessitait entre 68 % et 121 % de morceaux supplémentaires par rapport au texte anglais. Sur les systèmes plus anciens, l'écart était encore plus large, atteignant 220 % de morceaux en plus. Cela signifie que pour chaque dollar dépensé pour traiter du texte anglais, un utilisateur pourrait dépenser presque le double pour traiter la même quantité de texte ukrainien, simplement parce que l'ordinateur doit fournir plus d'efforts pour décomposer les mots.
L'étude a également examiné si le passage à l'alphabet latin, un processus appelé romanisation, résoudrait le problème. Certains ont suggéré que l'écriture de l'ukrainien avec des lettres latines rendrait la lecture plus économique et plus rapide pour les ordinateurs. Cependant, la recherche a montré le contraire pour les systèmes modernes. Comme ces systèmes ont déjà appris des méthodes efficaces pour gérer les lettres cyrilliques natives présentes sur le web ukrainien, forcer le texte en lettres latines a en réalité confondu l'ordinateur. Cela a provoqué une fragmentation encore plus importante du texte, augmentant le coût jusqu'à 19 % sur certains systèmes. L'ordinateur fonctionne mieux avec l'écriture qu'il a le plus souvent rencontrée dans ses données d'entraînement, et pour l'ukrainien, il s'agit de l'écriture cyrillique native.
Pour comprendre si le problème pouvait être réglé à la source, le chercheur a créé un nouveau système personnalisé conçu pour traiter l'anglais et l'ukrainien de manière égale. Au lieu de laisser l'ordinateur apprendre à partir de l'internet vaste et dominé par l'anglais, ce nouveau système a été entraîné sur un mélange parfaitement équilibré de textes anglais et ukrainiens. Les résultats ont été frappants. Lorsqu'un tel système équilibré était utilisé, l'écart d'efficacité diminuait considérablement. Le texte ukrainien ne nécessitait plus deux fois plus de morceaux ; il n'en nécessitait qu'environ 30 % de plus que le texte anglais. Cela prouve que le coût élevé n'est pas une limite physique inévitable des lettres elles-mêmes, mais le résultat de la façon dont l'ordinateur a été entraîné. Si les données d'entraînement sont équilibrées, l'ordinateur apprend à être efficace pour les deux langues.
La recherche a également exploré un moyen de réduire les coûts sans modifier l'entraînement de l'ordinateur. En utilisant une technique qui supprime intelligemment les mots inutiles du texte avant que l'ordinateur ne le lise, les chercheurs ont pu réduire de près de moitié la quantité de texte ukrainien. Crucialement, cette compression n'a pas nui à la capacité de l'ordinateur à trouver les bonnes réponses lors d'un test impliquant des milliers de produits et de questions de clients réels. Le système récupérait toujours les prix, les évaluations et les détails exacts, tout aussi précisément qu'avec le texte complet non compressé. Cela suggère que, bien que le déséquilibre de l'entraînement soit un problème profond, il existe des moyens pratiques de réduire les coûts dès maintenant, en attendant que la technologie rattrape son retard.
En fin de compte, l'étude révèle que l'inefficacité de la lecture des langues cyrilliques est un problème de répartition des données, et non un défaut inhérent aux écritures. L'ordinateur n'est pas défectueux ; il est simplement biaisé en faveur des données qu'il a le plus vues. En ajustant les données d'entraînement pour inclure davantage de ces langues sous-représentées, ou en utilisant des outils de compression intelligents, le fossé numérique en termes de coût et de vitesse peut être réduit. Ces conclusions offrent une voie claire pour rendre l'intelligence artificielle plus équitable, garantissant que les bénéfices de ces outils puissants ne soient pas limités à ceux qui écrivent dans les écritures les plus communes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.