One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography
Cet article démontre que le préentraînement de modèles de langage multilingues sur du texte romanisé, plutôt que sur l'orthographe native ou l'API, améliore significativement le transfert de connaissances translingues à travers divers systèmes d'écriture, suggérant que la romanisation devrait être un choix de conception fondamental du préentraînement plutôt qu'une adaptation a posteriori.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où un seul programme informatique pourrait lire, écrire et comprendre toutes les langues de la Terre avec une fluidité égale. C'est la promesse de l'intelligence artificielle multilingue, un domaine qui a fait des progrès incroyables ces dernières années. Ces programmes apprennent en lisant de vastes quantités de texte, en absorbant les motifs de grammaire et de sens. Un élément clé de leur fonctionnement est un dictionnaire partagé de fragments de mots, ou sous-mots, qui leur permet de reconnaître les similitudes entre différentes langues. Si deux langues utilisent le même alphabet, comme l'anglais et l'espagnol, elles partagent naturellement beaucoup de ces fragments, ce qui facilite le transfert de connaissances de l'une à l'autre par l'ordinateur. Cependant, le monde est rempli de langues qui utilisent des systèmes d'écriture entièrement différents, tels que l'alphabet cyrillique du russe, l'écriture devanagari du hindi ou l'alphabet arabe de l'ourdou. Lorsque ces écritures ne se chevauchent pas, le dictionnaire partagé de l'ordinateur se brise, et la capacité d'apprendre d'une langue pour aider une autre s'évanouit. Cette barrière a longtemps été un obstacle à la création de modèles linguistiques véritablement universels.
Pour résoudre ce problème, les chercheurs ont tenté de forcer différents systèmes d'écriture à adopter une forme commune. Une approche consiste à convertir le texte en l'Alphabet Phonétique International, un ensemble universel de symboles qui représente les sons de la parole humaine. Une autre consiste à translittérer le texte en alphabet latin, l'écriture utilisée pour l'anglais, réécrivant ainsi chaque langue dans un script unique et partagé. Bien que ces méthodes aient montré des promesses lors de petites expériences, il restait incertain quelle approche était réellement supérieure lors de la construction de modèles puissants et de grande envergure à partir de zéro, ou si le simple fait de convertir le texte après que le modèle a déjà été entraîné fonctionnerait tout aussi bien. Une équipe de chercheurs de l'Université d'État de l'Ohio et de l'Université de Washington s'est donné pour mission de répondre à ces questions en construisant et en testant une série de modèles linguistiques conçus pour gérer huit langues distinctes couvrant quatre familles de langues différentes.
Les chercheurs ont construit une expérience contrôlée utilisant huit langues : l'anglais et l'espagnol, le russe et le polonais, le hindi et l'ourdou, ainsi que le tamoul et le malayalam. Ces paires ont été choisies car elles offraient un mélange de relations ; certaines partageaient des écritures, tandis que d'autres partageaient des sons mais utilisaient des systèmes d'écriture complètement différents. Ils ont construit trois versions d'un modèle linguistique pour trois tailles différentes, allant d'environ 467 millions à plus d'un milliard de paramètres. Pour chaque taille, ils ont entraîné un modèle sur les écritures natives originales, un deuxième sur du texte converti en l'Alphabet Phonétique International, et un troisième sur du texte converti en alphabet latin. Crucialement, ils ont gardé tout le reste identique : la quantité de données, l'architecture informatique et le temps d'entraînement. Cela leur a permis d'isoler l'effet du système d'écriture lui-même sur la capacité du modèle à apprendre et à transférer des connaissances.
Les résultats furent frappants et clairs. Les modèles entraînés sur du texte converti en alphabet latin, ou romanisé, ont systématiquement surpassé les autres lors de chaque test. Que la tâche consistât à répondre à des questions, à comprendre le sens des phrases ou à résumer des articles de presse, les modèles romanisés ont montré la plus forte capacité de transfert de connaissances d'une langue à une autre. Cet avantage s'est accentué à mesure que les modèles devenaient plus grands. Les modèles entraînés sur l'alphabet phonétique ont également mieux performé que ceux entraînés sur les écritures originales dans la plupart des cas, mais ils sont généralement restés en deçà des modèles romanisés. La seule exception fut la paire hindi et ourdou ; puisque ces deux langues sont presque identiques dans leur sonorité mais utilisent des écritures totalement différentes, l'approche phonétique a particulièrement bien fonctionné pour elles, égalant la performance des modèles romanisés. Cependant, lorsque les modèles étaient testés sur des langues qu'ils n'avaient jamais vues auparavant, l'approche romanisée est restée la plus robuste.
La découverte la plus surprenante concernait une stratégie courante dans le domaine : prendre un modèle déjà entraîné sur des écritures natives et l'affiner (fine-tuning) sur des données romanisées plus tard. De nombreux chercheurs supposaient que cela serait un raccourci efficace, permettant de bénéficier de la romanisation sans le coût d'un réentraînement complet du modèle. L'étude a révélé le contraire. Lorsque les chercheurs ont appliqué ce raccourci à leurs modèles, la performance a chuté de manière significative sur les langues que le modèle connaissait déjà. L'intervention n'a été utile que lorsque le modèle était sollicité pour traiter une langue pour laquelle il n'avait aucune exposition préalable, et même dans ce cas, l'amélioration était modeste par rapport à un entraînement du modèle sur du texte romanisé dès le début. Cela suggère que le bénéfice de la romanisation ne concerne pas seulement le format de sortie final, mais la manière dont le modèle apprend la structure fondamentale du langage durant sa phase d'entraînement initiale.
L'étude a également examiné l'efficacité de ces différents systèmes d'écriture. Les langues utilisant des écritures complexes, comme le tamoul et le malayalam, nécessitaient nettement plus de jetons (tokens) informatiques pour représenter la même quantité de texte par rapport aux langues utilisant l'alphabet latin. Cela signifiait que l'entraînement sur les écritures originales était non seulement plus difficile pour l'apprentissage inter-langues par le modèle, mais aussi plus coûteux et plus lent. Les approches phonétique et romanisée ont compressé ce texte, alignant le coût et la vitesse de ces langues sur les autres. Cette compression, combinée à l'amélioration de la capacité de partage de connaissances entre différents scripts, a fait de l'approche romanisée le choix de conception le plus efficace pour construire des modèles multilingues couvrant des systèmes d'écriture divers.
En fin de compte, la recherche indique que pour que l'intelligence artificielle puisse véritablement combler le fossé entre les nombreuses langues du monde, le choix de la représentation du texte est une décision de conception fondamentale, et non un détail technique mineur. Les preuves suggèrent que la conversion de divers scripts vers une forme latine partagée avant l'entraînement du modèle produit les meilleurs résultats, permettant au système d'internaliser une structure unifiée qui fonctionne à travers les frontières linguistiques. Bien que la conversion du texte en symboles phonétiques offre certains avantages, particulièrement pour les langues qui se ressemblent par le son mais diffèrent par l'apparence, elle ne remplace pas les avantages d'un script unifié. Les conclusions remettent en question l'idée qu'ajuster un modèle après sa construction soit suffisant ; elles pointent plutôt vers la nécessité d'une stratégie délibérée et préalable dans la manière dont ces esprits numériques sont enseignés à lire le monde.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.