Apples to Apples? Towards Comparable Crosslingual Language Model Evaluation
Cet article démontre que les métriques normalisées largement utilisées pour l'évaluation des modèles de langage translinguistiques introduisent des biais dus à la tokenisation et aux différences orthographiques, et propose que la log-vraisemblance négative au niveau de la phrase sur des séquences sémantiquement équivalentes offre une alternative plus cohérente et équitable pour comparer les modèles entre les langues.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde en pleine évolution de l'intelligence artificielle, les ordinateurs apprennent à parler et à écrire dans des dizaines de langues humaines. Ces esprits numériques, connus sous le nom de modèles de langage, sont entraînés sur de vastes bibliothèques de textes pour prédire quel mot vient ensuite dans une phrase. À mesure que ces systèmes deviennent plus puissants, les chercheurs sont confrontés à un défi critique : comment savoir si un modèle est réellement bon dans une langue spécifique, ou s'il est simplement bon dans la manière dont cette langue est écrite sur un ordinateur ? Pour répondre à cela, les scientifiques doivent mesurer la capacité d'un modèle à comprendre le sens d'un texte, et non seulement son efficacité à traiter les caractères ou les symboles bruts. Le problème est que les outils actuellement utilisés pour mesurer cette compréhension contiennent souvent des pièges cachés. Ils peuvent être biaisés par le nombre de lettres dans un mot, le script spécifique utilisé pour écrire une langue, ou la façon dont l'ordinateur décompose une phrase en minuscules morceaux pour le traitement. Si ces outils sont biaisés, ils pourraient faire paraître un modèle brillant dans une langue et maladroit dans une autre, non pas en raison de son intelligence réelle, mais à cause de particularités techniques dans la gestion des données. Cela rend presque impossible la comparaison équitable de la performance d'une intelligence artificielle à travers les diverses langues du monde.
Une équipe de chercheurs de l'Université de Georgetown et d'EleutherAI s'est donné pour mission de résoudre ce casse-tête en testant les outils mêmes utilisés pour juger ces modèles. Ils ont construit une expérience contrôlée utilisant cinquante modèles informatiques distincts, chacun ayant été entraîné exclusivement sur une des dix langues différentes. Pour garantir un test équitable, ils ont entraîné ces modèles sur des données parallèles, ce qui signifie que les modèles ont appris à partir de textes exprimant exactement la même idée dans différentes langues. Ils ont ensuite testé ces modèles à l'aide de six méthodes de mesure couramment utilisées dans le domaine. Certaines de ces méthodes comptent le nombre total de petits blocs de construction, ou « tokens », qu'un modèle utilise pour comprendre une phrase. D'autres comptent le nombre d'octets, qui sont les unités de stockage numérique, ou le nombre de caractères individuels sur l'écran. Les chercheurs ont également testé une méthode qui additionne simplement la difficulté totale qu'un modèle éprouve à prédire une phrase entière, sans diviser cette difficulté par la longueur du texte.
Les résultats ont révélé une vérité frappante sur le fonctionnement de ces mesures. Les méthodes qui divisent la performance d'un modèle par le nombre de tokens, d'octets ou de caractères se sont révélées profondément défectueuses pour comparer différentes langues. Ces indicateurs favorisaient systématiquement les langues qui utilisent naturellement moins de caractères ou d'octets pour exprer la même idée, comme le chinois, tout en pénalisant les langues qui nécessitent des séquences de symboles plus longues. Dans un exemple frappant, un modèle entraîné uniquement sur l'anglais s'est avéré plus « performant » en russe qu'en anglais selon ces méthodes défaillantes, simplement parce que l'ordinateur a décomposé le texte russe en plus de morceaux, abaissant artificiellement le score. Cela s'est produit bien que le modèle n'ait jamais vu le russe auparavant et qu'il y soit médiocre en réalité. L'étude a montré que ces indicateurs populaires ne mesuraient pas l'intelligence ou la compréhension réelle du modèle ; ils reflétaient simplement les choix d'ingénierie faits lors de la configuration de l'ordinateur pour lire le texte.
En revanche, la méthode qui additionnait la difficulté totale d'une phrase sans la diviser par sa longueur s'est avérée être la seule approche équitable. Cette mesure, que les chercheurs appellent la « log-vraisemblance négative au niveau de la phrase », examinait l'effort total déployé par le modèle pour comprendre le sens entier d'un texte. Parce qu'elle ne tentait pas de normaliser le score en fonction de la longueur du texte en termes de lettres ou de stockage numérique, elle restait stable, quel que soit le script de la langue ou la taille du vocabulaire de l'ordinateur. Lorsque les chercheurs ont testé cette méthode sur de grands modèles multilingues réels, elle fut la seule métrique capable d'identifier correctement les langues que les modèles avaient le mieux apprises, correspondant à la composition connue de leurs données d'entraînement. Les autres méthodes continuaient de produire des classements déformés par les détails techniques de la manière dont le texte était stocké et traité.
Les chercheurs ont également étudié si ces mesures restaient cohérentes lorsque le même sens était exprimé de différentes manières. Ils ont découvert que, tandis que certaines métriques fluctuaient de manière sauvage selon la traduction ou la paraphrase utilisée, la méthode au niveau de la phrase restait stable. Cela suggère que la stabilité apparente des autres méthodes était une illusion créée par leur sensibilité aux détails de surface plutôt que par un signe de fiabilité réelle. L'étude conclut que pour comprendre véritablement comment l'intelligence artificielle fonctionne à travers différentes cultures et langues, les scientifiques doivent cesser de s'appuyer sur des indicateurs qui comptent les tokens, les octets ou les caractères. Au lieu de cela, ils doivent utiliser des mesures qui respectent le sens total du texte, garantissant que l'évaluation reflète l'apprentissage réel du modèle plutôt que les particularités de sa représentation numérique. Ce changement est essentiel pour construire des systèmes qui soient véritablement équitables et efficaces pour tout le monde, quelle que soit la langue parlée.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.