Résumé Technique : ChiKhaPo

Énoncé du Problème

Les benchmarks actuels pour les modèles de langage étendus (LLM) sont principalement restreints aux langues à hautes ressources (HRL) et se concentrent sur des tâches d'ordre supérieur telles que le raisonnement complexe et la génération de contenu. Par conséquent, il existe une lacune significative dans l'évaluation de la compétence linguistique de base des LLM à travers les plus de 3 800 langues écrites du monde. Les benchmarks multilingues existants, tels que FLORES+, ne couvrent qu'une fraction de ces langues (par exemple, 212 langues), laissant la grande majorité des langues du monde non évaluées, même pour des capacités fondamentales comme la compréhension et la génération au niveau du mot. Ce manque d'évaluation entrave l'identification des inégalités linguistiques dans le traitement du langage naturel (NLP).

Méthodologie

Les auteurs introduisent ChiKhaPo, un benchmark massivement multilingue conçu pour évaluer les capacités de compréhension et de génération lexicales des LLM. Le benchmark est construit à partir de ressources publiques existantes, notamment des lexiques, des données monolingues et du bitext, permettant une couverture de plus de 2 700 langues.

Structure du Benchmark

ChiKhaPo se compose de huit sous-tâches dérivées de quatre tâches de base, chacune étant évaluée dans deux directions :

1. Compréhension ($X \to \text{modèle}$) : Évaluer la capacité du modèle à comprendre un mot dans une langue cible $X$ (souvent en le traduisant vers l'anglais).
2. Génération ($\text{modèle} \to X$) : Évaluer la capacité du modèle à générer un mot dans une langue cible $X$ étant donné un prompt en anglais.

Les quatre tâches de base sont :

• Traduction de mots (WT - Word Translation) : Prompt direct pour traduire un seul mot. Cette tâche repose uniquement sur des lexiques et couvre 2 746 langues.
• Traduction de mots avec contexte (WTWC - Word Translation with Context) : Traduire un mot étant donné un contexte de phrase source. Cela nécessite des données monolingues et couvre 525 langues.
• Modélisation de langage conditionnée par la traduction (TCLM - Translation-Conditioned Language Modeling) : Mesurer la probabilité de génération d'un mot cible étant donné une phrase source et un contexte partiel de la cible. Cela utilise des paires de phrases parallèles (bitext) et couvre 211 langues.
• Traduction automatique de sac de mots (BOW MT - Bag-of-Words Machine Translation) : Évaluer si des mots cibles spécifiques apparaissent dans une sortie de traduction au niveau de la phrase, indépendamment de l'ordre syntaxique. Cela utilise également du bitext et couvre 211 langues.

Notation et Évaluation

Le benchmark utilise des métriques de notation au niveau du mot. Pour les tâches binaires (WT, WTWC), la correction est déterminée par des correspondances exactes, la gestion des inflexions, la correspondance de sous-chaînes et la synonymie (en utilisant WordNet pour les sorties en anglais). Pour les tâches probabilistes (TCLM), la métrique est la probabilité de génération du mot correct. Pour le BOW MT, les scores sont agrégés sur la base de la présence des mots cibles dans la sortie.

Les auteurs ont évalué six modèles LLM multilingues de pointe (SOTA) : aya-101, aya-23-8b, bloomz-7b1-mt, falcon-7b-instruct, gemma-2b-it, et Llama-3.1-8B-Instruct. En raison de contraintes de calcul, une version « lite » du benchmark a été utilisée, échantillonnant jusqu'à 300 entrées de vocabulaire par langue pour WT/WTWC et 30 % des données disponibles pour les tâches au niveau de la phrase.

Résultats Clés

• Écarts de performance : Les six modèles évalués ont démontré une marge de progression significative, particulièrement pour les langues à faibles ressources (LRL). Le benchmark agit avec succès comme une mesure exigeante de la performance multilingue.
• Disparité directionnelle : Les modèles réussissent systématiquement mieux dans la direction de la compréhension ($X \to \text{modèle}$) que dans la direction de la génération ($\text{modèle} \to X$), soulignant un fossé entre la compréhension du langage naturel (NLU) et la génération du langage naturel (NLG) dans les contextes multilingues.
• Corrélation avec les ressources et les familles : La performance était fortement corrélée aux niveaux de ressources linguistiques (proxys par le nombre de documents Wikipedia) et aux familles de langues. Les langues indo-européennes ont systématiquement surpassé les familles sous-représentées comme l'austronésien et l'atlantico-congolais. La relation entre le niveau de ressource et la performance s'est avérée être approximativement logarithmique.
• Différences entre modèles : Le modèle aya-101 a obtenu les scores moyens les plus élevés sur cinq des huit sous-tâches. Les auteurs attribuent cela à son architecture encodeur-décodeur, à son nombre de paramètres plus élevé (13B) et à son ajustement par instructions sur 101 langues.
• Corrélation avec la MT : Les scores de traduction de mots (WT) ont montré une forte corrélation linéaire avec les scores de traduction automatique au niveau de la phrase (BLEU) sur les données FLORES+ ($r \approx 0,87$ pour $X \to \text{modèle}$). Cela suggère que la WT peut servir de proxy rentable pour évaluer les capacités de traduction automatique en l'absence de bitext étendus.

Signification et Revendications

L'article positionne ChiKhaPo comme une étape critique vers la résolution de l'inégalité linguistique en NLP. Ses principales contributions sont :

1. Échelle massive : Il fournit le premier benchmark de compétence lexicale couvrant plus de 2 700 langues, dépassant d'un ordre de grandeur la couverture linguistique de tout benchmark existant.
2. Évaluation granulaire : Il déplace l'attention du raisonnement complexe vers une compétence « atomique » au niveau du mot, permettant aux chercheurs de suivre les capacités linguistiques fondamentales des LLM dans des langues spécifiques.
3. Efficacité des ressources : En exploitant les lexiques et les données monolingues existants, il permet l'évaluation de langues pour lesquelles aucun corpus parallèle n'existe.

Les auteurs affirment modestement que, bien que le benchmark repose sur des ressources publiques (qui peuvent être bruitées, particulièrement PanLex), il met avec succès en évidence la nécessité pressante d'une meilleure évaluation multilingue. Ils espèrent que ce travail encouragera la collecte de meilleures ressources lexicales pour les langues à faibles ressources et promouvra le benchmarking massivement multilingue des LLM comme une étape nécessaire vers des systèmes d'IA plus équitables.