MultiWikiQA: A Reading Comprehension Benchmark in 300+ Languages

Ce papier présente MultiWikiQA, un nouveau benchmark de compréhension de lecture couvrant 306 langues avec plus d'un million d'échantillons générés à partir de Wikipédia et validés par une évaluation humaine, démontrant ainsi la difficulté de la tâche et les disparités de performance entre les modèles linguistiques.

L'essentiel

Imaginez que vous êtes un chef cuisinier mondial qui veut tester les compétences de 6 nouveaux apprentis cuisiniers (des intelligences artificielles). Votre objectif ? Voir s'ils sont capables de trouver une aiguille dans une botte de foin, mais avec une règle stricte : ils ne doivent pas tricher en cherchant simplement les mêmes mots que ceux que vous avez écrits.

Voici l'histoire de la recette que vous avez créée, appelée MultiWikiQA, expliquée simplement :

1. Le Grand Livre de la Connaissance (La Source)

Vous commencez par prendre le plus grand livre du monde : Wikipédia. Mais au lieu de le lire en français ou en anglais, vous ouvrez ce livre dans 306 langues différentes, des plus connues (comme le français ou le chinois) aux plus rares (comme le faroïen ou le bachkir). C'est comme si vous aviez 306 bibliothèques différentes prêtes à être interrogées.

2. Le Robot Chef (La Génération des Questions)

Vous ne voulez pas écrire des milliers de questions à la main (ce serait trop long !). Alors, vous engagez un robot très intelligent (une Intelligence Artificielle, ou LLM).

• La tâche du robot : Il lit un article de Wikipédia et invente des questions et des réponses basées uniquement sur ce qu'il vient de lire.
• La règle d'or : La réponse doit être copiée mot pour mot dans le texte. Pas de résumés, pas d'imagination. C'est comme si le robot devait surligner la phrase exacte dans le livre.

3. Le Piège du Camouflage (Le Reformulation)

C'est ici que ça devient malin. Si le robot pose une question trop facile, comme "Qui a écrit ce livre ?", l'apprenti IA pourrait tricher en cherchant juste les mots "Qui" et "livre" dans le texte. C'est de la triche !

Pour éviter ça, vous faites passer les questions par un second robot, un peu comme un magicien du langage.

• Son travail : Il prend la question originale et la réécrit complètement. Il utilise des synonymes, change l'ordre des mots, mais garde le même sens.
• L'analogie : Imaginez que la question originale est un t-shirt rouge. Le deuxième robot le teint en bleu, le coupe en forme de veste, mais garde le même tissu. L'apprenti IA ne peut plus se fier aux mots exacts ; il doit comprendre le sens pour trouver la réponse. C'est ce qu'on appelle "empêcher le simple matching de mots".

4. Le Jury Humain (La Validation)

Avant de présenter le concours, vous avez besoin de savoir si vos questions sont naturelles. Vous organisez un vote mondial sur Internet.

• 156 personnes, parlant 30 langues différentes, lisent un échantillon de questions.
• Elles notent : "Est-ce que ça sonne comme une vraie question humaine ?"
• Le résultat : C'est une excellente nouvelle ! Même pour les langues rares, les questions sont jugées "naturelles" et fluides. Le robot a bien fait son travail.

5. Le Grand Tournoi (L'Évaluation)

Enfin, le jour du concours arrive. Vous testez 6 modèles d'intelligence artificielle (certains sont des "décodeurs", d'autres des "encodeurs", comme des cerveaux spécialisés différemment) sur ces 306 langues.

Ce que vous découvrez :

• La difficulté : Le test est dur. Même les meilleurs modèles ne réussissent pas tout le temps.
• L'inégalité mondiale : C'est le constat le plus important. Les IA sont excellentes dans les langues populaires (comme l'anglais, l'allemand ou le français), mais elles sont souvent perdues dans les langues moins connues. C'est comme si un élève brillant en maths échouait complètement en histoire parce qu'il n'avait jamais étudié cette matière.

En résumé

Ce papier nous dit :

1. Nous avons créé un gymnase géant (le dataset) pour entraîner et tester les IA dans 306 langues.
2. Nous avons utilisé des astuces de magicien (reformulation) pour empêcher les IA de tricher.
3. Nous avons prouvé que les IA sont très fortes dans les langues riches, mais qu'elles ont encore beaucoup à apprendre pour comprendre le monde entier équitablement.

C'est un appel à l'action pour les chercheurs : il reste beaucoup de travail à faire pour que l'intelligence artificielle soit vraiment "multilingue" et ne laisse personne derrière elle.

Résumé technique

1. Problématique et Contexte

L'extraction d'informations à partir de documents est une application majeure des grands modèles de langage (LLM), en particulier avec l'essor de la génération augmentée par la récupération (RAG). La compréhension de lecture, ou réponse à des questions extractives, est au cœur de cette tâche.

Cependant, un problème majeur persiste : la disponibilité de jeux de données d'évaluation de haute qualité est fortement déséquilibrée. La majorité des benchmarks existants se concentrent sur l'anglais et quelques autres langues à ressources abondantes, laissant la grande majorité des langues du monde (en particulier les langues à faibles ressources) sans support d'évaluation fiable. Les benchmarks multilingues existants couvrent souvent moins de 30 langues ou utilisent des formats différents (comme le choix multiple) qui ne reflètent pas fidèlement la tâche de réponse extractive.

2. Méthodologie

Les auteurs ont développé MultiWikiQA, un jeu de données massif généré automatiquement et évalué par des humains. Le processus de génération suit une pipeline en plusieurs étapes (illustrée dans la Figure 1 du papier) :

• Source des données : Le corpus de départ est constitué d'articles Wikipédia (dump du 01/11/2023) couvrant 306 langues. Des cas particuliers ont été traités pour le chinois (Simplifié "zh-cn" et Traditionnel "zh-tw") et le portugais (Européen "pt-pt" et Brésilien "pt-br").
• Génération de paires Question/Réponse (QA) :
  • Un LLM (Gemini-1.5-pro) est utilisé pour générer 2 à 10 paires QA par article.
  • Le prompt impose que la réponse soit une sous-chaîne exacte (verbatim) apparaissant dans l'article source.
  • La génération est contrainte pour produire un format JSON structuré.
• Réécriture (Rephrasing) pour éviter le "triche" :
  • Pour empêcher les modèles de simplement faire correspondre les mots-clés (word matching), une étape de réécriture est appliquée.
  • Le même LLM reformule la question générée initialement en utilisant des synonymes, des paraphrases ou un ordre des mots différent, sans avoir accès au contexte de l'article. Cela force le modèle à comprendre la sémantique plutôt que de faire du matching de surface.
• Évaluation de la qualité (Crowdsourcing) :
  • Une enquête a été menée auprès de 156 répondants humains pour 30 langues (mélange de langues à ressources élevées et faibles).
  • Les participants ont noté la fluidité (naturalité) des questions générées sur une échelle de 1 à 3 étoiles.
  • L'objectif était de vérifier que les questions générées par l'IA étaient grammaticalement correctes et naturelles.

3. Contributions Clés

L'article présente trois contributions principales :

1. Le Dataset MultiWikiQA : Un jeu de données de compréhension de lecture contenant 1 220 757 échantillons répartis sur 306 langues. Il est formaté de manière compatible avec SQuAD, permettant l'évaluation de modèles encodeurs, décodeurs et encodeur-décodeur.
2. Évaluation humaine de la qualité : Des données brutes et des résultats d'évaluation de fluidité pour 30 langues, démontrant que les questions générées par LLM atteignent un niveau de qualité "majoritairement naturel" (note moyenne > 2,0/3,0), même pour des langues avec moins d'un million de locuteurs natifs.
3. Benchmarks de modèles : Une évaluation systématique de 6 modèles de langage différents (incluant des modèles décodeurs instruct et de base, ainsi que des encodeurs) sur 261 langues du dataset.

4. Résultats

Les expériences ont été menées avec le framework EuroEval sur 261 langues disposant d'au moins 1 024 échantillons d'entraînement.

• Performance des modèles :
  • Les modèles décodeurs (Mistral, Llama) obtiennent les meilleurs scores, avec des moyennes F1 allant de ~52 % à ~55 % (selon qu'ils sont en version "Base" ou "Instruct").
  • Les modèles encodeurs (XLM-RoBERTa, Multilingual-E5) obtiennent des scores nettement inférieurs, autour de 20-24 %, soulignant la difficulté de la tâche pour ces architectures sur ce type de données.
• Disparités linguistiques :
  • Il existe une grande disparité de performance entre les langues. Les langues à ressources élevées (comme l'anglais, l'allemand, le français) obtiennent des scores F1 souvent supérieurs à 70 %, tandis que de nombreuses langues à faibles ressources chutent en dessous de 20 % ou même 10 %.
  • Cette inégalité est cohérente à travers tous les types de modèles évalués.
• Qualité des données :
  • L'évaluation humaine confirme que les données sont de haute qualité. Les langues comme le féroïen, l'islandais ou l'ossète, bien que peu représentées, ont reçu des notes de fluidité supérieures à "majoritairement naturel".

5. Signification et Impact

MultiWikiQA représente une avancée significative pour la recherche en NLP multilingue :

• Échelle sans précédent : C'est l'un des plus grands benchmarks de compréhension de lecture extractif, couvrant plus de 300 langues, comblant ainsi un vide majeur pour les langues à faibles ressources.
• Rigueur méthodologique : L'étape de réécriture des questions est cruciale. Elle garantit que le benchmark teste la véritable compréhension sémantique et non la capacité des modèles à exploiter des coïncidences lexicales entre la question et le contexte.
• Diagnostic des modèles : Les résultats mettent en lumière l'écart de performance persistant entre les langues, servant de point de référence pour mesurer les progrès futurs des modèles multilingues.
• Accessibilité : Le dataset et les données d'évaluation sont publics, permettant à la communauté de développer et d'évaluer des modèles pour des langues historiquement négligées.

En conclusion, ce travail fournit une infrastructure essentielle pour évaluer et améliorer les capacités de compréhension de lecture des LLM à l'échelle mondiale, tout en démontrant la viabilité de l'utilisation de LLM pour générer des données d'entraînement et d'évaluation de haute qualité dans des centaines de langues.