La Leaderboard: A Large Language Model Leaderboard for Spanish Varieties and Languages of Spain and Latin America

Ce papier présente La Leaderboard, la première plateforme open-source communautaire évaluant les grands modèles de langage sur 66 jeux de données couvrant les variétés du castillan ainsi que le basque, le catalan et le galicien, tout en promouvant une méthodologie d'évaluation plus économe en ressources.

L'essentiel

Imaginez que vous organisez un grand tournoi de cuisine pour évaluer les meilleurs chefs du monde. Jusqu'à présent, la plupart des compétitions se concentraient uniquement sur la cuisine française ou italienne, car c'est là que se trouvaient les meilleurs livres de recettes et les juges les plus connus.

Mais que se passe-t-il pour les cuisines espagnoles, catalanes, basques ou galiciennes ? Si vous testez un chef avec des ingrédients qu'il ne connaît pas bien, ou si vous lui donnez des recettes traduites mot à mot depuis l'anglais, vous ne saurez jamais s'il est vraiment talentueux ou s'il a juste de la chance.

C'est exactement le problème que résout ce papier avec LA LEADERBOARD.

Voici une explication simple de ce projet, comme si on en parlait autour d'un café :

1. Le Problème : Le "Test de Traduction" ne suffit pas

Aujourd'hui, les intelligences artificielles (les "LLM") sont comme des étudiants très brillants qui parlent beaucoup de langues. Mais pour les tester, on utilise souvent des examens créés en anglais et traduits automatiquement dans d'autres langues.

• L'analogie : C'est comme demander à un expert de la cuisine basque de cuisiner un plat traditionnel en utilisant une recette traduite par Google depuis l'anglais. Le résultat sera bizarre, sans âme, et ne reflétera pas sa vraie compétence. De plus, ces tests ignorent souvent les nuances culturelles (les blagues, les expressions locales, les lois spécifiques).

2. La Solution : Un "Olympiade" pour l'Hispanophonie

Les auteurs ont créé LA LEADERBOARD, le premier classement (leaderboard) ouvert et gratuit spécifiquement pour évaluer ces intelligences artificielles sur les langues d'Espagne et d'Amérique latine.

• Ce n'est pas juste l'espagnol : Ils ne se contentent pas de l'espagnol standard. Ils incluent le catalan, le basque et le galicien, ainsi que les différentes façons de parler l'espagnol (en Argentine, au Mexique, en Espagne, etc.).
• La méthode : Au lieu de traduire des tests existants, ils ont demandé à des chercheurs locaux de créer ou de fournir des exercices originaux dans ces langues. C'est comme si on demandait aux chefs locaux de créer leurs propres épreuves de cuisine pour juger leurs pairs.

3. Comment ça marche ? (Le Concours)

Imaginez une immense salle de sport où 50 robots (les modèles d'IA) s'affrontent sur 66 épreuves différentes.

• Les épreuves : Ce ne sont pas juste des questions de culture générale. Il y a des tests de logique, de compréhension de textes médicaux, de droit, de résumé d'articles de presse, et même de détection de blagues ou de fausses nouvelles.
• Les participants : Ils ont testé des géants de la tech (comme ceux de Meta ou Google) mais aussi des modèles créés spécifiquement pour l'Europe et l'Amérique latine par des chercheurs locaux.

4. Les Résultats Intéressants

Le tournoi a révélé quelques surprises :

• Les géants dominent, mais... Les modèles géants (comme Gemma ou Llama) sont très forts, mais ils ne sont pas toujours les meilleurs dans toutes les langues.
• Les champions locaux : Certains modèles créés spécifiquement pour ces langues (comme Salamandra ou EuroLLM) se débrouillent étonnamment bien, surtout pour les langues moins parlées comme le basque ou le galicien.
• Le coût écologique : Le papier a aussi mesuré l'énergie nécessaire pour ce tournoi. C'est comme calculer l'électricité consommée par tous les fourneaux du concours. Ils ont montré qu'on peut obtenir de bons résultats sans brûler des millions de watts, en étant plus intelligents sur la façon de poser les questions.

5. Pourquoi c'est important pour tout le monde ?

Ce projet est une révolution pour deux raisons :

1. Équité : Il permet de voir quelles IA sont vraiment capables de comprendre la culture et la langue d'un pays, et pas juste de traduire des mots. Cela aide à créer des assistants virtuels qui ne font pas de faux pas culturels.
2. Transparence : Tout est ouvert. N'importe qui peut voir les résultats, télécharger les tests et même proposer son propre robot pour le prochain tournoi. C'est une communauté qui se construit ensemble, et non pas un secret gardé par une seule grande entreprise.

En résumé :
Ce papier dit : "Arrêtons de juger tout le monde avec les mêmes règles anglaises. Créons nos propres règles, dans nos propres langues, pour que nos intelligences artificielles soient vraiment utiles à nos communautés." C'est un pas de géant vers une IA plus humaine, plus juste et plus proche de la réalité de nos vies.

Résumé technique

Voici un résumé technique détaillé de l'article "La Leaderboard: A Large Language Model Leaderboard for Spanish Varieties and Languages of Spain and Latin America", présenté en français.

1. Problématique et Contexte

L'évaluation des Grands Modèles de Langage (LLM) multilingues souffre d'un déséquilibre majeur : la plupart des leaderboards (classements) actuels se concentrent sur l'anglais ou un petit ensemble de langues à ressources abondantes. Bien que l'espagnol soit souvent inclus, les évaluations existantes présentent plusieurs lacunes critiques :

• Manque de diversité linguistique : Ils négligent les variétés régionales de l'espagnol (Espagne, Mexique, Argentine, etc.) et les langues co-officielles d'Espagne (catalan, basque, galicien).
• Problèmes de traduction : Les jeux de données sont souvent traduits automatiquement depuis l'anglais, ce qui introduit du bruit, perd les nuances culturelles et linguistiques, et échoue à capturer les spécificités locales.
• Absence de benchmarks complets : Aucun classement n'évaluait jusqu'alors une combinaison de langues parlées en Espagne et en Amérique latine avec des tâches génératives variées.

Cette absence de représentation limite le développement de modèles capables de servir véritablement la communauté hispanophone, qui compte plus de 600 millions de locuteurs.

2. Méthodologie

Les auteurs présentent LA LEADERBOARD, une initiative communautaire open-source conçue pour combler ce vide.

Collecte et Composition des Données

• Données : Le leaderboard intègre 66 jeux de données couvrant l'espagnol (avec ses variétés), le catalan, le basque et le galicien.
• Origine : 55 % des données sont originales (créées nativement dans la langue cible). 38 % sont des traductions humaines de benchmarks existants, et seulement 7 % sont des traductions automatiques révisées par des experts.
• Collaboration : Les données proviennent de 13 groupes de recherche et incluent des datasets spécifiques créés pour ce projet (AQuAS, ClinTreatES, TELEIA, etc.) ainsi que des benchmarks existants (Belebele, XNLI, etc.).
• Domaines : Les tâches couvrent le raisonnement commun, l'éthique, l'acceptabilité linguistique, les mathématiques, le NLI (Inférence de Langage Naturel), le Q&A, la compréhension de lecture, le résumé et la classification de texte.

Configuration d'Évaluation et Efficacité

• Approche Few-Shot : Pour réduire l'impact environnemental et faciliter la reproductibilité, le projet adopte une stratégie de few-shot (exemples en contexte) optimisée :
  • Utilisation de 0 à 3 exemples (souvent moins que la littérature standard de 5-10).
  • Pour les tâches à choix multiples (MCQA), un équilibrage est appliqué pour éviter les biais cognitifs liés à l'ordre des réponses (chaque option correcte est présentée une fois).
  • Limitation stricte de la fenêtre de contexte (max 2048 tokens) pour garantir l'équité entre les modèles aux capacités de contexte différentes.
• Métriques :
  • Pour les MCQA : Probabilités logarithmiques (LOGPROBS) normalisées.
  • Pour la génération de texte : BLEU, ROUGE, Similarité de Réponse Sémantique (SAS) et évaluation par un LLM-Judge.
• Infrastructure : Évaluation effectuée sur des GPU NVIDIA H100, avec un suivi de la consommation énergétique (kWh) et des émissions de CO2.

3. Contributions Clés

1. Premier Leaderboard Open-Source pour l'Espagnol et les langues d'Espagne : Une plateforme centralisée évaluant 50 modèles sur 66 tâches dans 4 langues principales.
2. Méthodologie Communautaire et Évolutive : Un cadre conçu pour s'adapter et inclure à l'avenir davantage de langues et de variétés linguistiques (notamment les langues autochtones d'Amérique latine).
3. Approche Éco-responsable : Une justification rigoureuse de l'utilisation de moins d'exemples few-shot pour réduire l'empreinte carbone tout en maintenant la fiabilité des résultats.
4. Analyse Détaillée des Modèles : Une évaluation comparative des modèles SOTA (State-of-the-Art) incluant des modèles européens (Salamandra, EuroLLM) et internationaux (Llama, Gemma, Qwen).

4. Résultats Principaux

L'évaluation de 50 modèles (de 1B à 32B de paramètres) révèle plusieurs tendances :

• Performances Globales : Les modèles Gemma-2-9B (base et instruct), Meta-Llama-3.1-8B-IT et les versions quantifiées de Qwen2.5 (14B et 32B) dominent le classement global.
• Spécificités Linguistiques :
  • Espagnol : Les modèles performants sont ceux entraînés sur de vastes corpus multilingues.
  • Catalan et Basque : Des modèles spécialisés comme EuroLLM-9B et Salamandra-7B montrent des performances compétitives, voire supérieures dans certaines tâches de raisonnement ou de Q&A, grâce à un pré-entraînement équilibré sur les langues européennes.
  • Galicien : Souvent le plus faible en raison de la rareté des données, mais EuroLLM-9B s'en sort bien.
• Impact de la Stratégie d'Entraînement :
  • Le pré-entraînement multilingue massif (ex: Qwen, Llama) offre une couverture homogène.
  • Le continuous pre-training (ajout de données dans une langue cible) permet d'atteindre des pics de performance spécifiques (ex: Latxa en basque).
  • Le simple fine-tuning sans pré-entraînement étendu améliore le style mais n'apporte que des gains modestes en raisonnement.
• Efficacité Énergétique : Il existe une forte corrélation entre la taille du modèle et la consommation d'énergie. Cependant, les modèles instructs consomment souvent moins d'énergie que leurs versions base pour des performances similaires, grâce à une génération de texte moins verbeuse.

5. Signification et Impact

LA LEADERBOARD établit un nouveau standard pour l'évaluation des LLMs dans le monde hispanophone. Son importance réside dans plusieurs aspects :

• Reconnaissance Culturelle : En privilégiant des données originales et des traductions humaines, il force les modèles à comprendre les nuances culturelles et linguistiques, au-delà de la simple compétence linguistique.
• Démocratisation : En étant open-source et en permettant à la communauté de soumettre des modèles, il encourage le développement de solutions adaptées aux besoins locaux, y compris pour les communautés à ressources limitées.
• Durabilité : En démontrant qu'une évaluation rigoureuse peut être réalisée avec moins de ressources computationnelles (moins de shots), il propose une voie plus durable pour la recherche en NLP.
• Futur : Le projet vise à s'étendre aux langues autochtones d'Amérique latine et à organiser des hackathons pour mesurer l'adéquation culturelle des modèles dans chaque pays hispanophone.

En conclusion, ce travail ne se contente pas de classer des modèles ; il fournit une feuille de route pour construire des systèmes d'IA véritablement inclusifs, culturellement conscients et écologiquement responsables pour la communauté hispanophone.