💬 NLP

EuroLLM-22B: Technical Report

Cet article présente EuroLLM-22B, un grand modèle de langage entraîné à partir de zéro pour prendre en charge 35 langues (incluant les 24 langues officielles de l'UE), remédiant ainsi à la sous-représentation des langues européennes dans les modèles existants tout en atteignant des performances compétitives en matière de raisonnement, de suivi d'instructions et de traduction, l'ensemble des jeux de données, des modèles et du code associés étant publié pour soutenir la recherche future.

Auteurs originaux : Miguel Moura Ramos, Duarte M. Alves, Hippolyte Gisserot-Boukhlef, João Alves, Pedro Henrique Martins, Patrick Fernandes, José Pombal, Nuno M. Guerreiro, Ricardo Rei, Nicolas Boizard, Amin Farajian, Ma

Publié 2026-02-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Miguel Moura Ramos, Duarte M. Alves, Hippolyte Gisserot-Boukhlef, João Alves, Pedro Henrique Martins, Patrick Fernandes, José Pombal, Nuno M. Guerreiro, Ricardo Rei, Nicolas Boizard, Amin Farajian, Mateusz Klimaszewski, José G. C. de Souza, Barry Haddow, François Yvon, Pierre Colombo, Alexandra Birch, André F. T. Martins

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

EuroLLM-22B : Le bibliothécaire multilingue de l'Europe

Imaginez le monde de l'intelligence artificielle comme une immense bibliothèque. Pendant longtemps, cette bibliothèque a été dominée par des livres écrits en anglais. Si vous y entriez et demandiez une histoire en français, en allemand ou en portugais, vous pourriez en trouver quelques-uns, mais il s'agissait souvent de traductions d'histoires anglaises ou d'œuvres écrites par des auteurs qui ne comprenaient pas pleinement la culture locale.

EuroLLM-22B est un nouveau projet massif conçu pour remédier à cela. C'est un « Grand Modèle de Langage » (imaginez un bibliothécaire numérique super intelligent) construit de toutes pièces spécifiquement pour parler, comprendre et raisonner dans les 24 langues officielles de l'Union européenne, ainsi que dans 11 autres langues majeures comme l'arabe, le chinois et le japonais.

Voici comment l'équipe a construit ce bibliothécaire numérique, expliqué en termes simples :

1. Le plan (L'architecture)

Avant de construire une maison, il faut un plan. L'équipe n'a pas simplement fait un copier-coller d'un design existant ; elle a ajusté le plan pour gérer une quantité massive d'informations.

La taille : Ce modèle possède 22 milliards de « neurones » (paramètres). Pour utiliser une analogie, si la version précédente (9B) était un élève de lycée brillant, celle-ci est un professeur d'université chevronné doté d'une très grande mémoire.
La mémoire longue : L'une des plus grandes améliorations est la « fenêtre de contexte ». Imaginez que vous essayez de lire un roman. Les modèles plus anciens ne pouvaient se souvenir que des dernières pages avant d'oublier le début. EuroLLM-22B peut contenir 32 000 mots dans sa tête à la fois. Il peut lire une nouvelle entière ou un document juridique complexe et se souvenir des détails de la première page jusqu'à la dernière sans se perdre.

2. Le régime d'entraînement (Les données)

On ne peut pas faire un grand chef avec de mauvais ingrédients. L'équipe a été très exigeante sur la « nourriture » qu'elle a donnée au modèle pendant son entraînement.

Le filtre : Ils n'ont pas simplement déversé tout l'internet dans le modèle. Ils ont utilisé un filtre spécial (appelé EuroFilter) pour noter la qualité du texte, lui attribuant un score de 0 à 5. Ils ont jeté les déchets (comme le code aléatoire ou les pages web de faible qualité) et n'ont gardé que le contenu éducatif et littéraire de haute qualité.
Les phases : Ils ont entraîné le modèle en trois étapes, comme un élève progressant dans sa scolarité :
1. Élémentaire : Ils ont commencé avec une énorme quantité de données générales pour enseigner les bases.
2. Lycée : Ils ont introduit des données de plus haute qualité pour affiner son raisonnement.
3. Université : Dans la phase finale, ils lui ont donné les meilleures données disponibles, y compris des mathématiques complexes, du codage et des livres traduits, pour aiguiser son intelligence.
Le mélange linguistique : Contrairement à d'autres modèles qui se concentrent fortement sur l'anglais, EuroLLM-22B a été nourri d'un régime équilibré de toutes les langues européennes dès le premier jour, garantissant qu'il n'en favorise aucune par rapport aux autres.

3. Le polissage final (L'ajustement d'instructions)

Après avoir appris les faits, le modèle devait apprendre comment se comporter. C'est ce qu'on appelle le « post-entraînement ».

La salle de classe : L'équipe a utilisé un nouvel ensemble de données appelé EuroBlocks. Imaginez cela comme une vaste collection de questions et de réponses d'entraînement couvrant tout, de « Écrivez un poème sur la pluie » à « Résolvez ce problème de mathématiques » et « Traduisez cette phrase ».
Le professeur : Ils ont utilisé d'autres modèles d'IA avancés pour générer des réponses de haute qualité pour ces questions, puis ont sélectionné les meilleures pour apprendre à EuroLLM-22B à suivre les instructions avec précision. Ils ont supprimé toute « trace de raisonnement » (le monologue interne) pour rendre la sortie finale propre et directe.

4. Le bulletin de notes (Les résultats)

L'équipe a testé EuroLLM-22B face à d'autres modèles d'IA célèbres pour voir ses performances.

La compétition : Ils l'ont comparé à d'autres modèles « entièrement ouverts » (modèles dont le code et les poids sont gratuits pour tous) et à certains modèles à « poids ouverts » (où vous pouvez utiliser le modèle mais ne pouvez pas voir comment il a été construit).
Le résultat :
- Champion européen : Parmi les modèles entièrement ouverts fabriqués en Europe, EuroLLM-22B est le plus fort. Il a surpassé d'autres modèles européens, même ceux qui sont beaucoup plus grands (comme un modèle à 70 milliards de paramètres).
- Traduction : Il est excellent pour traduire entre les langues, égalant souvent les performances de modèles deux fois plus grands que lui.
- Raisonnement : Il est très bon pour les énigmes logiques, les mathématiques et le suivi d'instructions complexes.
- Efficacité : L'article note qu'EuroLLM-22B a obtenu ces résultats avec une quantité de données d'entraînement « modeste » (4 billions de mots) par rapport à certains concurrents qui en ont utilisé 15 billions, suggérant que la qualité des données importe plus que la simple quantité massive.

5. Un cadeau au monde

La partie la plus importante de ce document est que l'équipe n'a pas gardé la bibliothèque pour elle seule. Ils publient tout au grand public :

Les modèles : À la fois la version « base » (le cerveau brut) et la version « instruct » (l'assistant utile).
Les données : Les ensembles de données réels qu'ils ont utilisés pour entraîner le modèle (EuroWeb et EuroBlocks), afin que d'autres chercheurs puissent apprendre d'eux.
Le code : Les outils logiciels qu'ils ont utilisés pour construire et tester le modèle.

En résumé : EuroLLM-22B est un outil d'IA puissant et open-source conçu pour garantir que les langues européennes ne soient pas laissées pour compte dans la révolution de l'IA. Il prouve qu'avec une sélection de données minutieuse et un accent sur la qualité, on peut construire une IA de classe mondiale qui parle votre langue couramment, sans avoir besoin d'être un projet fermé et secret.

Résumé technique : EuroLLM-22B

Problématique

Malgré les progrès rapides des grands modèles de langage (LLM), l'écosystème actuel reste fortement biaisé en faveur de l'anglais et d'un ensemble limité de langues à hautes ressources. De nombreux modèles de pointe sont soit fermés, soit partiellement ouverts, offrant une transparence limitée concernant les données d'entraînement et les procédures. Par conséquent, de nombreuses langues européennes restent mal desservies, avec peu de modèles « fabriqués en Europe » capables de prendre en charge nativement tout le spectre des langues officielles de l'Union européenne (UE). Le projet EuroLLM a été lancé pour combler cette lacune en développant des modèles ouverts qui privilégient la diversité linguistique européenne et favorisent le développement de l'IA au sein de l'UE.

Méthodologie

Architecture et modélisation

EuroLLM-22B est un modèle de 22,6 milliards de paramètres construit sur les décisions architecturales de ses prédécesseurs (EuroLLM 1.7B et 9B). Les spécifications clés incluent :

Tokenisation : Un tokenizer basé sur le BPE avec un vocabulaire de 128 000 unités, couvrant 24 langues officielles de l'UE et 11 langues additionnelles (arabe, catalan, chinois, galicien, hindi, japonais, coréen, norvégien, russe, turc et ukrainien).
Architecture : Utilise l'attention par requêtes groupées (Grouped Query Attention - GQA), la normalisation pré-couche (pre-layer normalization), la RMSNorm, les fonctions d'activation SwiGLU et les embeddings positionnels rotatifs (RoPE).
Fenêtre de contexte : Une extension significative à 32 768 jetons (tokens), réalisée en ajustant le facteur d'échelle de RoPE ( $\theta$ ) de $1 \times 10^4$ à $1 \times 10^6$ .

Stratégie de pré-entraînement

Le modèle a été pré-entraîné sur environ 4 billions de jetons en utilisant un calendrier d'entraînement en trois phases conçu pour exposer progressivement le modèle à des données de plus haute qualité :

Phase 1 : Entraînement sur 3,6T de jetons avec un échauffement linéaire (linear warmup) vers un taux d'apprentissage maximal de $1,5 \times 10^{-4}$ . Cette phase inclut immédiatement des documents éducatifs de haute qualité provenant de FineWeb-edu, plutôt que de les réserver pour les étapes ultérieures.
Phase 2 : Une phase de recuit (annealing) sur 400 milliards de jetons, réduisant le taux d'apprentissage à 10 % de son maximum.
Phase 3 : Une phase finale de décroissance où le taux d'apprentissage tombe à zéro. Cette phase intègre des données à long contexte (livres et code) pour supporter la fenêtre de contexte de 32K.

Curation des données :

Données Web : Les données anglaises proviennent de FineWeb-edu et Nemotron-CC. Les données multilingues sont agrégées à partir de RedPajama-Data-v2 (pour les langues à hautes ressources) et de HPLT, MADL-400, CulturaX et mC4 (pour les autres). Toutes les données subissent un filtrage rigoureux, incluant des vérifications de perplexité, des filtres heuristiques (ex: suppression du « lorem ipsum », de l'excès de majuscules) et une évaluation de la qualité via EuroFilter, un classificateur attribuant des scores de 0 à 5.
Données parallèles : Des données parallèles au niveau de la phrase et du document (xx $\leftrightarrow$ en) sont collectées auprès de sources telles que Europarl, ParaCrawl et WikiMatrix, filtrées par Bicleaner et CometKiwi-22.
Code et Mathématiques : Les données proviennent de The Stack, Algebraic-stack et Open-web-math. La troisième phase introduit FineMath et des données mathématiques synthétiques générées par des modèles Qwen-2.5, filtrées par « LLM-as-a-Judge ».
Sources de haute qualité : Wikipedia, ArXiv, Books et Apollo sont utilisés pour l'anglais, avec l'ajout de Cosmopedia (et ses variantes traduites) pour les phases ultérieures.

Post-entraînement

Le modèle ajusté aux instructions (EuroLLM-22B-Instruct) est dérivé du modèle de base en utilisant EuroBlocks-22B, un nouvel ensemble de données d'instructions multilingues contenant environ 10,6 millions d'exemples.

Construction du jeu de données : Construit sur les versions précédentes de EuroBlocks, intégrant des instructions issues de diverses sources publiques (ex: Hermes-3, Tülu 3, Nemotron V2). Les réponses sont régénérées à l'aide de modèles ouverts performants (DeepSeek, Qwen, Llama) et sélectionnées via Skywork-Gemma2-27B en tant que modèle de récompense.
Filtrage : Les traces de raisonnement structuré sont supprimées pour créer un corpus instruction-réponse sans raisonnement.
Ajustement fin (Fine-Tuning) : Le modèle est affiné pendant 5 époques en précision mixte bfloat16, avec un packaging de séquences (sequence packing) et un ordonnanceur de taux d'apprentissage cosinus (max LR de $1 \times 10^{-5}$ ). L'efficacité de l'entraînement est améliorée grâce à Axolotl et Liger-Kernel.

Contributions clés

Modèle EuroLLM-22B : La publication d'un modèle de 22 milliards de paramètres entraîné de zéro pour supporter les 24 langues officielles de l'UE plus 11 langues additionnelles, avec une fenêtre de contexte de 32K jetons.
Amélioration d'EuroLLM-9B : Un modèle 9B mis à jour intégrant la même extension de contexte long et la recette de post-entraînement que la version 22B.
Jeu de données EuroWeb : La publication du jeu de données web de pré-entraînement multilingue utilisé pour EuroLLM 22B, incluant les niveaux de données filtrées par qualité.
EuroBlocks-22B : Un nouvel ensemble de données d'instructions multilingues étendu avec des réponses synthétiques de haute qualité.
Écosystème Open-Source : Publication des modèles de base et de ceux ajustés aux instructions, ainsi que des bases de code de pré-entraînement (fork de Megatron-LM) et d'évaluation.

Résultats

Évalué sur un large ensemble de benchmarks anglais et multilingues, EuroLLM-22B démontre des performances compétitives :

Tendances de mise à l'échelle (Scaling) : Le modèle montre des améliorations constantes par rapport à EuroLLM-9B et EuroLLM-22B-Preview, confirmant une tendance de mise à l'échelle positive au sein de la famille EuroLLM.
Comparaison avec les modèles européens : EuroLLM-22B atteint la performance la plus forte parmi les modèles européens entièrement ouverts. Notamment, il surpasse fréquemment ou reste compétitif face à Apertus-70B (un modèle de 70 milliards de paramètres) malgré le fait qu'il possède environ un tiers de ses paramètres, particulièrement dans le suivi d'instructions et les tâches STEM.
Comparaison avec les modèles mondiaux : Bien qu'EuroLLM-22B soit en retrait par rapport aux meilleurs modèles à poids ouverts (ex: Llama-3.3-70B, Qwen-3-30B-A3B) en termes de scores agrégés, il offre l'alternative la plus capable et entièrement ouverte spécifiquement conçue pour les langues européennes.
Traduction : La performance de traduction reste robuste, la recette de post-entraînement mise à jour renforçant le comportement d'assistant général et le raisonnement sans dégrader la qualité de la traduction.
Contexte long : L'extension à 32K jetons permet une modélisation efficace des entrées de longue forme et la couverture de benchmarks comme WMT25, qui étaient auparavant inaccessibles aux modèles à contexte de 4K.

Signification et affirmations

L'article positionne EuroLLM-22B comme une étape significative vers la démocratisation de l'IA en Europe. En fournissant un modèle entièrement ouvert et de haute qualité qui supporte nativement toute la diversité linguistique de l'UE, les auteurs visent à réduire la dépendance vis-à-vis des modèles fermés et centrés sur l'anglais. Les auteurs affirment qu'EuroLLM atteint une qualité élevée avec un budget de jetons comparativement modeste (4 billions de jetons) par rapport à des modèles plus grands entraînés sur beaucoup plus de données (ex: 15 billions de jetons pour Apertus-70B), suggérant que la curation de données de haute qualité et un post-entraînement ciblé sont des stratégies efficaces pour combler les écarts de performance. La publication des jeux de données et des bases de code associés est destinée à soutenir la recherche future dans la compréhension et la génération des langues européennes.