💬 NLP

Marco-MoE: Open Multilingual Mixture-of-Expert Language Models with Efficient Upcycling

Marco-MoE est une suite de modèles multilingues à mélange d'experts entièrement ouverte et hautement sparse qui exploite un recyclage efficace pour atteindre des rapports performance-calcul de pointe et une évolutivité supérieure dans toutes les langues par rapport aux concurrents plus denses.

Auteurs originaux : Fan Jiang, Yu Zhao, Chenyang Lyu, Tianqi Shi, Yichao Du, Feihu Jiang, Longyue Wang, Weihua Luo

Publié 2026-04-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fan Jiang, Yu Zhao, Chenyang Lyu, Tianqi Shi, Yichao Du, Feihu Jiang, Longyue Wang, Weihua Luo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire une immense bibliothèque contenant des livres dans 64 langues différentes. L'ancienne méthode pour construire cette bibliothèque consistait à embaucher un seul bibliothécaire géant, ultra-intelligent, qui devait mémoriser tout dans chaque langue. Le problème ? Ce bibliothécaire était submergé. Lorsqu'il tentait d'apprendre une nouvelle langue, il commençait à oublier les anciennes, ou il devenait un « couteau suisse, maître de rien ». C'est ce que les chercheurs appellent la « malédiction du multilinguisme ».

Marco-MoE est une nouvelle méthode, plus intelligente, pour construire cette bibliothèque. Au lieu d'un seul bibliothécaire géant, les auteurs ont constitué une équipe d'experts spécialisés qui travaillent ensemble, mais seuls quelques-uns d'entre eux se présentent au travail pour toute tâche spécifique.

Voici comment ils ont procédé, décomposé en concepts simples :

1. L'« Équipe Spécialisée » (Mélange d'Experts)

Imaginez le modèle Marco-MoE non pas comme un cerveau unique, mais comme une salle de sport avec 200 entraîneurs personnels différents (experts).

L'ancienne méthode (Modèles denses) : Chaque fois que vous posez une question, tous les 200 entraîneurs tentent de répondre en même temps. C'est bruyant, coûteux et inefficace.
La méthode Marco (MoE épars) : Lorsque vous posez une question en espagnol, le système ne réveille que 8 entraîneurs spécifiques qui sont des experts en espagnol. Lorsque vous posez une question en japonais, un autre ensemble de 8 entraîneurs se réveille.
Le résultat : La bibliothèque est immense (elle possède une grande quantité de connaissances au total), mais pour toute question unique, elle n'utilise qu'une infime fraction de sa puissance cérébrale (environ 5 %). Cela la rend incroyablement rapide et peu coûteuse à exécuter, même si elle en sait beaucoup.

2. La « Rénovation » (Recyclage Efficace)

Généralement, construire une équipe de 200 entraîneurs à partir de zéro prend des années et des millions de dollars. Marco-MoE a utilisé une astuce ingénieuse appelée « Recyclage » (Upcycling).

Imaginez qu'ils aient pris un bibliothécaire « généraliste » existant et bien entraîné (un modèle dense appelé Qwen3) qui était déjà bon dans de nombreux domaines.
Au lieu de le licencier et de recommencer à zéro, ils ont rénové le bureau. Ils ont pris les connaissances du généraliste et les ont découpées en morceaux plus petits et spécialisés.
Ils ont ensuite donné à ces morceaux un petit « secousse » (en ajoutant du bruit aléatoire) afin qu'ils ne pensent pas tous de la même manière. Cela leur a permis de transformer un seul bibliothécaire lent et massif en une équipe rapide et spécialisée sans avoir à tout réentraîner depuis zéro.

3. Le « Programme d'Études » (Comment ils ont appris)

L'équipe n'a pas simplement lu des livres au hasard. Ils ont suivi un plan d'études strict en quatre étapes :

Étape 1 : Ils ont commencé avec des livres de haute qualité en anglais et des ouvrages de raisonnement pour construire une base solide.
Étape 2 : Ils ont ajouté davantage de problèmes de mathématiques et de sciences pour affiner leur logique.
Étape 3 : Ils ont introduit 9 nouvelles langues (comme l'ourdou et le kazakh) qui étaient plus difficiles à apprendre, s'assurant que l'équipe n'ignorait pas les langues de la « longue traîne ».
Étape 4 : Ils se sont concentrés intensivement sur la culture. Ils n'ont pas seulement appris les mots ; ils ont appris le contexte. Ils ont étudié les actualités locales, les récits culturels et l'histoire régionale afin que le modèle comprenne pourquoi les gens disent certaines choses, et pas seulement ce qu'ils disent.

4. L'« Essai Général » (Post-Entraînement)

Après avoir étudié les livres, l'équipe a dû apprendre à communiquer avec les humains.

Étape 1 (SFT) : Ils ont pratiqué la réponse à des questions spécifiques et le suivi d'instructions.
Étape 2 (Distillation sur politique) : C'est comme un élève apprenant d'un maître. Le modèle a généré ses propres réponses, et un « super-enseignant » (une IA beaucoup plus grande) les a corrigées. Le modèle a ensuite appris de ses propres erreurs, affinant son style pour être plus utile et précis.

Les Résultats : Petit mais Redoutable

L'article affirme que cette approche a créé deux modèles principaux :

Marco-Nano : Un modèle minuscule qui active uniquement 0,6 milliard de paramètres. Il surpasse largement son poids, performant mieux que des modèles beaucoup plus grands activant de 3 à 14 fois plus de puissance cérébrale.
Marco-Mini : Un modèle légèrement plus grand (0,86 milliard de paramètres activés) qui bat des concurrents disposant de 3 à 14 fois plus de paramètres actifs.

L'essentiel à retenir :
Marco-MoE prouve que vous n'avez pas besoin d'un cerveau massif et coûteux pour parler 64 langues avec compétence. En utilisant une approche d'« équipe spécialisée » et une stratégie de rénovation intelligente, ils ont créé des modèles qui sont plus rapides, moins chers et meilleurs pour gérer des cultures diverses que les géants actuels, tout en étant entièrement ouverts à tous pour être utilisés et étudiés.

Ils ont également constaté que le modèle avait naturellement appris à regrouper les langues ensemble (comme regrouper l'espagnol, le français et l'italien) tout comme le ferait un linguiste humain, montrant ainsi qu'il comprend véritablement les relations entre les langues plutôt que de simplement les mémoriser.

1. Énoncé du Problème

Le papier aborde la "malédiction du multilinguisme" dans les Modèles de Langage à Grande Échelle (LLM). Ce phénomène décrit le compromis selon lequel l'expansion de la couverture linguistique d'un modèle dans un budget de paramètres fixe dégrade souvent les performances sur les langues individuelles en raison de goulots d'étranglement de capacité et d'interférences interlinguistiques.

Limites des Modèles Denses : Les petits modèles multilingues existants utilisent généralement des architectures denses qui peinent à équilibrer une large étendue linguistique avec une compétence profonde dans les tâches. Ils manquent de flexibilité architecturale pour s'étendre à travers diverses familles de langues sans sacrifier les performances.
Limites du Recyclage MoE Existant : Bien que les architectures à Mélange d'Experts (MoE) offrent une solution via le calcul conditionnel, les méthodes de recyclage actuelles (conversion de modèles denses en MoE épars) reposent sur une réplication d'experts grossière. Cela implique la duplication de blocs entiers de réseaux de neurones à propagation avant (FFN), ce qui conduit à des initialisations redondantes, entrave la spécialisation des experts et échoue à capturer les représentations nuancées requises pour le raisonnement multilingue.

2. Méthodologie

Les auteurs proposent Marco-MoE, une famille de modèles MoE multilingues compacts et hautement épars conçus pour briser les compromis traditionnels. La méthodologie repose sur trois piliers fondamentaux :

A. Recyclage d'Experts à Granularité Fine (Drop-Upcycling)

Au lieu de répliquer des blocs FFN entiers, Marco-MoE emploie une technique de division de sous-matrices combinée au Drop-Upcycling :

Partitionnement de Sous-matrices : Les poids des FFN du modèle dense pré-entraîné sont partitionnés en $N$ tranches le long de la dimension intermédiaire pour créer un cadre "pseudo-MoE".
Ajustement de l'Échelle : Pour maintenir l'équivalence mathématique avec le modèle dense original, les poids tranchés sont mis à l'échelle par un facteur de $\lambda = N^{1/3}$ afin d'éviter la réduction de l'amplitude du signal lors de la transition de la somme dense au gating épars.
Drop-Upcycling : Pour briser la symétrie des initialisations identiques, les auteurs échantillonnent aléatoirement des indices le long des dimensions intermédiaires et suppriment les poids correspondants, les réinitialisant avec une distribution gaussienne dérivée des statistiques des poids supprimés. Cela favorise la diversification des experts et leur spécialisation dès le début de l'entraînement.

B. Curriculum d'Entraînement Préliminaire en Quatre Étapes

Les modèles sont pré-entraînés sur 5,1 billions de tokens couvrant 29 langues (étendu plus tard à 64) en utilisant une stratégie progressive de mélange de données :

Étape 1 : Données de haute qualité en anglais, de raisonnement et d'instructions mélangées à des données web/QA multilingues (19 langues).
Étape 2 : Suréchantillonnage des corpus de raisonnement et des données chinoises ; sous-échantillonnage des données web générales en anglais.
Étape 3 : Introduction de 9 nouvelles langues à ressources limitées (par exemple, bengali, kazakh, ourdou) en réduisant les poids pour les domaines anglais/de raisonnement.
Étape 4 : Intégration de données synthétiques culturelles et régionales soigneusement sélectionnées (incluant des QCM et des connaissances culturelles) pour renforcer le raisonnement localisé et la compréhension culturelle.

Synthèse de Données : Les auteurs utilisent des pipelines avancés pour générer des données synthétiques de haute qualité pour les langues à ressources limitées, notamment :

QA Multilingue : Traduction de divers ensembles de données de questions-réponses en anglais à l'aide de Qwen3-30B-A3B-Instruct avec un filtrage strict.
Données STEM : Projection des connaissances STEM anglaises vers les langues cibles.
Données Culturelles : Utilisation d'évaluateurs LLM pour filtrer les documents extraits du web selon leur densité culturelle et génération de QCM régionaux synthétiques via une expansion hiérarchique des sujets.

C. Post-Entraînement avec Distillation On-Policy (OPD)

Pour créer les variantes Instruct, les auteurs emploient un pipeline en deux étapes :

Affinement Supervisé (SFT) : Utilisation de paires instruction-réponse de haute qualité (Dolci-Instruct, données scientifiques et données ancrées culturellement).
Distillation On-Policy (OPD) : Une stratégie de distillation en cascade où le modèle étudiant génère ses propres trajectoires mais apprend d'une supervision dense par token fournie par des modèles enseignants plus puissants (d'abord Qwen3-30B-A3B, puis Qwen3-Next-80B-A3B). Cela comble le fossé entre l'efficacité hors politique et la robustesse en politique.

3. Contributions Clés

Premier Recyclage Multilingue Épars : Le premier travail exploitant le recyclage MoE spécifiquement pour optimiser les performances multilingues dans des tailles de modèles compactes, s'éloignant de la réplication grossière vers une spécialisation d'experts à granularité fine.
Transparence Ouverte : Contrairement à de nombreux modèles propriétaires, Marco-MoE est entièrement ouvert, divulguant tous les ensembles de données de pré-entraînement, les méthodologies de synthèse de données et la recette complète d'entraînement en quatre étapes.
Expansion Linguistique Évolutible : Démonstration de la capacité à passer de 29 à 64 langues sans la dégradation des performances typique des modèles denses, maintenant une haute compétence à la fois dans les langues à ressources abondantes et à longue traîne.
Activation Structurée des Experts : L'analyse révèle que le modèle apprend naturellement des modèles d'activation d'experts structurés qui reflètent les taxonomies linguistiques (par exemple, les langues romanes, slaves et d'Asie de l'Est partagent des pools d'experts), tout en isolant les langues linguistiquement uniques (par exemple, thaï, arabe) vers des experts spécialisés.

4. Résultats Clés

Le papier évalue Marco-Nano (0,6B de paramètres activés, 8B au total) et Marco-Mini (0,86B de paramètres activés, 17,3B au total) par rapport à des modèles de base denses et MoE de l'état de l'art.

Rapport Performance/Calcul :
- Marco-Mini-Base atteint les meilleures performances moyennes sur les benchmarks en anglais (63,7) et Multilingue Général (50,9), surpassant Qwen3-4B (qui possède 4 fois plus de paramètres et un calcul d'entraînement significativement plus élevé) et Trinity-Mini (qui possède environ 4,5 fois plus de paramètres activés).
- Marco-Nano-Base (0,6B actifs) surpasse des modèles denses plus grands comme Llama3.2-3B et Gemma3-4B sur les benchmarks multilingues, malgré l'avoir moins d'un cinquième des paramètres activés.
Compétence Multilingue et Culturelle :
- Marco-Mini-Instruct obtient les scores les plus élevés dans les benchmarks Culturels et Régionaux Multilingues (71,0), surpassant Qwen3-4B-Instruct (69,1) et Gemma3-12B-Instruct (67,7).
- Les modèles montrent des gains significatifs dans les langues à ressources limitées (par exemple, ourdou, bengali, kazakh), où l'écart de performance par rapport aux homologues denses s'élargit considérablement.
Efficacité :
- Marco-Mini-Instruct surpasse LFM2-24B-A2B (un modèle MoE de 24B de paramètres) de loin tout en n'activant que 0,86B de paramètres (une réduction de 38 % des paramètres totaux et de 57 % des paramètres activés par rapport à LFM2).
Analyse des Experts :
- Les cartes de chaleur de corrélation de Pearson des modèles d'activation d'experts montrent que les langues apparentées (par exemple, espagnol, français, italien) partagent des corrélations d'activation élevées, tandis que les langues isolées (par exemple, thaï, hébreu) présentent de faibles corrélations, confirmant la capacité du modèle à apprendre un routage linguistiquement significatif.

5. Signification

Redéfinition de l'Efficacité : Marco-MoE établit un nouvel état de l'art pour le rapport performance/calcul dans les LLM multilingues, prouvant que les architectures éparses avec un recyclage efficace peuvent surpasser des modèles denses et MoE beaucoup plus grands.
Démocratisation de l'IA Multilingue : En open-sourçant la recette d'entraînement complète et les ensembles de données, les auteurs fournissent une base transparente pour que la communauté développe des modèles performants et culturellement conscients sans les coûts prohibitifs d'un entraînement à partir de zéro.
Résolution de la "Malédiction" : Le travail démontre que la "malédiction du multilinguisme" peut être atténuée non seulement par l'augmentation des données, mais par l'innovation architecturale (MoE à granularité fine) permettant une utilisation spécialisée des experts pour les langues isolées et une utilisation partagée pour les langues apparentées, permettant une expansion évolutive vers 64+ langues sans interférence.
Direction Future : Le papier souligne le potentiel d'une expansion linguistique modulaire et incrémentale et la nécessité de pipelines de données synthétiques de haute qualité pour soutenir le développement des langues à ressources limitées.