💬 NLP

$M^3$ Scaling Law: Optimizing Multi-Epoch, Multi-Lingual, and Multi-Stage Training for Low-Resource Language Models

Cet article introduit la loi d'échelle $M^3$ , un modèle prédictif unifié qui optimise le pré-entraînement de LLM à faibles ressources en comparant les stratégies multi-époques, multi-langues et multi-étapes sous des contraintes fixes de calcul et de corpus, révélant que l'entraînement multi-langue en deux étapes est optimal pour les données rares et fournissant une méthode précise pour déterminer le nombre idéal d'époques d'entraînement.

Auteurs originaux : Kosuke Akimoto, Taiki Miyagawa, Masafumi Oyamada

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kosuke Akimoto, Taiki Miyagawa, Masafumi Oyamada

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un chef essayant de créer un plat de classe mondiale (un grand modèle de langage, ou LLM) en utilisant un ingrédient très spécifique et rare (une langue à faibles ressources comme le swahili ou l'indonésien) dont vous ne disposez que d'une infime quantité. Vous avez également une réserve massive d'un ingrédient commun (l'anglais) et une limite stricte de temps et d'argent (budget de calcul) pour cuisiner.

La grande question est : Quelle est la recette parfaite ?

Devriez-vous :

Cuisiner uniquement avec l'ingrédient rare, mais goûter et recuire sans cesse la même petite quantité (Multi-époques/Multi-epoch) ?
Mélanger l'ingrédient rare avec l'ingrédient commun dès le début (Multilingue/Multi-lingual) ?
Commencer principalement avec l'ingrédient commun, puis passer principalement à l'ingrédient rare plus tard (Multi-étapes/Multi-stage) ?

Pendant longtemps, les scientifiques n'avaient pas de manuel de règles unique pour comparer ces différents styles de cuisine. Ils avaient des guides séparés pour le « recuire » et pour le « mélanger », mais aucun moyen de dire lequel était le meilleur lorsque vous aviez une infime quantité d'ingrédients rares ou un budget fixe.

La solution : Le livre de recettes « M3 »

Les auteurs de ce papier ont créé un nouveau « livre de recettes » unifié appelé la Loi d'échelle M3 (M3 Scaling Law). Considérez cela comme une boule de cristal magique qui prédit exactement à quel point votre plat sera savoureux (mesuré par la « perte de validation », qui est essentiellement le degré de confusion du modèle) en fonction de quatre boutons principaux que vous pouvez tourner :

Taille du modèle : La taille de votre marmite.
Époques (k) : Combien de fois vous recuisez l'ingrédient rare.
Ratio de mélange (r) : Quelle quantité d'ingrédient rare par rapport à l'ingrédient commun vous utilisez en moyenne.
Ratio de l'étape finale (rf) : Quelle quantité d'ingrédient rare vous utilisez dans l'étape finale de la cuisson.

Les grandes découvertes

En utilisant cette nouvelle boule de cristal, les auteurs ont découvert deux « Règles d'Or » surprenantes pour cuisiner avec des ingrédients rares :

1. Le passage en « Deux étapes » est le vainqueur
Si vous avez beaucoup d'ingrédient rare, la meilleure stratégie est simple : cuisiner uniquement avec cet ingrédient (Monolingue à étape unique).
Cependant, dès que votre réserve d'ingrédient rare devient petite, la meilleure stratégie bascule immédiatement vers une approche en Deux étapes :

Étape 1 : Cuisiner principalement avec l'ingrédient commun (l'anglais) pour construire une base solide.
Étape 2 : Passer à une cuisson presque exclusivement avec l'ingrédient rare pour affiner la saveur.

La partie surprenante : L'approche consistant à « tout mélanger dès le début » (Monolingue à étape unique/Multi-lingual Single-Stage) n'est jamais le meilleur choix dans leurs expériences. C'est comme essayer de faire une sauce française parfaite en ajoutant de la sauce soja dès la première seconde ; cela ne fonctionne pas aussi bien que de construire la base d'abord et d'ajouter la sauce soja à la fin.

2. La règle de la « Rareté » pour le recuit
Combien de fois devez-vous recuire votre ingrédient rare (époques) ? Le papier a découvert que ce nombre ne dépend pas de la langue spécifique ou de la quantité exacte d'argent dont vous disposez. Il dépend d'un seul facteur : le « Score de Rareté ».

Si vous avez une énorme quantité d'ingrédient rare, vous n'avez besoin de le cuire qu'une seule fois.
Si vous en avez une quantité minuscule, vous devez le recuire de nombreuses fois.
Le papier montre que si vous tracez ce « Score de Rareté » par rapport au nombre de fois où vous recuisez, tous les points de données pour différentes langues et budgets se rejoignent sur une seule courbe. C'est comme une loi universelle de la cuisine : « Plus l'ingrédient est rare, plus vous devez le recuire. »

Pourquoi cela importe

Avant ce papier, si vous vouliez entraîner un modèle pour une langue à faibles ressources, vous étiez essentiellement en train de deviner. Vous pouviez essayer de mélanger, ou de recuire, ou de faire un processus en deux étapes, sans savoir lequel donnerait le meilleur résultat pour votre budget spécifique.

La Loi d'échelle M3 vous donne une carte précise. Elle vous dit exactement quand passer d'une recette simple à une recette en deux étapes plus complexe, et exactement combien de fois vous devez répéter vos données rares pour obtenir la meilleure performance sans gaspiller votre budget de calcul.

En bref : Ne mélangez pas vos ingrédients rares et communs de manière aléatoire dès le début. Si vous avez très peu de l'ingrédient rare, construisez une base solide avec l'ingrédient commun d'abord, puis passez à l'ingrédient rare pour la touche finale. Et si vous avez très peu de données rares, vous devrez pratiquer (recuire) beaucoup plus souvent que si vous en aviez beaucoup.

Résumé technique : Loi d'échelle M3

Problématique

L'article traite d'un défi de conception fondamental dans le préentraînement des grands modèles de langage (LLM) pour les régimes de langues à faibles ressources. Les praticiens opérant sous un budget de calcul fixe ( $C$ ) et une taille de corpus cible fixée ( $D_T$ ) sont confrontés à un espace de conception complexe impliquant trois approches d'entraînement établies :

Entraînement multi-époques : Répéter le corpus cible $k$ fois.
Entraînement multilingue : Mélanger des données à hautes ressources avec la langue cible à un ratio moyen $r$ .
Entraînement multi-étapes : Faire varier le ratio de la langue cible à travers différentes étapes d'entraînement (par exemple, commencer avec un ratio faible $r_1$ et augmenter jusqu'à un ratio final $r_f$ ).

Les lois d'échelle existantes ne parviennent pas à fournir un cadre unifié pour comparer ces approches sous les mêmes contraintes $(C, D_T)$ . Les travaux antérieurs couvrent généralement des segments restreints de cet espace (par exemple, uniquement mono-étape ou uniquement multi-époques) et manquent d'une fonction objectif commune permettant une comparaison directe de recettes différant sur plusieurs axes simultanément. Par conséquent, la configuration d'entraînement optimale pour les scénarios à faibles ressources reste incertaine.

Méthodologie

Les auteurs proposent la Loi d'échelle M3, un modèle prédictif unifié pour la perte de validation de la langue cible. Le modèle est paramétré par l'échelle du modèle ( $M$ ), le nombre d'époques du corpus cible ( $k$ ), le ratio moyen de la langue cible ( $r$ ), et le ratio de la langue cible à l'étape finale ( $r_f$ ).

La méthodologie repose sur trois extensions empiriques de modélisation intégrées dans une seule surface de perte :

Taille de modèle effective dépendante de $k$ (Multi-époques) :
S'appuyant sur Muennighoff et al. (2023), les auteurs observent que la saturation de la taille de modèle effective ( $M'$ ) par rapport au nombre d'époques $k$ n'est pas constante. Ils introduisent un paramètre de saturation dépendant de $k$ , $R^*_M(k)$ , modélisé par $a/(k-1)^b + c$ . Cette formulation permet de retrouver la loi d'échelle Chinchilla à $k=1$ tout en capturant avec précision la saturation plus forte observée pour des valeurs de $k$ plus élevées.
Loi de puissance duale pour l'entraînement multi-étapes :
Étendant les travaux de He et al. (2024), les auteurs analysent l'impact des ratios de langue par étape. Ils constatent que l'augmentation de la perte associée aux faibles ratios de langue cible est atténuée dans l'entraînement multi-étapes par rapport à l'entraînement mono-étape. Ils proposent une loi de puissance duale pour le facteur de ratio de langue $R_{dual}(r, r_f)$ :
$R_{dual}(r, r_f) = \begin{cases} r^{-\gamma} & \text{(mono-étape)} \\ r_f^{-\gamma} \cdot (r/r_f)^{-\gamma_2} & \text{(multi-étapes)} \end{cases}$
Les résultats empiriques montrent que la perte dépend principalement du ratio moyen $r$ et du ratio de l'étape finale $r_f$ , avec une sensibilité négligeable aux ratios des étapes intermédiaires. L'exposant $\gamma_2$ s'avère être plus petit que $\gamma$ , indiquant l'efficacité de la concentration des données de la langue cible lors de l'étape finale.
Interaction entre l'entraînement multi-époques et multi-lingual :
Pour les configurations multi-époques et multi-lingues, les auteurs modélisent l'interaction entre le nombre d'époques $k$ et le ratio de langue $r$ en faisant du poids $g$ sur les jetons à hautes ressources ( $D_{high}$ ) une fonction de $(r, R_D)$ , où $R_D = k-1$ . Cette fonction décroît à mesure que les époques augmentent, reflétant l'utilité marginale décroissante des jetons à hautes ressources à mesure que les données de la langue cible sont répétées.

La loi d'échelle M3 finale combine ces composants :
$L_{M3} = \left( \frac{A}{M'^\alpha} + \frac{B}{D'^\beta} + E \right) \cdot R_{dual}(r, r_f)$
où $M'$ et $D'$ sont les tailles de modèle et de données effectives intégrant les fonctions de saturation et le poids dynamique $g$ .

Dispositif Expérimental

L'étude a été menée sur trois paires de langues : (Japonais, Anglais), (Indonésien, Anglais) et (Swahili, Anglais). Le japonais et l'indonésien ont été sous-échantillonnés pour simuler des régimes à faibles ressources, tandis que le swahili constituait un cas de faibles ressources naturel.

Modèles : Architectures LLaMA de type décodeur seul avec des échelles variables.
Données : C4 (Anglais) et mC4 (langues cibles).
Espace de recherche : Une recherche par grille sur les budgets de calcul ( $C$ ), les échelles de modèles ( $M$ ), les tailles de corpus cibles ( $D_T$ ), les nombres d'époques ( $k$ ) et les ratios de langue ( $r, r_f$ ).
Métrique : Perte de validation de la langue cible, que les auteurs valident comme un proxy de la performance en aval via une analyse de corrélation préliminaire sur des benchmarks japonais.

Résultats Clés

1. Précision Prédictive

La loi d'échelle M3 surpasse les autres bases de référence (Chinchilla, He, Muennighoff, ATLAS, Sedova et diverses lois de préentraînement continu) en termes de précision d'extrapolation ( $R^2$ ) dans tous les contextes testés :

Performance unifiée : Elle atteint le $R^2$ moyen le plus élevé lorsqu'elle est évaluée sur des données combinées mono-étape et multi-étapes.
Double capacité : Elle parvient à extrapoler avec succès vers les régimes mono-étape et multi-étapes simultanément, une capacité où les modèles dépourvus de la loi de puissance duale (par exemple, He ou Muennighoff standard) échouent.
Multi-époques monolingue : Une variante de M3 incorporant le $R^*_M(k)$ dépendant de $k$ atteint une précision de pointe spécifiquement pour les configurations multi-époques monolingues.

2. Directives d'Entraînement Optimal

En utilisant M3 comme objectif de substitution, les auteurs dérivent deux directives pratiques pour le préentraînement de LLM à faibles ressources :

Sélection de l'approche optimale : À mesure que la taille du corpus cible $D_T$ diminue par rapport au budget de calcul, la stratégie optimale passe directement de l'entraînement mono-étape monolingue à l'entraînement multi-étapes multilingue. Crucialement, l'entraînement mono-étape multilingue n'est jamais optimal dans la grille expérimentale. La transition se produit à un seuil dépendant du budget de calcul.
Époques optimales : Le nombre optimal d'époques ( $k^*$ ) se réduit à une courbe unique lorsqu'il est tracé en fonction de la variable de rareté $D_T / D^*(C)$ , où $D^*(C)$ est la taille de corpus optimale en calcul pour le monolingue. Dans le régime de petit $k$ , cela suit l'approximation $k^* \approx D^*(C) / D_T$ .

Signification et Revendications

L'article affirme fournir la première loi d'échelle unifiée couvrant conjointement l'entraînement multi-époques, multi-lingual et multi-étapes, permettant la comparaison de diverses recettes d'entraînement sous un même budget de calcul et de données.

Aperçu théorique : Le travail identifie que les avantages de l'entraînement multi-étapes peuvent être capturés par une loi de puissance duale dépendant uniquement des ratios moyen et final, simplifiant ainsi l'optimisation de calendriers d'entraînement complexes.
Utilité pratique : Les directives dérivées offrent une limite de décision claire pour les praticiens : si le corpus cible est rare, il faut immédiatement adopter une approche multi-étapes multilingue plutôt que de tenter un mélange mono-étape ou une répétition monolingue.
Limites : Les auteurs notent modestement que leur évaluation est limitée à la perte de validation, bien qu'ils fournissent des preuves de sa corrélation avec les tâches en aval. Ils reconnaissent également que leurs expériences ont utilisé des paramètres par défaut fixes pour des hyperparamètres comme les programmes de taux d'apprentissage (optimisés pour le mono-étape) et n'ont pas exploré les variations de qualité de corpus ou de données synthétiques, qui restent des domaines ouverts pour de futures recherches.

En résumé, la loi d'échelle M3 comble le fossé entre les disparates stratégies d'entraînement, offrant un modèle prédictif qui prévoit avec précision les performances et prescrit les recettes d'entraînement optimales pour les LLM de langues à faibles ressources.