🤖 machine learning

Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws

Cet article aborde le régime de préentraînement des modèles de langage contraint par les données en introduisant la Régularisation par Entrée Masquée (MIR) pour améliorer les performances de validation et en aval, et en proposant SoftQ, une nouvelle loi d'échelle qui capture avec précision l'interaction entre la taille du modèle et celle des données sous des époques d'entraînement répétées là où les lois classiques échouent.

Auteurs originaux : Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

Publié 2026-06-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un étudiant (le modèle d'IA) à écrire des histoires. Par le passé, la règle était : « Donnez à l'étudiant une immense bibliothèque de livres uniques, et laissez-le lire chaque livre exactement une fois. » Cela fonctionnait bien car la bibliothèque était immense et l'étudiant avait suffisamment de temps pour tout lire une seule fois.

Mais maintenant, la situation a changé. Nous avons construit des ordinateurs super-rapides (la puissance de calcul ou "compute") capables de lire des millions de livres en une seconde, mais la réserve de nouveaux livres uniques (les données en langage naturel) s'épuise. Nous sommes dans un monde « contraint par les données et riche en calcul ». L'étudiant doit maintenant lire la même petite bibliothèque encore et encore, plusieurs fois, pour remplir son cerveau.

Le problème ? Si vous faites simplement lire les mêmes livres à l'étudiant de manière répétée, il commence à mémoriser les livres au lieu d'apprendre à écrire. Il devient un perroquet, répétant des phrases exactes qu'il a vues, plutôt que de comprendre les règles du langage. C'est ce qu'on appelle le « surapprentissage » (overfitting).

Ce document traite de deux questions principales :

Comment empêcher l'étudiant de simplement mémoriser ? (Régularisation)
Quelle est la meilleure façon d'équilibrer la taille du cerveau de l'étudiant par rapport à la taille de la bibliothèque ? (Lois d'échelle ou Scaling Laws)

Voici le détail de leurs découvertes en utilisant des analogies simples.

1. L'astuce des « Lunettes Floues » (Régularisation par Masquage d'Entrée)

Le Problème :
Lorsqu'un étudiant lit le même livre pour la 10ème fois, il peut commencer à mémoriser la police de caractères exacte ou une faute de frappe bizarre à la page 5, plutôt que d'apprendre l'histoire. Il a besoin d'un moyen de se forcer à se concentrer sur le sens plutôt que sur le texte exact.

La Solution (MIR) :
Les auteurs ont testé une technique appelée Régularisation par Masquage d'Entrée (MIR - Masked-Input Regularization). Imaginez donner à l'étudiant des « lunettes floues » ou un « brouilleur » pendant qu'il lit.

Chaque fois qu'il lit une phrase, l'ordinateur cache (masque) aléatoirement quelques mots, les transformant en [MASQUÉ].
L'étudiant doit deviner les mots manquants en se basant sur le contexte, comme dans un jeu de « texte à trous ».
Il fait cela en parallèle de sa lecture normale.

Le Résultat :
Voyez cela comme la pratique d'un sport. Si vous ne vous entraînez que sur un terrain parfait et plat, vous risquez d'échouer quand le vent se mettra à souffler. Mais si vous vous entraînez avec une « machine à vent » (le masquage aléatoire) qui souffle sur vous, vous apprenez à vous adapter.

Le papier a constaté que même lorsque l'étudiant était déjà discipliné (en utilisant une « décroissance de poids forte », qui est comme un entraîneur strict lui disant de ne pas mémoriser), l'ajout de cette astuce des « lunettes floues » le rendait encore meilleur.
Cela l'a aidé à mieux gérer les situations délicates, comme les noms étranges, les langues mixtes ou les textes mal formés, bien mieux qu'un modèle qui se contentait de lire le texte propre de manière répétée.
Le Gain : Ils ont calculé que l'utilisation de cette astuce est mathématiquement équivalente à donner à l'étudiant 1,3 fois plus de livres uniques à lire. C'est un moyen de tirer plus de valeur de la bibliothèque limitée dont nous disposons.

2. La Règle de Croissance « Couplée » (Loi d'échelle SoftQ)

L'Ancienne Règle (Chinchilla) :
Auparavant, les experts utilisaient une formule (la loi Chinchilla) pour décider de la taille du cerveau de l'étudiant en fonction du nombre de livres dont il disposait.

L'Anci vieille idée : « Si vous doublez le nombre de livres, vous devriez doubler la taille du cerveau. » Cela traitait la taille du cerveau et le nombre de livres comme deux choses distinctes additionnées ensemble.
La Faille : Cette formule supposait que l'on pouvait toujours obtenir de nouveaux livres. Mais dans notre monde où les livres viennent à manquer, cette formule se brise. Elle prédisait que la pénalité pour avoir moins de livres serait la même, que l'étudiant ait un petit cerveau ou un cerveau géant.

La Nouvelle Règle (SoftQ) :
Les auteurs ont réalisé que dans un monde aux livres limités, la taille du cerveau et le nombre de livres sont étroitement liés.

L'Analogie : Imaginez un seau (le cerveau) et un tuyau (les données).
- Si le seau est minuscule, peu importe si le tuyau est énorme ; le seau se remplit vite, et l'eau supplémentaire déborde simplement (données gaspillées).
- Si le seau est énorme mais que le tuyau est minuscule, le seau reste presque vide (puissance cérébrale gaspillée).
- La « pénalité » pour avoir un petit tuyau devient beaucoup plus grave à mesure que le seau devient plus grand. Un seau géant avec un petit tuyau est un désastre.

Le Résultat :
Ils ont proposé une nouvelle formule appelée SoftQ.

Contrairement à l'ancienne formule, SoftQ comprend que plus le modèle devient grand, plus le besoin de données uniques augmente rapidement. Elle « couple » les deux éléments ensemble.
Lors de leurs tests, SoftQ a prédit la performance du modèle de manière beaucoup plus précise que l'ancienne formule Chinchilla, surtout lorsque les données étaient limitées et que le modèle lisait les mêmes données plusieurs fois.

Résumé des « Points Clés »

Ne vous contentez pas de répéter, brouillez : Lorsque vous êtes contraint de vous entraîner sur un ensemble de données limité, cacher aléatoirement des parties du texte (MIR) force l'IA à apprendre des règles générales plutôt que de mémoriser des phrases spécifiques. C'est comme réviser pour un examen en faisant des quiz d'entraînement avec les réponses cachées, plutôt que de simplement lire le manuel.
La taille compte davantage quand les données sont rares : Les anciennes règles de construction de l'IA disaient « modèle plus grand = meilleur, peu importe les données ». Les nouvelles règles (SoftQ) disent « si vous rendez le modèle plus grand, vous avez besoin de disproportionnellement plus de données uniques, sinon le modèle échouera ».
Efficacité : En utilisant l'astuce du « brouillage » (MIR) et la nouvelle formule « couplée » (SoftQ), nous pouvons construire de meilleurs modèles d'IA même lorsque nous manquons de nouveaux textes pour l'entraînement.

Ce que le papier n'a pas dit :
Le papier ne prétend pas que cela réglera immédiatement le diagnostic médical, ne créera pas de chatbots parfaits pour le service client ou ne résoudra pas le changement climatique. Il se concentre strictement sur les mathématiques de la façon d'entraîner ces modèles plus efficacement lorsque les données sont rares. Les résultats sont basés sur des expériences avec des modèles allant jusqu'à 1,4 milliard de paramètres (ce qui est petit comparé aux modèles massifs utilisés par les géants de la technologie aujourd'hui), mais les principes sont destinés à s'appliquer à des échelles plus grandes.

Résumé technique : Pré-entraînement de modèles de langage contraints par les données

Énoncé du problème

Les lois d'échelle classiques pour le pré-entraînement des modèles de langage de grande taille (LLM), telles que Chinchilla, opèrent sous l'hypothèse d'un régime d'« abondance de données » où les données d'entraînement uniques peuvent croître librement avec la puissance de calcul. Ces lois optimisent l'allocation d'un budget de calcul fixe entre les paramètres du modèle et les jetons (tokens) d'entraînement, supposant généralement un passage unique sur le corpus.

Cependant, l'article soutient que le domaine évolue vers un régime riche en calcul mais contraint par les données. Dans ce cadre, l'offre de données en langage naturel de haute qualité est fixe ou bornée, tandis que le calcul d'entraînement continue de croître. Par conséquent, les stratégies d'entraînement doivent s'adapter pour utiliser des modèles plus grands et effectuer plusieurs époques (passages répétés) sur un ensemble de données fini. Les auteurs identifient deux lacunes critiques dans la compréhension actuelle de ce régime :

Régularisation : Comment les modèles peuvent-ils éviter le surapprentissage (overfitting) lorsque le calcul augmente mais que les données uniques restent fixes ? Bien qu'une forte décroissance des poids (weight decay) soit connue pour aider, il n'est pas clair si d'autres mécanismes, tels que le masquage aléatoire utilisé dans les modèles de langage de diffusion (dLLM), offrent des avantages complémentaires.
Lois d'échelle : Les lois d'échelle additives classiques (qui décomposent la taille du modèle et la taille des données) décrivent-elles avec précision la surface de perte dans ce régime ? Les auteurs émettent l'hypothèse que ces lois sont mal spécifiées car elles ne parviennent pas à capturer l'interaction entre la capacité du modèle et les données limitées.

Méthodologie

1. Régularisation : Régularisation par masquage d'entrée (MIR)

Pour étudier la régularisation, les auteurs introduisent la Régularisation par Masquage d'Entrée (Masked-Input Regularization - MIR). Il s'agit d'une modification minimale du pré-entraînement autorégressif (AR) standard qui ne modifie ni l'architecture du modèle ni la procédure d'inférence.

Mécanisme : Pour une séquence d'entrée propre $x$ , une version masquée $\hat{x}$ est générée en remplaçant des jetons par un jeton [MASK] sur la base d'un ratio de masquage échantillonné.
Objectif : La perte d'entraînement est augmentée pour inclure une perte auxiliaire de prédiction du jeton suivant sur la séquence masquée :
$L = L_{NTP}(x) + \lambda L_{NTP}(\hat{x})$
Raisonnement : Les auteurs émettent l'hypothèse que le masquage aléatoire agit comme un régularisateur, forçant le modèle à apprendre des caractéristiques prédictives généralisables plutôt qu'à mémoriser le bruit spécifique au contexte. Cela est testé par rapport à une base de modèles AR « fortement régularisés » (utilisant une forte décroissance des poids) et comparé aux modèles de langage de diffusion (dLLM).

2. Mise à l'échelle : La loi SoftQ

Pour répondre à la question de l'échelle, les auteurs construisent une grille d'expériences faisant varier la taille du modèle ( $N \in \{72M, \dots, 1.4B\}$ ) et le budget de données uniques ( $U \in \{100M, \dots, 400M\}$ ). Ils évaluent plusieurs lois d'échelle :

Chinchilla : Une forme additive $L = E + A N^{-\alpha} + B U^{-\beta}$ , qui suppose que l'écart de perte entre les budgets de données est indépendant de la taille du modèle.
Style Muennighoff : Utilise des ressources effectives qui saturent avec la répétition.
Quanta : Une loi couplée dérivée de vues sur l'apprentissage de compétences (skill-learning).
SoftQ (Proposée) : Une loi d'échelle à cinq paramètres qui couple la taille du modèle et la taille des données via un « goulot d'étranglement doux » (soft bottleneck) :
$L_{SoftQ}(N, U) = E + \left( \frac{A}{N^\rho} + \frac{B}{U^{\rho/(1+\alpha)}} \right)^{\alpha/\rho}$
Ici, $\rho$ contrôle la netteté de la transition entre les régimes limités par les paramètres et limités par les données. Lorsque $U \to \infty$ , elle retrouve l'échelle des paramètres ; lorsque $N \to \infty$ , elle retrouve l'échelle des données.

Contributions clés et résultats

1. Résultats sur la régularisation

Transfert de la décroissance des poids : Les auteurs démontrent qu'une forte décroissance des poids (optimisée pour l'AR) améliore considérablement les performances des dLLM, réduisant l'écart de perte de validation entre les modèles AR et dLLM. Lorsque les deux sont fortement régularisés, leurs performances deviennent comparables.
Efficacité de la MIR : La MIR fournit une régularisation complémentaire en plus de la forte décroissance des poids. Sur des tailles de modèles allant de 72M à 1.4B entraînés sur le jeu de données DCLM (100M de jetons uniques), la MIR réduit systématiquement la perte de validation par rapport à la base de référence de seule décroissance des poids forte.
- Le gain augmente avec la taille du modèle (passant d'une réduction de perte de ~0,006 à 72M à ~0,03 à 1.4B), ce qui s'aligne sur l'intuition théorique selon laquelle les modèles surparamétrés bénéficient davantage de la régularisation par masquage.
- Gains en aval : À 1,4 milliard de paramètres, la MIR produit des améliorations significatives en aval, notamment +10,2 points sur BoolQ et +2,2 points sur SciQ.
- Généralisation : Les bénéfices se transfèrent aux données riches en code (Stack-V2) même lorsque les hyperparamètres sont ajustés uniquement sur des données de langage naturel.
Analyse du mécanisme : L'analyse au niveau du jeton révèle que la MIR aide surtout sur les jetons « difficiles » où le contexte est bruité, mélange de scripts ou contient des noms rares, suggérant que la MIR améliore la robustesse au contexte de préfixe local plutôt qu'à la simple prédiction basée sur la fréquence.

2. Résultats sur les lois d'échelle

Chinchilla est mal spécifiée : Les résultats empiriques montrent que l'écart de perte de validation entre différents budgets de données uniques augmente avec la taille du modèle. La loi additive de Chinchilla, qui prédit un écart invariant par rapport à la taille du modèle, ne parvient pas à capturer ce comportement de « fan-out » (évasement).
Supériorité de SoftQ : La loi SoftQ proposée, qui couple explicitement la taille du modèle et la taille des données, s'ajuste nettement mieux aux expériences contraintes par les données que les lois Chinchilla, Quanta ou de style Muennighoff. Elle atteint un RMSE et un MAE plus faibles sur les ajustements en échantillon (in-sample) et sur l'extrapolation hors échantillon (prédiction de la performance d'un budget de 400M à partir de budgets plus petits).
Quantification de l'efficacité des données : En utilisant SoftQ comme base de référence, les auteurs estiment que le gain de performance de la MIR équivaut à environ 1,3 fois la quantité de données d'entraînement uniques (spécifiquement dans la plage de budget de 20 la 400M de jetons).

Signification et affirmations

L'article affirme fournir une compréhension fondamentale du régime contraint par les données et riche en calcul, qui devient de plus en plus pertinent à mesure que le calcul augmente plus rapidement que la disponibilité des données.

Recette pratique : Les auteurs proposent une recette pratique et à faible coût (MIR) qui améliore l'efficacité des données pour le pré-entraînement autorégressif sans changement d'architecture ni surcharge d'inférence.
Correction théorique : Ils démontrent que les lois d'échelle additives classiques sont insuffisantes pour le régime contraint par les données et proposent SoftQ comme un modèle plus précis pour prédire les surfaces de perte lorsque les données uniques sont la ressource limitante.
Interaction entre régularisation et mise à l'échelle : Ce travail souligne que les stratégies de régularisation (comme la décroissance des poids et le masquage) et les lois d'échelle sont profondément entrelacées dans ce régime ; une mise à l'échelle efficace nécessite des modèles qui sont correctement régularisés pour éviter le surapprentissage sur les données répétées.

Les auteurs restent modestes, notant que leurs expériences sont limitées à 1,4 milliard de paramètres et 400 millions de jetons uniques, ce qui est faible par rapport au pré-entraînement à l'échelle frontale. Ils suggèrent que les travaux futurs devraient explorer les recettes de transfert d'hyperparamètres et les variations d'architectures de modèles.