Résumé technique : Lois de mise à l'échelle prescriptives pour l'entraînement contraint par les données

Énoncé du problème

L'entraînement des grands modèles de langage (LLM) est de plus en plus contraint par la disponibilité de données de haute qualité plutôt que par la puissance de calcul. Bien que le texte brut soit abondant, les pipelines les plus avancés reposent sur un filtrage agressif de la qualité, des sous-ensembles sélectionnés et des corpus spécifiques à un domaine, créant un goulot d'étranglement où le budget de calcul dépasse souvent les données uniques disponibles. Dans ce régime, les praticiens ont fréquemment recours à l'entraînement de modèles sur plusieurs époques avec les mêmes données.

Les lois de mise à l'échelle existantes, en particulier la loi Chinchilla largement adoptée (Hoffmann et al., 2022), supposent que chaque token d'entraînement est unique. Les extensions visant à gérer la répétition des données, telles que la formulation des données effectives de Muennighoff et al. (2023), modélisent les rendements décroissants mais échouent à capturer le régime où la perte augmente en raison du surapprentissage. Crucialement, ces modèles existants ne tiennent pas explicitement compte de l'interaction entre la taille du modèle et la répétition : les modèles plus grands surapprennent plus rapidement sur des données répétées que les plus petits. Sans modéliser cette interaction, les lois de mise à l'échelle ne peuvent pas prédire avec précision le comportement ni guider l'allocation optimale de calcul dans des contextes contraints par les données.

Méthodologie

Les auteurs proposent une nouvelle formulation de loi de mise à l'échelle qui modélise explicitement le coût de la répétition des données via une pénalité additive de surapprentissage.

Configuration expérimentale

• Modèles : Plus de 300 modèles de langage uniquement décodeurs basés sur l'architecture Llama 2, allant de 15 M à 1 milliard de paramètres.
• Données : Entraînés sur le jeu de données FineWeb (Penedo et al., 2024).
• Grille : L'étude balaye les budgets de données uniques ($U_D$) de 50 M à 6 milliards de tokens et les nombres de répétitions ($R_D$) de 0 à 15 époques.
• Régularisation : Deux forces de décroissance des poids ont été testées : standard ($\lambda = 0.1$) et forte ($\lambda = 1.0$), tous les autres hyperparamètres étant maintenus constants.
• Évaluation : Perte de validation finale, perplexité et performance en aval via la suite d'évaluation OLMES (Gu et al., 2025) sur 19 tâches.

Loi de mise à l'échelle proposée

Les auteurs dérivent une famille de lois de mise à l'échelle qui enrichissent la forme Chinchilla d'un terme de pénalité additive. La forme générale est :
$$L(N, U_D, R_D) = E + \frac{A}{N^\alpha} + \frac{B}{(U_D \cdot (1 + R_D))^\beta} + \text{Pénalité}(N, U_D, R_D)$$

Où le terme de pénalité capture l'excès de perte dû à la répétition. Les auteurs présentent une « échelle de complexité » de formes :

1. Forme à 1 paramètre : Une pénalité linéaire en nombre de répétitions mise à l'échelle par le rapport de la taille du modèle sur les données uniques : $P \cdot R_D \cdot \frac{N}{U_D}$.
2. Forme à 2 paramètres : Introduit un exposant non linéaire $\kappa$ sur le rapport de capacité : $P \cdot R_D \cdot (\frac{N}{U_D})^\kappa$.
3. Forme à 4 paramètres : Ajoute un exposant superlinéaire $\delta$ sur le nombre de répétitions et découple l'exposant du budget de données $\gamma$ : $P \cdot R_D^\delta \cdot (\frac{N}{U_D^\gamma})^\kappa$.

Cette formulation postule que les tokens répétés jouent un double rôle : ils continuent de réduire le terme de suffisance des données (en agissant comme des données utiles) tout en engendrant simultanément un coût de surapprentissage croissant qui dépend de la taille du modèle et de la rareté des données.

Résultats clés

1. Qualité d'ajustement supérieure

Les lois de pénalité additive proposées surpassent significativement les formulations existantes (référence Chinchilla et Muennighoff et al., 2023) dans la prédiction de la perte de validation sous répétition.

• Ajustement descriptif : Même la forme additive la plus simple à 1 paramètre surpasse largement les références à décroissance exponentielle ($R^2_{multi} \approx 0,95$ contre $0,58$ pour la référence dans l'étude standard). La forme à 4 paramètres atteint un ajustement quasi parfait ($R^2 \approx 0,997$).
• Généralisation : Les formes de pénalité additive se généralisent au jeu de données C4 de Muennighoff et al. (2023) retenu, surpassant leurs propres formulations de données effectives sur ces données, confirmant que l'amélioration n'est pas un artefact de la configuration d'entraînement spécifique.

2. Allocation optimale de calcul

La nouvelle loi de mise à l'échelle fournit des conseils qualitativement différents pour l'allocation de calcul dans les régimes contraints par les données par rapport aux travaux antérieurs :

• Travaux antérieurs : La loi Chinchilla (ignorant le surapprentissage) recommande toujours plus de répétitions à mesure que le calcul augmente. La loi de Muennighoff et al. (2023) recommande des rendements décroissants mais ne suggère jamais d'arrêter la répétition.
• Ce travail : La loi proposée identifie un seuil de calcul au-delà duquel la répétition supplémentaire est contre-productive. Au-delà de ce point, la stratégie optimale consiste à allouer le calcul supplémentaire à la capacité du modèle (plus grand $N$) tout en réduisant le nombre d'époques ($R_D$). Cela crée un « retournement » de la frontière d'allocation.

3. Validation prescriptive

Les auteurs ont validé les recommandations de la loi en entraînant les configurations spécifiques (taille du modèle et nombre d'époques) recommandées par chaque loi pour des budgets de calcul et de données fixes.

• Les configurations recommandées par la loi proposée ont systématiquement atteint la perplexité la plus faible et les meilleures performances en aval (OLMES BPB) sur tous les budgets testés.
• Par exemple, avec un budget de calcul de $2 \times 10^{19}$ FLOPs et 500 M de tokens uniques, la loi proposée recommandait un modèle de 2,2 milliards de paramètres entraîné pendant 3 époques, surpassant la recommandation Chinchilla (670 M de paramètres, 10 époques) et la recommandation de Muennighoff (950 M de paramètres, 7 époques).

4. Étude de cas : Décroissance des poids

Le coefficient unique $P$ dans le terme de pénalité quantifie la robustesse d'une configuration face à la répétition des données.

• Réduction du surapprentissage : Une forte décroissance des poids ($\lambda = 1.0$) réduit le coefficient de surapprentissage $P$ d'environ 70 % par rapport à une décroissance standard ($\lambda = 0.1$).
• Point de croisement : Bien que la forte décroissance des poids entraîne une « prime de perte » dans le régime d'une seule époque, la pénalité de surapprentissage réduite crée un point de croisement à des budgets de calcul élevés ($C \approx 3.2 \times 10^{18}$ FLOPs pour $U_D=250M$). Au-delà de ce point, la forte décroissance des poids permet l'utilisation productive de calcul supplémentaire, surpassant les paramètres standards. Cela fournit une explication par les lois de mise à l'échelle aux résultats empiriques récents (Kim et al., 2026) selon lesquels la décroissance des poids optimale dans les régimes contraints par les données est d'un ordre de grandeur supérieur à la pratique standard.

Importance et revendications

L'article revendique fournir un cadre prescriptif pour l'entraînement contraint par les données qui va au-delà des hypothèses de « données infinies » de Chinchilla.

• Nouveaux conseils d'allocation : La contribution principale est l'identification d'un régime où la répétition devient préjudiciable, déplaçant la stratégie optimale de « plus d'époques » vers « des modèles plus grands ».
• Robustesse quantifiable : En isolant le surapprentissage dans un seul coefficient, la loi permet une comparaison directe des configurations d'entraînement (par exemple, différentes forces de régularisation) sans balayage exhaustif des hyperparamètres.
• Conseils pratiques : Les auteurs soutiennent que pour les praticiens disposant de budgets de données fixes, il existe un niveau de calcul spécifique au-delà duquel la répétition des données est contre-productive. Ils fournissent une méthode concrète pour déterminer ce seuil et la taille de modèle optimale correspondante.
• Modestie : Les auteurs reconnaissent les limites, notant que les exposants ajustés sont validés jusqu'à 1 milliard de paramètres et 16 époques, et que la loi n'englobe pas des phénomènes comme la double descente. Ils notent également que la réanalyse de Muennighoff et al. (2023) suggère que leur désaccord sur les stratégies d'allocation découle d'une référence mal spécifiée dans les travaux antérieurs plutôt que d'une contradiction fondamentale dans la physique de la mise à l'échelle.