Résumé technique : Réconcilier le préentraînement optimal en calcul et en données

1. Énoncé du problème

Les lois d'échelle classiques du préentraînement (par exemple, Kaplan et al., 2020 ; Hoffmann et al., 2022) opèrent sous l'hypothèse que les données de préentraînement fraîches sont illimitées et augmentent librement avec le calcul. Cependant, le domaine entre dans une phase de transition où la capacité de calcul croît de manière exponentielle tandis que les données de haute qualité pour le préentraînement restent finies et coûteuses à constituer. Dans ce régime « contraint par les données », les praticiens doivent consacrer du calcul supplémentaire aux jetons dérivés ($D'$) générés à partir d'un corpus fixe ($D$) via des stratégies telles que la répétition multi-époques, la paraphrase ou la distillation.

La question centrale abordée par ce travail est la suivante : Pour un modèle de taille $N$ entraîné sur un corpus fixe $D$, de combien le calcul supplémentaire (consacré aux jetons dérivés $D'$) peut-il réduire la perte de préentraînement ? Les lois existantes ne décrivent pas de manière adéquate le compromis entre calcul et données lorsque l'approvisionnement en données est limité.

2. Méthodologie

Le cadre de mise à l'échelle Calcul-Données (CD)

Les auteurs proposent un cadre unifié, les lois d'échelle CD, qui comble l'écart entre :

1. La mise à l'échelle optimale en calcul ($L_{Chin}$) : Où les données sont illimitées ($D' = 0$).
2. La mise à l'échelle optimale en données ($L_D$) : Où le calcul est illimité sur un corpus fixe ($D' \to \infty$).

Le cœur du cadre est une fonction d'efficacité des jetons, $\eta_{strat} \in [0, 1]$, qui quantifie la valeur d'un jeton dérivé par rapport à un jeton frais. La loi d'échelle proposée est :

$$L(N, D, D') = E + \frac{A}{N^\alpha} + \frac{B}{(D + \eta_{strat} \cdot D')^\beta}$$

Où :

• $N$ : Paramètres du modèle.
• $D$ : Jetons frais (vus une fois).
• $D'$ : Jetons dérivés.
• $\eta_{strat}$ : Coefficient d'efficacité dépendant de la stratégie d'expansion (répétition ou paraphrase), de la taille du modèle $N$ et de la disponibilité des données.

Configuration expérimentale

• Architecture : OLMo3 (Olmo et al., 2025).
• Tailles de modèles : 14M à 600M de paramètres.
• Données : Corpus Dolma-3 (150B jetons).
• Stratégies :
  1. Répétition multi-époques : Répéter le corpus pour des époques supplémentaires.
  2. Paraphrase : Reformuler les documents en utilisant SmolLM2-1.7B-Instruct avec des mélanges de styles spécifiques (questions, mathématiques, FAQ, tableaux).
• Ajustement (Fitting) : Les auteurs ajustent les paramètres de la loi d'échelle en balayant les tailles de données fraîches ($D$), les budgets de jetons dérivés ($D'$) et les hyperparamètres (taux d'apprentissage, décroissance des poids). Ils dérivent $\eta_{emp}$ empiriquement en trounant la valeur qui reproduit les pertes observées étant donné les constantes d'échelle à 1 époque.

Forme paramétrique de $\eta$

L'analyse empirique révèle que $\eta$ n'est pas constante mais décroît en fonction de :

1. Le ratio d'expansion ($r = D'/D$) : $\eta$ diminue à mesure que davantage de données dérivées sont ajoutées.
2. **Le nombre de jetons par paramètre ($TPP = D/N$) :**$\eta$ décroît plus rapidement lorsque les données fraîches sont rares par rapport à la taille du modèle.
3. La taille du modèle ($N$) : Les modèles plus grands saturent plus vite.

Les auteurs modélisent les données dérivées effectives ($\eta \cdot D'$) comme saturant vers un plafond $R^*$. La forme fonctionnelle adoptée est :
$$\eta = \frac{R^*}{r} \left(1 - e^{-r/R^*}\right)$$
Où le plafond de saturation $R^*$ suit une loi de puissance dépendant de $N$ et $TPP$ :
$$R^*(D, N) = K \cdot (D/N)^\rho \cdot N^\sigma$$

3. Résultats clés

1. Efficacité non constante

L'efficacité des jetons dérivés est loin d'être constante. Elle dépend conjointement de la taille du modèle, du ratio $TPP$ et de la quantité de données dérivées. À mesure que le corpus s'étend ($D' \to \infty$), le nombre de jetons effectifs $D_{eff} = D + \eta D'$ sature.

2. Trois régimes opérationnels

La loi d'échelle CD partitionne l'entraînement en trois régimes distincts basés sur la contrainte déterminante :

• Limité par le calcul (Compute-bound) : Entre la frontière d'optimisation du calcul ($L_{Chin}$) et la frontière d'optimisation des données ($L_D$). Ici, un calcul supplémentaire sur $D'$ réduit significativement la perte.
• Limité par les données (Data-bound) : Entre $L_D$ et le plancher lié au modèle ($L_N$). Les jetons dérivés ont saturé ; seules les données fraîches peuvent réduire davantage la perte.
• Limité par le modèle (Model-bound) : La limite asymptotique où le calcul et les données sont tous deux saturés ; seul l'augmentation de $N$ est utile.

La région « limitée par le calcul » rétrécit à mesure que la taille du modèle ($N$) et le $TPP$ augmentent, indiquant des rendements décroissants pour un calcul supplémentaire sur des modèles plus grands ou dotés de données abondantes.

3. Sélection de stratégie et optimisation

• Petits modèles ($N \lesssim 600M$) & faibles budgets de données : La paraphrase est nettement plus efficace que la répétition.
• Grands modèles ($N \gtrsim 190M$) & budgets de données élevés : La répétition surpasse la paraphrase.
• Recommandations d'époques : La « règle des 4 époques » (souvent citée pour Chinchilla) ne tient que pour les modèles de taille moyenne ($\sim 3B$) proches de l'échelle de données $1\times$ Chinchilla. Pour les modèles plus grands et des $TPP$ plus élevés, le nombre d'époques recommandé diminue.
• Frontière de Pareto : Le cadre identifie l'allocation optimale entre calcul et données, généralisant l'optimisation du calcul seul de Chinchilla en une frontière de Pareto conjointe calcul-données.

4. Transfert en aval (Downstream Transfer)

La perte de validation reste une statistique suffisante pour la capacité en aval (mesurée par le BPB sur les tâches de langage et la précision sur des benchmarks comme LAMBADA et SQuAD), quel que soit le fait que le modèle ait été entraîné avec 1 époque, par répétition ou par paraphrase. Toutes les stratégies se rejoignent sur une courbe unique lorsqu'elles sont tracées en fonction de la perte de validation.

4. Signification et revendications

Le papier affirme fournir un cadre unifié qui récupère les lois existantes comme des cas particuliers :

• La mise à l'échelle optimale en calcul est récupérée lorsque $D' = 0$.
• La mise à l'échelle contrainte par les données (Muennighoff et al., 2025) est récupérée comme un cas particulier où le plafond de saturation $R^*$ est constant.
• La mise à l'échelle optimale en données (Kim et al., 2025) est récupérée comme la limite où $D' \to \infty$.

Implications pratiques :

1. Identification des ressources : Les praticiens peuvent déterminer si leur entraînement est limité par le calcul, les données ou la capacité du modèle.
2. Stratégie d'allocation : La loi prescrit la répartition optimale du calcul entre les données fraîches et les données dérivées, allant au-delà de l'heuristique « Chinchilla ».
3. Guidage de stratégie : Elle fournit des recommandations fondées sur les données sur le moment où passer de la répétition à la paraphrase et sur le nombre d'époques ou de passages de paraphrase optimaux avant que les rendements ne saturent.

5. Limites

Les auteurs notent plusieurs limites :

• Ajustement empirique : La fonction $\eta$ absorbe les résidus de l'ajustement à 1 époque, ce qui peut pousser $\eta_{emp} > 1$.
• Sensibilité aux hyperparamètres : Seuls le taux d'apprentissage et la décroissance des poids ont été balayés ; d'autres hyperparamètres (taille du lot, longueur de séquence) ont été fixés.
• Coût de calcul : L'établissement de ces lois a nécessité plus de 250 000 heures de H100.
• Portée : L'étude se concentre sur la répétition et la paraphrase ; d'autres stratégies comme l'auto-distillation ou les données synthétiques structurées restent inexplorées.
• Échelle : Les expériences ont été menées sur des modèles petits à moyens (jusqu'à 600M), bien que la loi ait été validée pour s'extrapoler à des tailles plus grandes.