💬 NLP

LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws

Cet article démontre que les données de préentraînement sont le déterminant principal des lois d'échelle perte-à-perte dans les grands modèles de langage, tandis que des facteurs tels que la taille du modèle, l'architecture et les hyperparamètres ont un impact minimal, suggérant que la curation des données est plus critique que les choix architecturaux pour optimiser les performances en aval.

Auteurs originaux : Prasanna Mayilvahanan, Thaddäus Wiedemer, Sayak Mallick, Matthias Bethge, Wieland Brendel

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Prasanna Mayilvahanan, Thaddäus Wiedemer, Sayak Mallick, Matthias Bethge, Wieland Brendel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de cuire le pain parfait. Depuis des années, les scientifiques sont obsédés par la recette : « Si vous utilisez 100 grammes de farine et 500 grammes d'eau, vous obtenez une texture spécifique. » Cela ressemble à la façon dont nous construisons actuellement les grands modèles de langage (LLM). Nous disposons de « lois d'échelle » qui nous indiquent la taille du modèle et la quantité de données nécessaires à son apprentissage, en fonction de la puissance de calcul dont nous disposons.

Mais il y a un piège. Le fait qu'un modèle apprenne parfaitement la recette ne signifie pas qu'il cuira un excellent gâteau (qu'il performera bien sur des tâches réelles).

Cet article, « LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws », pose une question simple : Qu'est-ce qui détermine réellement la performance d'un modèle sur de nouvelles tâches une fois son apprentissage terminé ?

Les auteurs ont testé des dizaines de variables — en modifiant la structure du cerveau du modèle, la taille du modèle, les outils utilisés pour lire le texte, et même les mathématiques utilisées pour l'enseigner. Ils ont découvert une vérité massive et surprenante : les données sont la seule chose qui compte vraiment.

Voici la décomposition utilisant des analogies simples :

1. La ligne « Perte à Perte »

Imaginez que vous formez un étudiant. Vous lui donnez un test d'entraînement (Perte d'entraînement) puis un examen final (Perte de test).

La découverte : Il existe une ligne droite très prévisible reliant la performance à l'entraînement à la performance à l'examen final.
L'analogie : Si un étudiant obtient 90 % à l'entraînement, il obtiendra presque certainement 90 % à l'examen final, peu importe qu'il porte un t-shirt rouge ou un t-shirt bleu. L'article appelle cela une « loi de puissance décalée ». C'est une règle fiable qui s'applique à presque tout.

2. Les « Trois Grands » facteurs (et pourquoi ils n'ont pas d'importance)

Les chercheurs ont joué à « Mad Libs » avec le processus d'entraînement, en échangeant différents ingrédients pour voir ce qui modifiait le résultat final. Ils ont constaté que trois grandes catégories avaient presque zéro effet sur cette ligne prévisible :

L'architecture (la structure du cerveau) : Ils ont comparé Llama (un Transformer, comme un cerveau humain standard) avec Mamba (un modèle d'espace d'états, comme un type de cerveau alien complètement différent).
- Le résultat : Si vous nourrissez les deux cerveaux avec exactement le même manuel, ils aboutissent sur exactement la même ligne de performance. Peu importe que le cerveau soit façonné comme un Transformer ou un Mamba ; si les données sont les mêmes, le résultat est le même.
Le tokeniseur (le dictionnaire) : C'est l'outil qui décompose les phrases en mots ou en fragments. Ils ont essayé différents dictionnaires (certains avec 128 000 mots, d'autres avec 50 000).
- Le résultat : Changer le dictionnaire revenait à changer la police d'écriture du manuel. Cela n'a pas modifié la façon dont l'étudiant apprenait le matériel.
Les paramètres (les habitudes d'étude) : Ils ont modifié la taille du modèle (petit vs grand), la longueur des phrases (longueur de contexte) et les mathématiques utilisées pour corriger les erreurs (optimiseurs).
- Le résultat : Que l'étudiant ait étudié pendant 10 minutes ou 10 heures, ou utilisé un stylo rouge ou un stylo bleu, la relation entre les scores d'entraînement et les scores finaux restait la même.

3. La « seule chose » qui compte : les données

Alors que la structure du cerveau, le dictionnaire et les habitudes d'étude n'avaient pas d'importance, le manuel lui-même changeait tout.

L'analogie : Imaginez deux étudiants. L'étudiant A lit un manuel sur la cuisine. L'étudiant B lit un manuel sur l'astrophysique.
- Même si l'étudiant A possède un cerveau d'ordinateur surpuissant et que l'étudiant B possède un cerveau de simple calculatrice, l'étudiant A sera excellent en cuisine et terrible en astrophysique. L'étudiant B sera l'inverse.
- L'article a constaté que changer les données de préentraînement (le manuel) déplace toute la ligne de performance. Si vous vous entraînez sur des données éducatives de haute qualité (comme « FineWeb-Edu »), le modèle performe mieux sur des tâches réelles. Si vous vous entraînez sur des données désordonnées, il performe moins bien.

La conclusion pour les praticiens

L'article se termine par un message clair pour toute personne construisant une IA :

Arrêtez d'être obsédés par l'architecture et commencez à être obsédés par les données.

Si vous voulez un modèle qui performe bien sur des tâches réelles, vous n'avez pas besoin d'inventer un nouveau type de cerveau ou d'ajuster les paramètres mathématiques. Vous devez créer un meilleur ensemble de données.

Les données sont le conducteur. Elles déterminent la destination.
L'architecture et les paramètres ne sont que la voiture. Vous pouvez remplacer la voiture par une Ferrari ou une Honda pour rendre le trajet plus efficace ou moins cher, mais si vous mettez la mauvaise carte (les données) dans le GPS, vous finirez quand même au mauvais endroit.

En bref : Les données déterminent la destination ; tout le reste détermine seulement l'efficacité avec laquelle vous y arrivez.

Résumé technique : Les LLM à l'épreuve : les données déterminent les lois d'échelle perte-à-perte

Énoncé du problème

Les lois d'échelle ont traditionnellement guidé le développement des grands modèles de langage (LLM) en estimant l'équilibre optimal entre la taille du modèle, le nombre de jetons et le budget de calcul (mesuré en FLOPs) afin de minimiser la perte d'entraînement ou de validation. Cependant, ces lois « calcul-à-perte » ne prédisent pas de manière fiable les performances sur les tâches en aval. Alors que des travaux récents ont introduit des lois d'échelle « perte-à-perte » — des relations entre la perte d'entraînement/validation et la perte de test en aval — pour mieux comprendre la généralisation, les études existantes sont largement confinées à des configurations architecturales ou d'entraînement uniques. Par conséquent, il reste unclear quels facteurs (par exemple, l'architecture, le tokenizer, la taille du modèle, les paramètres d'optimisation) influencent causalement la forme et la transférabilité de ces tendances d'échelle perte-à-perte.

Méthodologie

Les auteurs mènent une analyse causale à grande échelle impliquant plus de 6 000 points de contrôle de modèles pour investiguer les facteurs qui pilotent l'échelle perte-à-perte. Leur approche étend les travaux antérieurs (Brandfonbrener et al., 2024 ; Du et al., 2025) en intervenant systématiquement sur plusieurs variables à travers des architectures et des configurations d'entraînement diversifiées.

Configuration expérimentale :

Architectures : L'étude compare des modèles basés sur Transformer (Llama-3, variantes GPT) avec des modèles à espace d'état (Mamba, Mamba2).
Ensembles de données : Les modèles sont entraînés sur divers corpus de préentraînement, notamment FineWeb-Edu, C4, The Pile (versions originale, dédupliquée et sans droits d'auteur) et RefinedWeb.
Tokenizers : Des comparaisons sont établies entre les tokenizers tiktoken (vocabulaire de 128k) et gpt2/gpt-neox (vocabulaire d'environ 50k).
Interventions : Les auteurs réalisent des études d'ablation sur :
- La distribution des données de préentraînement.
- Le choix du tokenizer.
- L'architecture du modèle (Transformer vs Espace d'état).
- La taille du modèle (variation de la profondeur et de la largeur).
- La longueur de contexte (1024, 2048, 3076 jetons).
- Les paramètres d'optimisation (Adam vs AdamW, taux d'apprentissage, décroissance des poids et programmes de taux d'apprentissage tels que Cosine et WSD).
Évaluation : Les performances sont mesurées à l'aide de la perte sur des tâches en aval (par exemple, HellaSwag, ARC, MMLU) et des ensembles de validation. Pour assurer une comparaison équitable entre les tokenizers, la perte est normalisée en bits par octet (BPB).
Modélisation : Les auteurs ajustent des lois de puissance décalées aux données, suivant la formulation :
$L_y \approx K \cdot (L_x - E_{x|p})^\kappa + E_{y|p}$
où $L_x$ et $L_y$ sont les pertes sur différents ensembles de données, et $E$ représente l'erreur irréductible.

Contributions et résultats clés

1. L'échelle perte-à-perte suit des lois de puissance décalées

À travers toutes les architectures, les ensembles de données et les configurations d'entraînement, la relation entre la perte d'entraînement/validation et la perte de test en aval suit systématiquement une loi de puissance décalée. Cela reste vrai même pour des ensembles de données où le modèle n'atteint jamais une haute précision (par exemple, Mamba sur ARC-Challenge), confirmant la robustesse de l'échelle perte-à-perte en tant que métrique du comportement de généralisation.

2. Les données de préentraînement sont le facteur dominant

La découverte la plus significative est que la distribution des données de préentraînement est le déterminant principal de la tendance d'échelle perte-à-perte.

Changer l'ensemble de données de préentraînement (par exemple, de FineWeb-Edu à C4 ou The Pile) entraîne des déplacements substantiels de la courbe d'échelle.
Même des changements subtils, comme la déduplication de The Pile, modifient la distribution sous-jacente suffisamment pour déplacer la loi d'échelle.
Cela implique que le « biais inductif » gouvernant la généralisation est largement encodé dans la distribution des données plutôt que dans l'architecture du modèle.

3. L'architecture, le tokenizer et les hyperparamètres ont un impact négligeable

Contrairement aux données, d'autres choix de conception ont un effet minimal à nul sur la tendance d'échelle :

Architecture : Des modèles avec des biais inductifs fondamentalement différents, tels que les Transformers (Llama) et les modèles à espace d'état (Mamba), présentent des courbes d'échelle perte-à-perte presque identiques lorsqu'ils sont entraînés sur les mêmes données et le même tokenizer.
Tokenizer : Changer le tokenizer (par exemple, tiktoken vs gpt2) ne produit que de légères variations dans les courbes d'échelle, à condition que la perte soit normalisée par octet.
Taille du modèle et longueur de contexte : Varier le nombre de paramètres (de ~60M à ~2,8B) et les longueurs de contexte (1024 à 3076) ne modifie pas de manière significative la relation d'échelle.
Optimisation : Les changements d'optimiseurs (Adam/AdamW), de taux d'apprentissage, de décroissance des poids et de programmes n'affectent pas les coefficients d'échelle.

4. Généralisation point par point

L'étude démontre que si deux configurations d'entraînement distinctes (par exemple, différentes architectures ou tailles) atteignent des pertes d'entraînement similaires sur les mêmes données de préentraînement, elles présenteront des performances de test en aval très proches. Cela suggère que les architectures actuelles de LLM peuvent converger vers des solutions similaires étant donné les mêmes données, partageant efficacement des biais inductifs similaires concernant la généralisation.

Importance et affirmations

L'article soutient que l'accent mis par le domaine sur l'innovation architecturale pour améliorer la généralisation pourrait être mal placé. Au contraire, les auteurs affirment que la curation des données est le moteur principal des performances et de la robustesse en aval.

Pour les praticiens : Les résultats suggèrent que les praticiens devraient prioriser la curation soignée des ensembles de données de préentraînement pour optimiser les performances en aval. Une fois un ensemble de données de haute qualité sélectionné, les architectures et les paramètres d'entraînement peuvent être librement optimisés pour l'efficacité de l'entraînement (par exemple, choisir des architectures plus rapides comme Mamba ou ajuster les hyperparamètres) sans craindre d'impacter négativement la généralisation en aval.
Implication théorique : Les résultats remettent en cause la notion selon laquelle différentes architectures encodent des biais inductifs distincts concernant la généralisation. Ils suggèrent plutôt que la distribution des données dicte le comportement de généralisation, tandis que les architectures servent principalement d'approximateurs de fonctions efficaces pour ces données.

Les auteurs maintiennent une stance modeste, reconnaissant que leurs conclusions sont basées sur les paramètres spécifiques explorés (fonctions de perte standard, entraînement conventionnel). Ils notent que des paradigmes d'entraînement innovants (par exemple, croissance structurée ou fonctions de perte différentes) pourraient encore induire de nouveaux comportements d'échelle, mais dans les limites des meilleures pratiques actuelles, les données restent le facteur décisif.