💬 NLP

InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition

L'article présente InfoLaw, un nouveau cadre d'adaptation sensible aux données qui modélise le préentraînement comme une accumulation d'informations afin de prédire avec précision les performances des grands modèles de langage à travers divers mélanges de données, pondérations de qualité et niveaux de répétition, permettant ainsi de sélectionner la recette de données optimale même dans des régimes de surapprentissage ou de données limitées.

Auteurs originaux : Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Gros Problème : Trop de bonnes choses ?

Imaginez que vous essayez d'enseigner à un élève (l'IA) à bien écrire. Vous possédez une immense bibliothèque de livres, mais seuls quelques-uns sont de véritables classiques de haute qualité. Le reste est médiocre ou simplement correct.

Par le passé, les chercheurs pensaient que la meilleure stratégie consistait à uniquement donner à l'élève les classiques de haute qualité. Mais il y a un piège : il n'y a pas assez de classiques pour remplir tout le programme d'études de l'élève. Si vous forcez l'élève à relire les mêmes 100 classiques encore et encore pour combler le temps, il finit par s'ennuyer, commence à répéter les mêmes phrases, et ses performances se dégradent réellement. C'est ce qu'on appelle la « répétition ».

D'un autre côté, si vous mélangez des livres de qualité inférieure pour combler le temps, l'élève apprend plus de variété, mais il risque d'adopter de mauvaises habitudes.

La grande question est : Quelle proportion des livres de haute qualité devons-nous répéter, et quelle proportion de livres de qualité inférieure devons-nous mélanger ?

L'Ancienne Méthode : Deviner avec une Carte Cassée

Auparavant, les scientifiques utilisaient des « Lois d'Échelle » pour prédire les performances d'une IA. Imaginez ces lois comme une carte indiquant : « Si vous étudiez 10 heures, vous obtenez un B ; si vous étudiez 100 heures, vous obtenez un A. »

Cependant, le document soutient que cette vieille carte devient inutilisable lorsque vous commencez à répéter les mêmes données de haute qualité.

Le Défaut : L'ancienne carte suppose que plus de temps d'étude équivaut toujours à de meilleures notes. Elle ne prend pas en compte le fait que relire le même livre 50 fois cesse d'être utile après les 5 premières lectures.
Le Résultat : Lorsque les chercheurs ont tenté d'utiliser l'ancienne carte pour prédire les performances d'une IA géante, la carte était excessivement optimiste. Elle prédisait que l'IA obtiendrait des scores parfaits, mais en réalité, l'IA se perdait et performait mal car elle était coincée dans une boucle de répétition.

La Nouvelle Solution : « InfoLaw » (Le Thermomètre de l'Information)

Les auteurs introduisent un nouveau cadre appelé InfoLaw. Au lieu de simplement compter « combien d'heures » l'IA a étudiées (ou combien de tokens elle a vus), InfoLaw mesure « combien de nouvelles informations » l'IA a réellement apprises.

Voici comment ils l'ont construit :

Les Seaux de la Bibliothèque : Ils ont trié leur immense bibliothèque de textes en 6 seaux basés sur la qualité (de « Or » à « Déchets »).
La Recette de Mélange : Ils ont créé différentes « recettes » pour l'entraînement. Certaines recettes étaient composées à 80 % de livres en Or (avec beaucoup de répétition), tandis que d'autres étaient un mélange de livres en Or et en Argent (moins de répétition).
La Découverte : Ils ont constaté que l'apprentissage de l'IA suit un schéma spécifique :
- Densité de Qualité : Les livres de haute qualité offrent un énorme « boost d'information » la première fois que vous les lisez.
- Le Rendement Décroissant : Chaque fois que vous relisez un livre, le boost devient de plus en plus petit, comme une batterie qui se vide. Finalement, le relire ajoute presque aucune valeur.
- La Formule : Ils ont créé une formule mathématique qui calcule l'« Information » totale absorbée par l'IA en combinant la qualité des livres et le nombre de fois où ils ont été répétés.

Le Résultat Magique : Une Seule Ligne Droite

La partie la plus impressionnante du document est ce qui s'est produit lorsqu'ils ont tracé leurs résultats en utilisant cette nouvelle métrique « Information » au lieu de simplement « Temps Passé ».

Avant : Lorsqu'ils ont tracé les résultats basés sur le temps, les points de données étaient éparpillés partout. Une recette avec une forte répétition ressemblait totalement à une recette avec une faible répétition.
Après : Lorsqu'ils ont tracé les résultats basés sur l'Information, tous les points éparpillés se sont effondrés en une seule ligne droite parfaite.

Cela signifie que quelle que soit la « recette » utilisée (haute qualité avec répétition, ou qualité mixte), si vous connaissez l'« Information » totale absorbée par l'IA, vous pouvez prédire parfaitement ses performances.

Que Peut-On Faire Avec Cela ?

Grâce à cette ligne droite parfaite (l'InfoLaw), ils peuvent maintenant faire deux choses très utiles sans avoir à dépenser des millions de dollars pour entraîner d'abord des modèles géants :

Prédire l'Avenir : Ils peuvent entraîner un modèle minuscule et peu coûteux (comme un modèle de 250 millions de paramètres) avec une recette spécifique. En utilisant l'InfoLaw, ils peuvent prédire avec précision exactement comment un modèle massif de 7 milliards de paramètres se comporterait avec cette même recette.
Trouver la Recette Parfaite : Ils peuvent utiliser la formule pour calculer le « mélange optimal ». Ils ont découvert que :
- Les petits modèles (ou les petits budgets) doivent se concentrer fortement sur les données de la plus haute qualité, même si cela signifie les répéter un peu.
- Les grands modèles (ou les gros budgets) bénéficient davantage de la variété. Ils devraient mélanger plus de données de qualité inférieure pour éviter l'« ennui » de la répétition.

Analogie de Résumé

Pensez à entraîner une IA comme à préparer un ragoût.

Ancienne Méthode : Vous mesurez simplement combien de temps la marmite mijote. Vous supposez que 10 heures sont toujours mieux qu'1 heure. Mais si vous continuez à ajouter les mêmes 3 pommes de terre encore et encore, le ragoût devient bizarre et trop salé (la répétition nuit).
InfoLaw : Cette méthode mesure le véritable goût extrait des ingrédients. Elle sait que la première heure de mijotage extrait 90 % du goût de la pomme de terre, mais que la 10e heure n'en extrait presque rien.
Le Bénéfice : Maintenant, au lieu de deviner combien de sel et combien de pommes de terre ajouter pour une énorme marmite de ragoût, vous pouvez utiliser la « Formule du Goût » pour calculer instantanément la recette parfaite, vous évitant de gaspiller ingrédients et temps.

L'Essentiel : Le document prouve que pour entraîner de meilleures IA, nous ne devrions pas seulement regarder la quantité de données que nous utilisons, mais combien de nouvelles informations ces données fournissent, surtout lorsque nous sommes contraints de répéter des données de haute qualité. Cela nous permet de prédire les performances avec précision et de choisir le meilleur mélange de données pour n'importe quelle taille d'IA.

Résumé Technique : InfoLaw

Énoncé du Problème

L'entraînement des grands modèles de langage (LLM) est de plus en plus contraint par la rareté des données de haute qualité. Bien que la surpondération des données de haute qualité lors de la préformation améliore généralement les performances, les régimes contraints par les données nécessitent la répétition de ces échantillons. La littérature existante indique qu'une répétition excessive entraîne des rendements décroissants et une dégradation potentielle des performances. De plus, les lois d'échelle standard, qui relient généralement la perte du modèle au calcul ou au nombre de jetons, ne parviennent pas à extrapoler de manière fiable à travers différentes recettes de mélange de données ou dans des conditions de répétition. Cet échec rend la sélection de recettes de données optimales à grande échelle sous-déterminée, nécessitant souvent des recherches par grille coûteuses sur les configurations de données.

Méthodologie

L'article introduit InfoLaw (Lois d'Échelle de l'Information), un cadre d'échelle conscient des données conçu pour prédire la perte du modèle en fonction des jetons consommés, de la taille du modèle, des poids du mélange de données et des niveaux de répétition. La prémisse théorique centrale consiste à modéliser la préformation comme un processus d'accumulation d'information où :

La qualité contrôle la densité d'information : Les données de plus haute qualité contribuent davantage d'information par jeton.
La répétition induit des rendements décroissants dépendants de l'échelle : L'exposition répétée produit des gains d'information progressivement plus faibles.

Le Cadre InfoLaw

Le cadre définit une métrique appelée Information ($info$), qui agrège les connaissances apprises à partir d'un corpus d'entraînement. Le calcul implique :

Densité de Qualité ( $f_d$ ) : Une fonction paramétrée où les buckets de qualité supérieure (indice $d$ plus faible) se voient attribuer une densité d'information plus élevée. L'article ajuste une fonction de décroissance exponentielle $f_d(\theta) = e^{-\theta \cdot d}$ .
Décroissance du Taux d'Apprentissage ( $\lambda(N)$ ) : Un paramètre de taux dépendant des FLOPs non d'embedding par jeton du modèle ( $N$ ). L'article modélise cette relation comme une fonction logarithmique $\lambda(N) = a \cdot \ln(N) + b$ , capturant la saturation de la capacité d'apprentissage à mesure que l'échelle du modèle augmente.
Facteur de Répétition ( $R_d$ ) : Le nombre moyen de fois où les jetons d'un bucket de qualité spécifique sont vus, calculé en fonction du nombre de jetons cible ( $K$ ), du nombre de jetons source ( $S$ ) et des poids du mélange ( $w$ ).

L'information totale apprise est formulée comme suit :
$info = \sum_{d} f_d M_d \log(K) \left(1 - e^{-\lambda(N) R_d / \log(K)}\right)$
où $M_d$ est le nombre de jetons uniques dans le bucket $d$ .

Enfin, le cadre établit une relation en loi de puissance entre la perte de validation du modèle ( $L$ ) et l'Information calculée :
$L = \alpha \cdot info^{-\beta}$

Configuration Expérimentale

Pour ajuster les paramètres d'InfoLaw, les auteurs ont construit un ensemble de données variant selon trois axes : l'échelle, la distribution de qualité et le niveau de répétition.

Source de Données : 3,7 billions de jetons anglais provenant de Common Crawl, partitionnés en six buckets de qualité basés sur les scores d'un classificateur.
Échantillonnage : Une fonction d'échantillonnage "LayerMix" a été utilisée pour construire des ensembles d'entraînement avec des poids de mélange ( $w$ ) et des niveaux de répétition variables (en ajustant la taille source $S$ par rapport à la taille cible $K$ ).
Entraînement : 9 modèles allant de 252 millions à 1,2 milliard de paramètres ont été entraînés à partir de zéro sous un ratio de sur-entraînement de 3,6x.
Évaluation : Les performances ont été mesurées comme la perplexité moyenne sur cinq tâches en aval (HellaSwag, ARC-E/ARC-C, MMLU, TriviaQA).

Contributions Clés

Identification de l'Échec des Lois d'Échelle : L'article démontre que les lois d'échelle traditionnelles (Perte vs Calcul) extrapolent systématiquement de manière erronée sous répétition de données, produisant des prédictions excessivement optimistes pour les modèles plus grands.
La Formulation InfoLaw : Un cadre novateur qui unifie des recettes de données diverses et des échelles de modèles sur une seule courbe en loi de puissance en remplaçant le "Calcul" par une métrique d'"Information consciente de la Qualité et de la Répétition".
Ajustement et Validation des Paramètres : Les auteurs ajustent les paramètres de densité de qualité et de décroissance de l'apprentissage en utilisant des expériences à petite échelle (252M–1,2B) et valident la capacité du cadre à prédire les performances sur des recettes de données non vues et des échelles de modèles plus grandes (jusqu'à des modèles de 7B entraînés sur 425 milliards de jetons).

Résultats

Précision de Prédiction : InfoLaw prédit la perte de validation sur des recettes de données non vues et des échelles plus grandes (jusqu'à des modèles de 7B) avec une erreur absolue moyenne de 0,15% et une erreur absolue maximale de 0,96%.
Capacités d'Extrapolation :
- Recettes Non Vues : Le modèle prédit avec précision la perte pour des poids de mélange non observés pendant l'entraînement (par exemple, MLQ, MHQ).
- Échelles Plus Grandes : Les prédictions tiennent pour des modèles jusqu'à 7 milliards de paramètres, surpassant significativement les lois d'échelle traditionnelles qui divergent à des budgets de calcul plus élevés.
- Sur-Entraînement Plus Élevé : Le cadre extrapole avec succès à un régime de sur-entraînement de 25x, le degré de sur-entraînement déplaçant principalement l'intercept de la courbe plutôt que d'en altérer la forme.
Optimisation : En utilisant l'InfoLaw ajustée, les auteurs ont recherché une recette de données optimale pour un modèle de 2,5 milliards de paramètres sans exécutions d'entraînement supplémentaires. La recette identifiée a surpassé quatre baselines échantillonnées aléatoirement.
Tendances Générales : L'analyse révèle que les modèles plus petits ou les budgets d'entraînement plus faibles privilégient les données de haute qualité, tandis que les modèles plus grands ou les budgets plus importants bénéficient davantage de la diversité des données (allouant une fraction plus faible au bucket de qualité la plus élevée).

Signification et Revendications

L'article revendique qu'InfoLaw fournit un outil fiable pour sélectionner des recettes de données sous des budgets de calcul variables, éliminant le besoin d'expériences extensives par essais et erreurs. En modélisant avec précision l'interdépendance entre la qualité des données, la répétition et l'échelle du modèle, le cadre permet des stratégies de préformation efficaces dans les régimes contraints par les données. Les auteurs affirment que leur méthode offre une alternative plus robuste aux lois d'échelle traditionnelles pour prédire les performances dans des scénarios impliquant des mélanges pondérés par la qualité et la répétition, facilitant la découverte de configurations de données optimales pour des modèles allant de centaines de millions à des milliards de paramètres.

L'article conclut que si le bucketing actuel des données repose sur des heuristiques empiriques et que l'explication théorique des déplacements liés au sur-entraînement reste une question ouverte, InfoLaw capture efficacement les compromis fondamentaux dans l'échelle des LLM, offrant une voie pratique vers une utilisation plus efficace des données.