💻 computer science

The Limits of Training Data Size in Foundation Models: An Empirical Analysis of Quality Filtering under a Fixed Token Pool

À travers des expériences empiriques sur un pool fixe de 24 millions de tokens, cet article démontre qu'un filtrage de qualité agressif sous un budget de calcul fixe nuit souvent à la performance du modèle en imposant une répétition excessive des données, tandis que le maintien de données de moindre qualité et le suréchantillonnage de sous-ensembles de haute qualité produisent des résultats supérieurs ou équivalents à travers diverses cibles.

Auteurs originaux : Alexander Memming

Publié 2026-07-28

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexander Memming

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot super intelligent à parler le langage humain. Pour ce faire, vous devez le nourrir avec une bibliothèque massive de textes : des livres, des sites web, des articles, et plus encore. Pendant longtemps, les scientifiques ont pensé que la seule chose qui importait était la quantité de texte que l'on pouvait donner au robot. Plus la bibliothèque était grande, plus le robot devenait intelligent. Cette idée est appelée « mise à l'échelle » (scaling), et c'est la raison pour laquelle nos assistants IA sont si performants aujourd'hui.

Mais il y a un piège. Tous les textes ne se valent pas. Certaines pages sont remplies de non-sens, de spam ou de charabia, tandis que d'autres sont écrites par des experts et regorgent d'informations utiles. Alors, les chercheurs ont commencé à se demander : « Devrions-nous jeter les mauvaises choses et ne donner au robot que les meilleurs livres ? » C'est ce qu'on appelle le « filtrage de qualité ». Cependant, il existe une deuxième règle dans ce jeu : le robot apprend mieux lorsqu'il voit des informations fraîches. Si vous le faites lire les mêmes quelques pages encore et encore, il arrête d'apprendre et commence simplement à mémoriser. Cette étude explore un équilibre délicat : si vous jetez le mauvais texte, vous avez moins de pages à lire, ce qui signifie que le robot doit lire les bonnes pages plus souvent. Le fait d'avoir moins de pages, mais de meilleure qualité, aide-t-il le robot, ou finit-il par s'ennuyer et s'embrouiller en lisant trop souvent la même chose ?

L'expérience de la Grande Bibliothèque

Dans cette étude, un chercheur nommé Alexander Memming a mis en place une expérience ingénieuse pour résoudre ce casse-tête. Il n'a pas utilisé l'intégralité d'Internet (ce qui est trop vaste pour être testé facilement). Au lieu de cela, il a construit un « pool fixe » d'environ 24 millions de mots — une petite tranche gérable du web. Il a ensuite donné ce même ensemble de mots à plusieurs petits modèles d'IA, mais il a changé les règles pour chacun d'eux.

Pour certains modèles, il a gardé tous les mots. Pour d'autres, il a agi comme un bibliothécaire strict et a jeté la moitié inférieure, le quart, le huitième ou même seulement le seizième supérieur des mots, ne gardant que ceux que l'ordinateur jugeait être de « haute qualité ». Il a également essayé une troisième approche : au lieu de jeter quoi que ce soit, il a gardé toute la bibliothèque mais a dit au robot de lire les « meilleures » pages beaucoup plus de fois que les pages « moyennes ».

Il a ensuite testé ces robots sur trois choses différentes :

Le Web Brut : Un mélange de tout, tout comme la bibliothèque sur laquelle ils ont été entraînés.
Le Texte « Edu » : Des pages éducatives de haute qualité (le genre de pages que le robot a appris à adorer).
WikiText : Un ensemble complètement différent d'articles d'encyclopédie que le robot n'avait jamais vus auparavant.

Les résultats surprenants

Les résultats ont été semblables à des montagnes russes, et ils ont changé les règles du jeu de trois manières importantes.

1. Cela dépend de votre interlocuteur
La plus grande surprise est que le « filtrage de qualité » ne rend pas toujours le robot plus intelligent. Cela dépend entièrement de ce que vous voulez que le robot fasse.

Si vous voulez que le robot comprenne l'internet réel et désordonné : Jeter le « mauvais » texte a réellement nu au robot. Plus le chercheur a filtré, moins le robot était performant. C'est comme essayer d'apprendre à conduire en ville en ne pratiquant que sur une piste parfaite et vide. Quand vous vous retrouvez enfin dans les vraies rues avec des nids-de-poule et du trafic, vous vous écrasez. Le robot entraîné sur des données filtrées ne pouvait pas gérer la réalité désordonnée du web.
Si vous voulez que le robot soit un expert sur des sujets de haute qualité : Le filtrage a aidé un peu. Si l'objectif est de parler comme un érudit ou une encyclopédie, ne garder que les meilleures pages a rendu le robot légèrement meilleur.

2. Plus vous vous entraînez, moins vous devriez filtrer
Voici la leçon la plus importante : la taille de votre budget change la meilleure stratégie.
Imaginez que vous ayez une petite allocation (un petit budget d'entraînement). Vous pourriez être tenté de n'acheter que les jouets les plus chers et de haute qualité. Mais si vous avez une énorme allocation (un budget massif), acheter uniquement les jouets coûteux signifie que vous allez épuiser les nouveaux jouets très rapidement. Vous finissez par jouer avec le même jouet coûteux encore et encore jusqu'à ce que vous vous ennuyiez.
L'étude a montré qu'à mesure que le budget d'entraînement augmentait, la « meilleure » stratégie changeait. Au début, ne garder que le top 1/16e des données semblait correct. Mais à mesure que le robot était entraîné plus longtemps (lisant les données 8,2 fois au lieu de 4,1 fois), cette minuscule bibliothèque filtrée est devenue un désastre. Le robot s'est ennuyé et a commencé à faire des erreurs. La meilleure stratégie pour un gros budget s'est avérée être de garder plus de données, même les parties désordonnées, afin que le robot puisse continuer à voir des choses nouvelles.

3. Ne le jetez pas, lisez-le simplement plus souvent
Le chercheur a également comparé le fait de « jeter » le mauvais texte par rapport à « lire le bon texte plus souvent ».

La méthode « Jeter » : Vous supprimez les pages de faible qualité.
La méthode « Lire plus » : Vous gardez toutes les pages, mais vous dites au robot : « Hé, lis ces meilleures pages 16 fois, mais ne lis les pages du bas qu'une seule fois. »

Lorsque le chercheur a été très agressif (en ne gardant que le top 1/16e), la méthode « Lire plus » a gagné par une large marge. Elle était jusqu'à 0,39 nat (une unité de mesure de la capacité du robot à prédire le mot suivant) meilleure que la méthode « Jeter ».
Voyez les choses ainsi : si vous avez une chanson préférée, vous pouvez soit supprimer toutes les autres chansons de votre playlist et écouter celle-ci 16 fois (Jeter), soit garder toute votre playlist mais faire en sorte que votre chanson préférée passe 16 fois plus souvent (Lire plus). La deuxième méthode est meilleure car vous avez toujours les autres chansons en arrière-plan pour rendre les choses intéressantes, et vous ne perdez pas la variété unique de la bibliothèque complète.

L'essentiel à retenir

Ce document ne dit pas qu'il faut arrêter d'essayer de rendre l'IA plus intelligente. Il nous avertit plutôt que nous ne pouvons pas simplement jeter aveuglément les « mauvaises » données.

Ne filtrez pas si vous voulez comprendre le monde réel : Si vous voulez une IA qui comprenne l'internet désordonné, gardez les données désordonnées.
Ne filtrez pas trop si vous avez un gros budget : Si vous avez beaucoup de puissance de calcul, vous avez besoin d'une immense variété de données. Si vous filtrez trop strictement, vous forcez l'IA à se répéter, et cela l'empêche d'apprendre.
La répétition est préférable à la suppression : Si vous voulez vraiment vous concentrer sur les meilleures données, ne les supprimez pas. Assurez-vous simplement que l'IA voit les bonnes choses plus souvent que les mauvaises.

Cette étude a été réalisée sur de petits modèles et une petite tranche de données, nous ne pouvons donc pas affirmer avec certitude ce qui se passera avec les modèles d'IA géants du futur. Mais la leçon est claire : traiter la qualité des données et la quantité des données comme des choses distinctes est une erreur. Elles sont liées, et la meilleure façon d'entraîner une IA change en fonction du temps et de l'argent dont vous disposez.

Résumé technique : Les limites de la taille des données d'entraînement pour les modèles de fondation

Énoncé du problème
L'article traite d'une tension fondamentale dans le passage à l'échelle des modèles de fondation : le compromis entre la qualité et la quantité des données sous un budget d'entraînement fixe. Les estimations actuelles du « mur des données » (le point où le texte écrit par l'humain est épuisé) reposent sur deux multiplicateurs indépendants : la fraction du texte brut qui survit au filtrage de qualité, et le nombre de fois que les jetons survivants peuvent être utilement répétés. Les auteurs soutiennent que ces facteurs ne sont pas indépendants. Sur un pool de jetons uniques ( $U$ ) fixe, le filtrage à un taux de rétention $f$ améliore la qualité moyenne mais force le modèle à parcourir les données $1/f$ fois. Puisque les jetons répétés présentent des rendements décroissants (décroissance exponentielle de la valeur), un filtrage agressif convertit les jetons uniques en jetons répétés, ce qui peut engendrer un coût qui croît avec le budget d'entraînement ( $D$ ). La question empirique centrale est la suivante : étant donné un pool $U$ fixe et un budget $D$ , quelle fraction de rétention $f$ minimise la perte de validation, et comment cet optimum se déplace-t-il à mesure que le ratio $D/U$ augmente ?

Méthodologie
L'étude utilise un plan expérimental contrôlé pour isoler les effets du filtrage, de la rareté et de la répétition.

Pool de données : Un pool fixe de 24,0 millions de jetons dérivés du premier shard du jeu de données FineWeb.
Filtre de qualité : Les documents sont scorés à l'aide du classificateur FineWeb-Edu (une tête de régression linéaire sur un modèle d'embedding entraîné sur la « valeur éducative »).
Construction du corpus : Trois familles de corpus ont été construites à partir de ce pool fixe :
1. Filtré par qualité ( $f$ ) : La fraction supérieure $f$ des jetons selon le score du classificateur.
2. Sous-ensembles aléatoires ( $f$ ) : Jetons sélectionnés aléatoirement correspondant à la taille des ensembles filtrés par qualité (servant de contrôle pour la rareté).
3. Mélanges pondérés : Le pool complet est conservé, mais la tranche supérieure $f$ est suréchantillonnée $k=1/f$ fois (servant d'alternative « douce » au filtrage strict).
Configuration de l'entraînement : De petits transformeurs à décodeur uniquement (allant de 1,3 M à 16,9 M de paramètres) ont été entraînés sur ces corpus. La grille principale utilise un modèle de 7,34 M de paramètres.
Budgets : Des budgets d'entraînement de 6,1 M, 12,3 M et 24,6 M de jetons ont été utilisés, ce la résultant en des comptes de répétition allant de 0,26 à 16,4 passages sur les jetons uniques, selon la taille du corpus.
Évaluation : Les modèles ont été évalués sur trois ensembles de validation :
1. Web : Texte web brut (la distribution dont le pool est issu).
2. Edu : Texte web à haut score (chevauchant la cible du filtre).
3. WikiText-103 : Texte encyclopédique indépendant et organisé.
Robustesse : L'étude inclut des contrôles appariés, plusieurs tailles de modèles et des balayages d'hyperparamètres (taux d'apprentissage et décroissance des poids) pour garantir que les résultats ne sont pas des artefacts de recettes spécifiques.

Résultats clés
Les expériences produisent trois découvertes principales, toutes dépassant la bande de bruit de mesure de l'exécution (~0,055 nats par jeton) :

Dépendance à la cible : Le signe de l'effet de filtrage dépend entièrement de la cible d'évaluation.
- Sur la cible web brute, le filtrage n'aide jamais ; la perte augmente de manière monotone à mesure que le taux de rétention $f$ diminue. Un filtrage agressif (garder le top 1/16) coûte jusqu'à 0,44 nats par jeton par rapport au maintien de toutes les données.
- Sur les cibles de haute qualité (Edu et WikiText-103), le filtrage peut être sans conséquence ou légèrement bénéfique à bas budget, mais le bénéfice est faible et se situe souvent à la limite de la bande de bruit.
Dépendance au budget : Le taux de rétention optimal s'assouplit à mesure que le budget augmente.
- À mesure que le budget augmente, le coût de la répétition l'emporte sur le bénéfice de la qualité. Par exemple, sur WikiText-103, le corpus top-1/16 est marginalement meilleur que le pool non filtré à un budget de 6,1 M de jetons (4,1 passages), mais devient nettement moins bon à un budget de 12,3 M de jetons (8,2 passages). La fraction minimisant la perte se déplace vers la conservation de plus de données à mesure que $D/U$ augmente.
Filtrage strict vs Pondération : La méthode utilisée pour agir sur les scores de qualité importe.
- À des taux de rétention agressifs (ex. top 1/16), la pondération (garder toutes les données et suréchantillonner la tranche à haut score) surpasse strictement le filtrage strict (supprimer la tranche à bas score) sur toutes les cibles et tous les budgets. L'avantage de la pondération atteint jusqu'à 0,39 nats.
- À des taux de rétention modérés (ex. top 1/4), le filtrage strict et la pondération sont statistiquement indiscernables.
- Aléatoire vs Sélection : Sur les cibles de haute qualité, la sélection basée sur le score surpasse significativement les sous-ensembles aléatoires de même taille, indiquant que le classificateur capture un signal distributionnel réel. Cependant, sur la cible web brute, les sous-ensembles aléatoires performent presque aussi bien que le pool complet, suggérant que le dommage causé par le filtrage est principalement dû au changement de distribution plutôt qu'à la rareté.

Signification et affirmations
L'article ne prétend pas déterminer la stratégie de filtrage optimale pour les modèles de frontière à l'échelle de pointe (qui sont des ordres de grandeur plus grands). Il établit plutôt un mécanisme et un taux de change dans un régime spécifique.

Interdépendance des multiplicateurs : L'étude démontre que le « multiplicateur de qualité » (fraction survivant au filtrage) et le « multiplicateur de répétition » (époques) ne sont pas indépendants. Le filtrage réduit le nombre de jetons uniques, augmentant ainsi le nombre de répétitions pour un budget fixe. Traiter ces facteurs comme des variables indépendantes surestime systématiquement la valeur d'un corpus filtré.
Conseils pratiques : Les auteurs suggèrent que les seuils ajustés sur des régimes abondants en données (ablations à un seul passage) sont probablement sous-optimaux lorsque le pool est limitant. Ils recommandent :
- De définir les taux de rétention par rapport au budget spécifique, et non par rapport à la taille du corpus.
- D'utiliser la pondération plutôt que la suppression pour une concentration agressive sur les données de haute qualité.
- De vérifier si les résultats de filtrage se maintiennent à travers différentes distributions cibles, car un filtre ajusté pour une distribution peut être préjudiciable pour une autre.
Résultat négatif : Les auteurs rapportent qu'une conception avec seulement deux points de budget par corpus est insuffisante pour identifier séparément la constante de décroissance de la répétition ( $R^*_D$ ) pour les données filtrées et aléatoires, mettant en garde contre des études à grille mince similaires dans la littérature.

En conclusion, l'article soutient que sur un pool fixe, le filtrage agressif est une manière « perteuse » d'agir sur les scores de qualité par rapport à la pondération, et que la stratégie optimale tend vers la rétention de plus de données à mesure que le budget d'entraînement augmente.

L'expérience de la Grande Bibliothèque

Les résultats surprenants

L'essentiel à retenir

Résumé technique : Les limites de la taille des données d'entraînement pour les modèles de fondation

Articles similaires