Résumé technique : Une leçon amère pour le filtrage des données

Énoncé du problème

Le paradigme standard pour le préentraînement des grands modèles de langage (LLM) repose sur un filtrage rigoureux des données, où le texte provenant de sources comme Common Crawl (CC) est sélectionné pour ne conserver que des sous-ensembles « de haute qualité ». Bien que cette approche soit largement considérée comme essentielle, en particulier dans des régimes contraints par la puissance de calcul, elle entre en conflit avec les lois d'échelle suggérant que les performances s'améliorent avec des volumes de données toujours croissants. Le filtrage réduit drastiquement le budget de tokens disponible (par exemple, DCLM-Baseline ne conserve qu'environ 1 % de CC), limitant potentiellement les performances des modèles entraînés dans des conditions de forte puissance de calcul mais de pénurie de données.

Ce papier examine l'hypothèse selon laquelle le filtrage des données est nécessaire à la limite d'une puissance de calcul élevée. Plus précisément, il s'interroge sur la possibilité qu'un entraînement direct sur l'ensemble complet et non filtré de Common Crawl finisse par surpasser l'entraînement sur des sous-ensembles soigneusement sélectionnés et filtrés, lorsque les modèles sont suffisamment grands et entraînés suffisamment longtemps.

Méthodologie

Les auteurs mènent une étude systématique d'échelle pour évaluer la performance optimale ($L^\star$) réalisable sur différents jeux de données, définie comme la perte minimale atteignable en faisant varier la taille du modèle ($M$) et le nombre d'étapes d'entraînement ($N$) sans contraintes de calcul.

1. Configuration expérimentale :

   • Jeux de données : Le jeu de données principal est un sous-ensemble de 240 billions de tokens de Common Crawl (DCLM-Pool). Les auteurs créent des sous-ensembles allant de 670 millions à 10 milliards de tokens.
   • Filtres : Ils comparent le pool non filtré à cinq variantes filtrées :
     • Filtre anglais : Supprime le texte non anglais.
     • Filtre de répétition : Supprime les documents présentant une répétition excessive.
     • Filtre de mots vides : Assure la présence de mots vides anglais courants.
     • RefinedWeb : Une combinaison des précédents plus des filtres similaires.
     • DCLM-Baseline : Un pipeline fortement filtré conservant environ 2,1 % des données originales.
   • Modèles : Transformers de type Llama denses allant de 15 millions à 7 milliards de paramètres.
   • Métriques : Les métriques principales sont la négativité de la vraisemblance moyenne (NLL) sur C4, Fineweb-Edu et Cosmopedia. Des benchmarks en aval (ARC-Easy, PIQA, SocialIQA) sont également évalués.

2. Stratégie d'échelle :

   • L'étude fait varier à la fois la taille du modèle et le nombre d'étapes d'entraînement (incluant plusieurs époques) pour observer le « point de croisement » où le pool non filtré surpasse les jeux de données filtrés.
   • Ils introduisent des expériences de « données inutiles » en injectant des chaînes générées aléatoirement et des documents à mots mélangés dans le pool d'entraînement pour tester la robustesse du modèle face au bruit.
   • Des lois d'échelle sont dérivées pour prédire le seuil de calcul (en FLOPs) requis pour que le pool non filtré devienne optimal pour des tailles de pool spécifiques.

3. Analyse théorique :

   • Le papier présente un modèle théorique basé sur la factorisation de matrices de faible rang avec des entrées orthogonales. Ce modèle démontre que si le rang (capacité) d'un modèle est suffisant pour couvrir le nombre de tâches distinctes (ou de distributions de données), il peut représenter optimalement le problème de prédiction sans interférence de tâches « bruyantes ». À l'inverse, les modèles plus petits souffrent d'interférences.

Résultats clés

1. L'avantage « Sans filtre » à grande échelle

La découverte centrale est que le pool complet de Common Crawl non filtré finit par surpasser toutes les variantes filtrées lorsque les modèles sont suffisamment grands et entraînés suffisamment longtemps.

• Petits modèles : Dans des régimes de faible puissance de calcul (petits modèles, peu d'étapes), les jeux de données filtrés (comme DCLM-Baseline) produisent souvent une perte plus faible.
• Grands modèles : À mesure que la taille du modèle augmente (par exemple, de 330 millions à 1 milliard de paramètres), l'écart de performance se réduit et s'inverse. Le pool non filtré atteint la perte la plus faible (par exemple, 3,37 NLL sur le modèle de 1 milliard), dépassant même les filtres les plus agressifs.
• Frontière de Pareto : Lorsqu'on trace la perte par rapport au calcul (FLOPs), le pool non filtré passe du statut de jeu de données le moins performant à celui de meilleur à mesure que le calcul augmente. Notamment, certains jeux de données filtrés (comme ceux filtrés uniquement pour la répétition) n'apparaissent jamais sur la frontière de Pareto ; il existe toujours un meilleur jeu de données à tout niveau de calcul donné.

2. Robustesse aux données « inutiles »

L'étude teste les limites de la robustesse du modèle en injectant des données de mauvaise qualité :

• Chaînes aléatoires : Les modèles entraînés sur un mélange de CC et de chaînes générées aléatoirement (jusqu'à 200 % de la taille du pool) finissent par égaler les performances du pool propre à mesure que la taille du modèle augmente.
• Mots mélangés : De manière surprenante, les modèles entraînés sur des documents dont l'ordre des mots est mélangé (ne préservant que les distributions d'unigrammes) non seulement récupèrent leurs performances, mais, dans certains cas (modèles de 330 millions+), surpassent le pool non filtré après un nombre suffisant d'étapes d'entraînement. Cela suggère que les grands modèles peuvent extraire un signal utile (par exemple, des statistiques de co-occurrence) même à partir de structures de données fortement dégradées.

3. Lois d'échelle et seuils de calcul

Les auteurs dérivent des lois d'échelle pour prédire quand le pool non filtré devient optimal pour le pool complet de 240 billions de tokens DCLM-Pool.

• Le nombre d'étapes d'entraînement (époques) requis pour que le pool non filtré batte RefinedWeb croît de manière super-linéaire avec la taille du pool.
• Cependant, le calcul requis pour ce croisement est hautement linéaire. Les auteurs estiment que pour le pool complet de 240T de tokens, l'approche non filtrée devient optimale à environ $10^{30}$ FLOPs. Bien que cela dépasse les estimations actuelles de pointe (~$5 \times 10^{26}$ FLOPs), cela reste dans le domaine des projections à court terme (par exemple, $10^{29}$ FLOPs d'ici 2030).

4. Dégradation du modèle et factualité

• Changement de distribution : Bien que les modèles soient robustes aux mots mélangés en termes de perte moyenne, ils montrent une dégradation sur le tout premier token d'un document (où le changement de distribution est le plus aigu). Cependant, les auteurs soutiennent que cela est négligeable pour la plupart des cas d'usage impliquant des contextes plus longs.
• Factualité : Une analyse préliminaire des documents liés à MMLU dans CC suggère que le contenu activement nuisible et non factuel (par exemple, les théories du complot réfutant des faits établis) est relativement rare par rapport au contenu de soutien ou neutre. L'analyse théorique suggère que le filtrage n'est bénéfique que si le « bruit » est très prévalent et que le filtre a un rapport élevé de vrais positifs sur faux positifs, ce qui pourrait ne pas s'appliquer à la large distribution de CC.

Signification et affirmations

Le papier soutient que le filtrage des données pourrait souffrir de la « leçon amère » (Sutton, 2019) : les heuristiques conçues par l'homme qui fonctionnent bien à petite échelle sont éventuellement supplantées par des approches simples et évolutives qui exploitent l'augmentation de la puissance de calcul.

• Rejet de la nécessité du filtrage : Les auteurs rejettent l'hypothèse selon laquelle le filtrage des données est strictement nécessaire. Ils apportent la preuve qu'aucun filtre existant n'est susceptible d'améliorer l'entraînement direct sur Common Crawl, étant donné suffisamment de calcul et de capacité de modèle.
• Robustesse des grands modèles : Les modèles suffisamment grands sont hautement robustes aux données non pertinentes ou « inutiles » et peuvent extraire des informations utiles de sources bruyantes, y compris des textes mélangés.
• Implications futures : Bien que le filtrage reste important dans les régimes actuels contraints par la puissance de calcul, le papier suggère que, à mesure que les budgets de calcul évoluent vers $10^{30}$ FLOPs, la stratégie optimale pourrait se déplacer vers l'utilisation du pool de données complet et non filtré, rendant obsolètes les pipelines de curation complexes.

Les auteurs concluent que, bien que des données nuisibles (par exemple, du contenu non factuel imitant du texte de haute qualité) puissent théoriquement exister, elles ne sont pas assez prévalentes dans Common Crawl pour justifier la perte massive de données entraînée par un filtrage agressif, surtout lorsque l'alternative consiste simplement à entraîner des modèles plus grands pendant plus longtemps.