🤖 machine learning

Internal Data Repetition Destroys Language Models

Cet article démontre que dans le paradigme de mise à l'échelle de l'ère Chinchilla, la répétition des données nuit systématiquement aux performances des modèles de langage en créant un pic de perte équivalent en calcul à un nombre de répétitions intermédiaire qui évolue avec la taille du modèle, un phénomène expliqué analytiquement comme un compromis statistique entre mémorisation et généralisation.

Auteurs originaux : Jessica Chudnovsky, Joshua Kazdan, Noam Levi, Rylan Schaeffer, Yegor Denisov-Blanch, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho

Publié 2026-06-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jessica Chudnovsky, Joshua Kazdan, Noam Levi, Rylan Schaeffer, Yegor Denisov-Blanch, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant (un Modèle de Langage) comment écrire des essais en lui donnant une immense bibliothèque de livres à lire. L'objectif est de le rendre aussi intelligent que possible en utilisant une quantité limitée de temps d'étude (puissance de calcul).

Cette publication étudie ce qui se passe lorsque cette bibliothèque n'est pas parfaite et contient des livres en double. Plus précisément, elle demande : Est-ce que cela importe si nous donnons le même livre deux fois à l'étudiant, ou le même livre 100 fois ?

Voici la décomposition de leurs conclusions en utilisant des analogies simples :

1. Le problème : L'effet « Chambre d'écho »

Par le passé, les chercheurs pensaient que si vous supprimiez simplement les doublons exacts de vos données d'entraînement, vous seriez en sécurité. Mais en réalité, même les données « propres » contiennent des répétitions.

Les chercheurs ont découvert que la répétition ne rend pas seulement l'apprentissage légèrement plus lent ; elle peut activement détruire les performances du modèle d'une manière très spécifique et contre-intuitive. Ce n'est pas une ligne droite où « plus de répétitions = de moins bons résultats ». C'est un piège.

2. Le piège de « Boucle d'or » (Le pire scénario)

La découverte la plus surprenante est que les dommages ne sont pas causés par la répétition d'une infime partie de données un million de fois, ni par la répétition d'un énorme bloc de données juste deux fois.

L'analogie : Imaginez un étudiant qui étudie pour un examen.

Scénario A : Il lit 1 000 livres uniques une seule fois. (Excellents résultats).
Scénario B : Il lit 1 000 livres uniques, mais il relit également un livre spécifique 10 000 fois. (L'étudiant mémorise parfaitement ce livre unique mais échoue à apprendre les concepts généraux. Mauvais résultats).
Scénario C (Le Piège) : Il lit 1 000 livres uniques, mais il relit une pile de taille moyenne de 50 livres environ 100 fois chacun.

L'article a découvert que le Scénario C est le pire. C'est comme si l'étudiant restait coincé dans une boucle où il mémorise si profondément cette pile de livres de taille moyenne qu'il arrête d'apprendre toute chose nouvelle de la part du reste de la bibliothèque. Il devient « trop spécialisé » sur les doublons et « pas assez spécialisé » sur les données uniques.

Trop peu de répétitions : L'étudiant ignore les doublons et apprend normalement.
Trop de répétitions : L'étudiant mémorise les doublons si intensément qu'il « décroche » effectivement du reste des données, mais le volume massif de données uniques aide toujours.
Juste la bonne quantité de répétitions : L'étudiant est confus. Il passe trop de temps sur les doublons pour les mémoriser, mais pas assez de temps sur les données uniques pour apprendre les règles générales. Ce « juste milieu » provoque la plus grande chute d'intelligence.

3. La règle « La taille compte »

Les chercheurs ont découvert que la taille de cette « zone de danger » change selon la taille de l'étudiant (le modèle d'IA).

Les petits modèles sont pénalisés lorsqu'ils répètent une petite pile de livres de nombreuses fois.
Les grands modèles sont pénalisés lorsqu'ils répètent une pile beaucoup plus grande, mais moins de fois.

Pensez-y comme à une éponge. Une petite éponge (petit modèle) s'encrasse si vous versez un peu de boue dessus de nombreuses fois. Une éponge géante (grand modèle) peut supporter un peu de boue, mais si vous versez un énorme seau de boue sur elle un nombre modéré de fois, elle s'encrasse instantanément.

4. Le coût : Argent et énergie gaspillés

L'article traduit cette « stupidité » en argent et en énergie. Ils ont trouvé que si vous tombez dans ce piège de répétition du « pire scénario », vous pourriez tout aussi bien avoir jeté par la fenêtre 33 % de votre budget de calcul.

L'analogie : Imaginez que vous avez payé pour une session d'étude de 100 heures. À cause de la mauvaise structure de répétition, l'étudiant n'a appris autant que ce qu'il aurait appris lors d'une session de 67 heures. Vous avez gaspillé 33 heures d'électricité et d'argent pour rien.

5. Pourquoi cela arrive-t-il ? (La mathématique simple)

Vous pourriez penser qu'il s'agit d'une bizarrerie complexe du fonctionnement des cerveaux d'IA (Transformers). Mais les auteurs ont prouvé qu'il s'agit en réalité d'un problème statistique de base.

Ils ont construit un modèle mathématique simple (comme une régression linéaire de base) qui n'utilise même pas l'IA. Lorsqu'ils ont alimenté ce modèle mathématique simple avec des données en double, il a montré exactement le même pic de mauvaise performance de type « Boucle d'or ».

La leçon : Ce n'est pas un bug dans les mécanismes d'attention sophistiqués de l'IA ; c'est une loi fondamentale des statistiques. Lorsque vous avez des données uniques et des données répétées, il existe un équilibre spécifique où le modèle est confus entre « mémoriser la copie » et « apprendre la règle générale », et cette confusion est ce qui nuit le plus.

Résumé

La répétition est mauvaise, mais pas de la manière dont vous le pensez.
Les dommages les plus importants surviennent lorsqu'on répète un morceau de taille moyenne de données un nombre modéré de fois.
Les modèles plus grands sont vulnérables à la répétition de morceaux de données plus larges.
Le coût est énorme : Vous pouvez gaspiller un tiers de votre puissance de calcul simplement en ayant la mauvaise structure de répétition.
La cause est un arbitrage statistique de base entre la mémorisation des doublons et l'apprentissage de modèles généraux, et non un échec complexe de l'IA.

L'article conclut que la simple suppression des doublons ne suffit pas ; nous devons comprendre comment les doublons restants sont structurés pour éviter de gaspiller des ressources massives.

Résumé Technique : La répétition interne des données détruit les modèles de langage

Énoncé du problème
Alors que le pré-entraînement des modèles de langage (LM) entre dans un régime de contrainte de données, les corpus publics de haute qualité s'épuisent, nécessitant un entraînement multi-époques et l'utilisation de jeux de données imparfaitement dédupliqués. Bien qu'une déduplication agressive soit la norme, des doublons exacts résiduels, des modèles de paraphrase et des pages sémantiquement redondantes subsistent. Les études contrôlées précédentes sur la répétition des données, telles que Hernandez et al. [11], étaient antérieures aux lois d'échelle de type Chinchilla optimisées pour le calcul. Par conséquent, elles mesuraient le coût de la répétition indirectement via des réductions du « nombre de paramètres effectifs » et sur des budgets de tokens fixes qui sous-entraînaient les grands modèles et sur-entraînaient les petits. Ce document traite de la nécessité de quantifier le coût de la répétition exacte au niveau du document au sein du paradigme moderne de Chinchilla, où la performance est mesurée en FLOPs plutôt qu'en nombre de paramètres, et où les budgets d'entraînement sont optimisés pour l'efficacité du calcul.

Méthodologie
Les auteurs mènent une étude contrôlée isolant l'impact de la structure de répétition tout en maintenant constant le budget de calcul total et la fraction de tokens répétés.

Configuration expérimentale : L'étude entraîne des transformeurs de type décodeur seul Qwen3 avec des nombres de paramètres $N \in \{34, 48, 63, 93, 153, 344\}$ M sur le corpus FineWeb-Edu-Dedup.
Protocole de répétition : Pour chaque exécution, 10 % des tokens d'entraînement ( $f=0,1$ ) sont tirés d'un pool spécifique de documents, tandis que 90 % proviennent de documents uniques. La structure de la répétition est variée en changeant le nombre de répétitions $R$ (combien de fois chaque document du pool est rejoué) et la taille du pool $D_r$ . Cela crée une courbe iso-FLOP où le calcul total $C = 6NT$ reste fixe, mais où la concentration de données répétées change.
Métriques : Les auteurs introduisent le Gain Équivalent au Calcul (CEG) et la Perte Équivalente au Calcul (CEL). Le CEG est défini comme le ratio entre le calcul qu'un run sans répétition devrait effectuer pour atteindre la même perte qu'un run avec données répétées, divisé par le calcul réellement dépensé. $CEL = 1 - CEG$. Une valeur de $CEG < 1$ indique que la répétition a causé une perte d'efficacité de calcul.
Base de référence : Une loi d'échelle de Chinchilla sans répétition ajustée, $L(C) = E + KC^{-\gamma}$ , est dérivée de six bases de référence $OT=1$ (optimales pour Chinchilla) pour convertir les pertes d'évaluation en coûts de calcul équivalents.
Analyse théorique : Pour comprendre le mécanisme, les auteurs dérivent des expressions en forme close pour la perte d'entraînement et de test dans un modèle de régression linéaire mal spécifié avec des doublons verbatim, en analysant la covariance du bruit à diagonale de bloc introduite par les échantillons répétés.

Résultats Clés

Pic de dommage non monotone : La perte d'évaluation n'est pas monotone par rapport au nombre de répétitions $R$ . Au lieu de cela, le dommage culmine à un nombre de répétitions intermédiaire. Répéter un sous-ensemble de taille modérée un nombre modéré de fois cause plus de mal que de répéter un très petit sous-ensemble de nombreuses fois ou un grand sous-ensemble de peu de fois.
Loi d'échelle pour la localisation du pic : L'emplacement de ce pic ( $R_{peak}$ ) suit une loi de puissance par rapport à la taille du modèle $N$ et au calcul total $C$ . Spécifiquement, $R_{peak} \propto N^{-0,96}$ et $R_{peak} \propto C^{-0,25}$ . Cela implique qu'à mesure que les modèles passent à l'échelle, la structure de répétition la plus dommageable implique moins de répétitions d'un pool de documents plus large.
Perte Équivalente au Calcul significative : À la plus grande échelle testée (344M de paramètres, $OT=1$), la pire structure de répétition résulte d'un CEG d'environ 0,67, correspondant à un CEL de 0,33. Cela signifie que l'exécution atteint la même perte qu'un run sans répétition entraîné avec seulement les deux tiers des FLOPs.
Mécanisme statistique : Le pic non monotone est reproduit dans un modèle de régression linéaire simple et mal spécifié. Les auteurs montrent que ce phénomène provient d'un compromis statistique entre mémorisation et généralisation en présence d'échantillons dupliqués, suggérant que l'effet n'est pas spécifique aux architectures de transformeurs, aux mécanismes d'attention ou aux optimiseurs.

Signification et Revendications
Le document prétend moderniser l'étude de la répétition des données en déplaçant la métrique des « paramètres effectifs » vers les « unités équivalentes au calcul », s'alignant ainsi sur les pratiques actuelles de l'industrie.

Précision de la quantification du coût : Les conclusions permettent aux praticiens de quantifier le calcul gaspillé induit par la structure spécifique des doublons dans les corpus de pré-entraînement, et pas seulement par le volume des doublons.
Prédictibilité : La loi de puissance identifiée ( $R_{peak} \propto N^{-0,96}$ ) fournit une heuristique pour prédire les configurations de répétition les plus nocives pour une taille de modèle donnée, permettant de meilleures stratégies de curation de données.
Généralisabilité : En démontrant que le même pic de perte qualitative se produit dans un modèle de régression linéaire simple, les auteurs soutiennent que le dommage causé par la répétition est une propriété statistique fondamentale des échantillons dupliqués dans les apprenants mal spécifiés, plutôt qu'un artefact de composants spécifiques du deep learning.

Les auteurs restent modestes quant aux valeurs absolues de CEG et de CEL, notant qu'elles dépendent d'un ajustement de loi à trois paramètres sur un nombre limité de bases de référence. Cependant, ils affirment que la non-monotonie qualitative et l'existence d'une structure de répétition de pire cas sont des découvertes robustes. Le travail conclut que rapporter simplement la fraction de données dupliquées est insuffisant ; la concentration et le nombre de répétitions de ces doublons sont des déterminants critiques de l'efficacité de l'entraînement.