🤖 machine learning

Internal Data Repetition Destroys Language Models

Diese Arbeit zeigt, dass im Chinchilla-Ära-Skalierungsparadigma Datenrepetition die Leistung von Sprachmodellen systematisch verschlechtert, indem sie einen rechenäquivalenten Verlustpeak bei einer intermediären Wiederholungsanzahl erzeugt, die mit der Modellgröße skaliert – ein Phänomen, das analytisch als statistischer Kompromiss zwischen Memorierung und Generalisierung erklärt wird.

Ursprüngliche Autoren: Jessica Chudnovsky, Joshua Kazdan, Noam Levi, Rylan Schaeffer, Yegor Denisov-Blanch, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jessica Chudnovsky, Joshua Kazdan, Noam Levi, Rylan Schaeffer, Yegor Denisov-Blanch, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Schüler (einem Sprachmodell) das Schreiben von Aufsätzen beizubringen, indem Sie ihm eine riesige Bibliothek von Büchern zum Lesen geben. Das Ziel ist es, ihn mit einer begrenzten Menge an Lernzeit (Rechenleistung) so intelligent wie möglich zu machen.

Diese Arbeit untersucht, was passiert, wenn diese Bibliothek nicht perfekt ist und doppelte Bücher enthält. Konkret wird gefragt: Spielt es eine Rolle, ob wir dem Schüler dasselbe Buch zweimal oder dasselbe Buch 100 Mal geben?

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Das Problem: Der „Echokammer“-Effekt

In der Vergangenheit dachten Forscher, dass sie sicher seien, wenn sie einfach exakte Duplikate aus ihren Trainingsdaten entfernten. In der Realität enthalten selbst „saubere“ Daten jedoch einige Wiederholungen.

Die Forscher fanden heraus, dass Wiederholung die Leistung des Modells nicht nur leicht verlangsamt; sie kann die Leistung des Modells auf eine sehr spezifische, kontraintuitive Weise aktiv zerstören. Es ist keine gerade Linie, bei der gilt: „mehr Wiederholungen = schlechtere Ergebnisse“. Stattdessen ist es eine Falle.

2. Die „Goldlöckchen“-Falle (Das Worst-Case-Szenario)

Die überraschendste Erkenntnis ist, dass der Schaden nicht dadurch entsteht, dass man eine winzige Menge an Daten eine Million Mal wiederholt, noch dadurch, dass man einen riesigen Teil der Daten nur zweimal wiederholt.

Die Analogie: Stellen Sie sich einen Schüler vor, der für eine Prüfung lernt.

Szenario A: Er liest 1.000 einzigartige Bücher einmal. (Großartige Ergebnisse).
Szenario B: Er liest 1.000 einzigartige Bücher, aber er liest ein spezifisches Buch zusätzlich 10.000 Mal wieder. (Der Schüler lernt dieses eine Buch perfekt auswendig, versäumt es aber, allgemeine Konzepte zu lernen. Schlechte Ergebnisse).
Szenario C (Die Falle): Er liest 1.000 einzigartige Bücher, aber er liest einen mittelgroßen Stapel von 50 Büchern etwa 100 Mal jeweils wieder.

Die Forscher fanden heraus, dass Szenario C am schlimmsten ist. Es ist, als würde der Schüler in einer Schleife stecken bleiben, in der er diesen mittelgroßen Stapel an Büchern so gründlich auswendig lernt, dass er aufhört, etwas Neues aus dem Rest der Bibliothek zu lernen. Er wird zu „über-spezialisiert“ auf die Duplikate und zu „unter-spezialisiert“ auf die einzigartigen Daten.

Zu wenige Wiederholungen: Der Schüler ignoriert die Duplikate und lernt normal.
Zu viele Wiederholungen: Der Student lernt die Duplikate so intensiv auswendig, dass er den Rest der Daten effektiv „ausblendet“, aber das schiere Volumen der einzigartigen Daten hilft dennoch.
Genau die richtige Menge an Wiederholungen: Der Schüler wird verwirrt. Er verbringt zu viel Zeit mit den Duplikaten, um sie auswendig zu lernen, aber nicht genug Zeit mit den einzigartigen Daten, um allgemeine Regeln zu lernen. Dieses „Mittelfeld“ verursacht den größten Intelligenzverlust.

3. Die Regel „Größe spielt eine Rolle“

Die Forscher entdeckten, dass sich die Größe dieser „Gefahrenzone“ je nach Größe des Schülers (des KI-Modells) ändert.

Kleine Modelle werden geschädigt, wenn sie einen kleinen Stapel Bücher viele Male wiederholen.
Große Modelle werden geschädigt, wenn sie einen viel größeren Stapel an Büchern, aber dafür weniger oft wiederholen.

Denken Sie an einen Schwamm. Ein kleiner Schwamm (kleines Modell) verstopft, wenn man ein wenig Schlamm zu oft auf ihn gießt. Ein riesiger Schwamm (großes Modell) kann mit ein wenig Schlamm umgehen, aber wenn man einen riesigen Eimer Schlamm eine moderate Anzahl von Malen auf ihn gießt, verstopft er sofort.

4. Die Kosten: Verschwendetes Geld und Energie

Das Paper übersetzt diese „Dummheit“ in Geld und Energie. Sie fanden heraus, dass man, wenn man in diese „Worst-Case“-Wiederholungsfalle tappt, so gut wie 33 % seines Rechenbudgets weggeworfen hat.

Die Analogie: Stellen Sie sich vor, Sie haben für eine 100-stündige Lerneinheit bezahlt. Aufgrund der schlechten Wiederholungsstruktur hat der Schüler nur so viel gelernt, wie er in einer 67-stündigen Sitzung gelernt hätte. Sie haben 33 Stunden Strom und Geld verschwendet, ohne einen Gewinn zu erzielen.

5. Warum passiert das? (Die einfache Mathematik)

Man könnte denken, dies sei eine komplexe Eigenart der Art und Weise, wie KI-Gehirne (Transformer) funktionieren. Aber die Autoren bewiesen, dass es eigentlich ein grundlegendes statistisches Problem ist.

Sie bauten ein einfaches mathematisches Modell (wie eine einfache lineare Regression), das gar keine KI verwendet. Als sie dieses einfache mathematische Modell mit Duplikaten fütterten, zeigte es exakt denselben „Goldlöckchen“-Gipfel der schlechten Leistung.

Die Lektion: Dies ist kein Bug in den ausgeklügelten Attention-Mechanismen der KI; es ist ein grundlegendes Gesetz der Statistik. Wenn man eine Mischung aus einzigartigen Daten und wiederholten Daten hat, gibt es ein spezifisches Gleichgewicht, bei dem das Modell zwischen dem „Auswendiglernen der Kopie“ und dem „Lernen der allgemeinen Regel“ verwirrt wird, und diese Verwirrung schadet am meisten.

Zusammenfassung

Wiederholung ist schlecht, aber nicht auf die Weise, wie man denkt.
Der schlimmste Schaden entsteht, wenn man einen mittelgroßen Teil der Daten eine moderate Anzahl von Malen wiederholt.
Größere Modelle sind anfällig für die Wiederholung größerer Datenmengen, aber seltener.
Die Kosten sind enorm: Man kann ein Drittel seiner Rechenleistung verschwenden, nur durch die falsche Wiederholungsstruktur.
Die Ursache ist ein grundlegender statistischer Kompromiss zwischen dem Auswendiglernen von Duplikaten und dem Lernen allgemeiner Muster, nicht ein komplexer KI-Fehler.

Das Paper kommt zu dem Schluss, dass das bloße Entfernen von Duplikaten nicht ausreicht; wir müssen verstehen, wie die verbleibenden Duplikate strukturiert sind, um zu vermeiden, massive Ressourcen zu verschwenden.

Technisches Resümee: Interne Datenrepetition zerstört Sprachmodelle

Problemstellung
Da das Pretraining von Sprachmodellen (LMs) in ein datenbeschränktes Regime eintritt, werden hochwertige öffentliche Korpora erschöpft, was ein Multi-Epoch-Training und die Verwendung unvollständig deduplizierter Datensätze erforderlich macht. Während aggressive Deduplizierung Standard ist, bleiben residuelle exakte Duplikate, paraphrasierte Templates und semantisch redundante Seiten bestehen. Frühere kontrollierte Studien zur Datenrepetition, wie etwa von Hernandez et al. [11], gingen der Chinchilla-artigen compute-optimalen Skalierungsgesetze voraus. Folglich maßen sie die Kosten der Repetition indirekt über Reduktionen der „effektiven Parameteranzahl“ und auf festen Token-Budgets, die große Modelle untertrainierten und kleine Modelle übertrainierten. Dieses Paper adressiert die Notwendigkeit, die Kosten exakter dokumentbasierter Repetition innerhalb des modernen Chinchilla-Paradigmas zu quantifizieren, in dem die Performance in FLOPs statt in Parameterzahlen gemessen wird und Trainingsbudgets auf Recheneffizienz optimiert sind.

Methodik
Die Autoren führen eine kontrollierte Studie durch, welche die Auswirkung der Repetitionsstruktur isoliert, während das gesamte Rechenbudget und der Anteil der wiederholten Tokens konstant gehalten werden.

Experimentelles Setup: Die Studie trainiert Qwen3-ähnliche Decoder-only-Transformer mit Parameterzahlen $N \in \{34, 48, 63, 93, 153, 344\}$ M auf dem FineWeb-Edu-Dedup-Korpus.
Repetitionsprotokoll: Für jeden Durchlauf werden 10 % der Trainings-Tokens ( $f=0,1$ ) aus einem spezifischen Pool von Dokumenten gezogen, während 90 % aus einzigartigen Dokumenten stammen. Die Struktur der Repetition wird variiert, indem die Repeat-Anzahl $R$ (wie oft jedes Dokument im Pool wiederholt wird) und die Poolgröße $D_r$ geändert werden. Dies erzeugt eine Iso-FLOP-Kurve, bei der die gesamte Rechenleistung $C = 6NT$ konstant bleibt, sich aber die Konzentration der wiederholten Daten ändert.
Metriken: Die Autoren führen Compute-Equivalent Gain (CEG) und Compute-Equivalent Loss (CEL) ein. CEG ist definiert als das Verhältnis der Rechenleistung, die ein Durchlauf ohne Repetition benötigen würde, um den gleichen Loss wie ein Durchlauf mit wiederholten Daten zu erreichen, dividiert durch die tatsächlich aufgewendete Rechenleistung. $CEL = 1 - CEG$. Ein Wert von $CEG < 1$ zeigt an, dass die Repetition zu einem Verlust an Recheneffizienz geführt hat.
Baseline: Ein gefittetes No-Repetition Chinchilla-Skalierungsgesetz, $L(C) = E + KC^{-\gamma}$ , wird aus sechs $OT=1$ (Chinchilla-optimalen) Baselines abgeleitet, um Evaluierungs-Losses in äquivalente Rechenkosten umzuwandeln.
Theoretische Analyse: Um den Mechanismus zu verstehen, leiten die Autoren geschlossene Ausdrücke für Trainings- und Test-Loss in einem misspezifizierten linearen Regressionsmodell mit verbatim Duplikaten ab und analysieren die blockdiagonale Rauschkovarianz, die durch wiederholte Stichproben eingeführt wird.

Kernergebnisse

Nicht-monotoner Schadenspeak: Der Evaluierungs-Loss ist nicht monoton in Bezug auf die Repeat-Anzahl $R$ . Stattdessen erreicht der Schaden bei einer mittleren Repeat-Anzahl seinen Höhepunkt. Das Wiederholen einer moderat großen Teilmenge einer moderaten Anzahl von Malen verursacht mehr Schaden als das Wiederholen einer sehr kleinen Teilmenanz sehr viel Mal oder einer großen Teilmenge nur wenige Male.
Skalierungsgesetz für die Peak-Lage: Die Lage dieses Peaks ( $R_{peak}$ ) folgt einem Potenzgesetz in Bezug auf die Modellgröße $N$ und die gesamte Rechenleistung $C$ . Speziell gilt $R_{peak} \propto N^{-0,96}$ und $R_{peak} \propto C^{-0,25}$ . Dies impliziert, dass mit zunehmender Skalierung der Modelle die schädlichste Repetitionsstruktur aus weniger Wiederholungen eines größeren Pools von Dokumenten besteht.
Signifikanter Compute-Equivalent Loss: Bei der größten getesteten Skala (344M Parameter, $OT=1$) führt die schlechteste Repetitionsstruktur zu einem CEG von etwa 0,67, was einem CEL von 0,33 entspricht. Das bedeutet, der Durchlauf erreicht den gleichen Loss wie ein Durchlauf ohne Repetition, der mit nur zwei Dritteln der FLOPs trainiert wurde.
Statistischer Mechanismus: Der nicht-monotone Peak wird in einem einfachen misspezifizierten linearen Regressionsmodell reproduziert. Die Autoren zeigen, dass dieses Phänomen aus einem statistischen Tradeoff zwischen Memorierung und Generalisierung in Gegenwart duplizierter Stichproben resultiert, was darauf hindeutet, dass der Effekt nicht spezifisch für Transformer-Architekturen, Attention-Mechanismen oder Optimierer ist.

Bedeutung und Ansprüche
Das Paper beansprucht, die Untersuchung der Datenrepetition zu modernisieren, indem es die Metrik von „effektiven Parametern“ zu „Rechen-äquivalenten Einheiten“ verschiebt, was den aktuellen Industriepraktiken entspricht.

Präzision in der Kostenquantifizierung: Die Ergebnisse ermöglichen es Praktikern, die verschwendete Rechenleistung zu quantifizieren, die durch die spezifische Struktur von Duplikaten in Pretraining-Korpora entsteht, und nicht nur das Volumen der Duplikate.
Vorhersehbarkeit: Das identifizierte Potenzgesetz ( $R_{peak} \propto N^{-0,96}$ ) bietet eine Heuristik zur Vorhersage der schädlichsten Repetitionskonfigurationen für eine gegebene Modellgröße, was bessere Datencuration-Strategien ermöglicht.
Generalisierbarkeit: Durch den Nachweis, dass derselbe qualitative Verlust-Peak in einem einfachen linearen Regressionsmodell auftritt, argumentieren die Autoren, dass der Schaden durch Repetition eine fundamentale statistische Eigenschaft duplizierter Stichproben in misspezifizierten Learnern ist und kein Artefakt spezifischer Deep-Learning-Komponenten.

Die Autoren bleiben bescheiden hinsichtlich der absoluten Werte von CEG und CEL und merken an, dass diese von einem Drei-Parameter-Skalierungsgesetz abhängen, das auf einer begrenzten Anzahl von Baselines gefittet wurde. Sie behaupten jedoch, dass die qualitative Nicht-Monotonie und die Existenz einer Worst-Case-Repetitionsstruktur robuste Befunde sind. Die Arbeit kommt zu dem Schluss, dass die bloße Angabe des Anteils duplizierter Daten unzureichend ist; die Konzentration und die Repeat-Anzahl dieser Duplikate sind entscheidende Determinanten der Trainingseffizienz.