🤖 machine learning

Data Augmentations for Data-Constrained Language Model Pretraining

Dieses Paper schlägt vor, dass die Kombination von Token-Level-Rauschen, Sequenzpermutationen und Target-Offset-Vorhersage als Techniken zur Datenaugmentation das Overfitting beim autoregressiven Sprachmodell-Pretraining effektiv mildert und somit ein produktives Multi-Epoch-Training auf fixen, datenbeschränkten Korpora ermöglicht.

Ursprüngliche Autoren: Michael K. Chen, Xikun Zhang, Zhen Wang

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Michael K. Chen, Xikun Zhang, Zhen Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen brillanten, aber sehr hungrigen Studenten (das KI-Modell) im Schreiben von Geschichten. In der Vergangenheit war der beste Weg, diesen Studenten zu lehren, ihm eine riesige Bibliothek von Büchern zum Lesen zu geben. Je mehr Bücher der Student las, desto klüger wurde er.

Doch nun sind wir an eine Wand gestoßen. Wir haben das Internet an hochwertigen Büchern aufgebraucht. Gleichzeitig werden unsere Computer (die Lehrer) unglaublich leistungsstark und schnell. Wir befinden uns in einer Situation, in der wir zu viel Rechenleistung, aber nicht genug neue Daten haben.

Das Problem: Der „überlesene“ Student

Weil wir keine neuen Bücher haben, müssen wir den Studenten dieselben 75 Millionen Wörter immer und immer wieder lesen lassen.

Die Analogie: Stellen Sie sich vor, Sie lesen dieselbe Seite eines Buches 100 Mal. Irgendwann kennen Sie nicht nur die Geschichte, sondern Sie wissen genau, wo jedes Komma steht. Wenn Sie dann auf einer neuen Seite getestet werden, die Sie noch nicht gesehen haben, scheitern Sie, weil Sie nur die alte auswendig gelernt haben.
Das Ergebnis: Die KI wird sehr gut in den Trainingsdaten, aber ihre Leistung bei neuen, ungesehenen Daten verschlechtert sich immer weiter, je länger sie trainiert. Sie „overfittet“ (überanpasst sich).

Die Lösung: Datenaugmentation (Die „Twist“-Methode)

Die Autoren dieser Arbeit fragten sich: Wie können wir den Studenten dasselbe Buch 100 Mal lesen lassen, ohne dass er es einfach nur auswendig lernt?

Ihre Antwort ist Datenaugmentation. Anstatt dem Studenten immer denselben Text zu geben, „verändern“ oder „verzerren“ sie den Text leicht, bevor der Student ihn liest. Dies zwingt den Studenten dazu, die Bedeutung und den Kontext tatsächlich zu verstehen, anstatt nur die Abfolge der Wörter auswendig zu lernen.

Sie haben drei Hauptwege ausprobiert, um den Text zu verändern:

1. Das „Augenbinden“- und „Falsches Wort“-Spiel (Token-Level Noise)

Maskierung (Das Augenbinden): Sie verdecken einige Wörter mit einem schwarzen Kasten (einem ``-Token). Der Student muss das fehlende Wort basierend auf dem Rest des Satzes erraten.
Zufälliger Ersatz (Das falsche Wort): Anstatt eines schwarzen Kastens tauschen sie ein Wort gegen ein anderes Wort aus, das grammatikalisch Sinn ergibt, aber faktisch falsch ist.
- Beispiel: Ändern von „Die Katze saß auf der Matte“ zu „Die Katze saß auf dem Hut.“
- Die Erkenntnis: Überraschenderweise funktionierte das „Falsche Wort“-Spiel besser als das „Augenbinden“. Warum? Weil es einfach ist, ein fehlendes Wort zu erraten, wenn man eine Lücke sieht. Aber zu bemerken, dass „Hut“ das falsche Wort ist, obwohl der Satz grammatikalisch korrekt aussieht, ist ein viel härteres mentales Training. Es zwingt den Studenten, genauer auf die Details zu achten.

2. Das „Rückwärts“- und „Lückentext“-Spiel (Sequenz-Permutationen)

Rechts-nach-links (Rückwärts): Sie lassen den Studenten den Satz rückwärts lesen, vom letzten Wort bis zum ersten.
Fill-in-the-Middle (Lückentext): Sie nehmen einen Satz, schneiden den mittleren Teil heraus und bitten den Studenten, die Mitte basierend auf dem Anfang und dem Ende vorherzusagen.
- Die Erkenntnis: Das Rückwärtslesen funktionierte hervorragend als Regularisierung (es stoppte das Auswendiglernen). Das „Fill-in-the-Middle“-Spiel machte die Sache für allgemeinen Text jedoch eher schlechter. Die Autoren vermuten, dass dies liegt, weil das „Fill-in“-Format so anders ist als die Art, wie wir normalerweise lesen (von links nach rechts), dass es den Studenten eher verwirrte, als ihm zu helfen.

3. Das „Kristallkugel“-Spiel (Target Offset Prediction)

Anstatt zu fragen: „Was ist das nächste Wort?“, fragen sie: „Was ist das Wort drei Schritte voraus?“
Die Erkenntnis: Das funktioniert gut, aber nur, wenn es sorgfältig durchgeführt wird. Wenn sie zu oft nach Wörtern in der fernen Zukunft fragen, wird der Student verwirrt. Wenn sie meistens nach dem nächsten Wort fragen, aber gelegentlich nach einem Wort, das weiter vorne liegt, fungiert dies als perfekter Lehrplan.

Die Gewinnstrategie: Der „Perfekte Sturm“

Die Autoren haben sich nicht nur für ein Spiel entschieden; sie haben sie kombiniert. Dabei fanden sie jedoch heraus, dass sich einige Spiele gegenseitig behindern.

Der Konflikt: Wenn man Wörter unkenntlich macht (Maskierung) und gleichzeitig nach Wörtern in der fernen Zukunft fragt, wird der Student überfordert. Der Kontext ist zu stark unterbrochen, um eine gute Vermutung anzustellen.
Die Harmonie: Wenn man Zufälligen Ersatz (Wörter austauschen) + Rückwärtslesen + gelegentliches Vorausblicken verwendet, bleibt der Student wachsam.

Das Ergebnis:
Durch die Verwendung dieser spezifischen Kombination von „Twists“ konnte die KI 100 Epochen trainieren (die Daten 100 Mal lesen), ohne ihre Fähigkeit zur Generalisierung zu verlieren.

Ohne die Tricks: Die KI erreichte ihren Höhepunkt bei Epoche 16 und wurde danach schlechter.
Mit den Tricks: Die KI verbesserte sich kontinuierlich und erreichte eine viel niedrigere Fehlerrate (bessere Leistung) als jede einzelne Methode allein erreichen konnte.

Das Fazit

Das Paper beweist, dass wir nicht aufhören müssen zu trainieren, wenn uns die neuen Daten ausgehen. Wir müssen nur ändern, wie wir die Daten präsentieren. Indem wir kleine, intelligente „Verzerrungen“ in den Text einbauen, können wir leistungsstarke Computer viel länger effektiv lernen lassen und verhindern, dass sie einfach nur den Trainingsdatensatz auswendig lernen.

Wichtigste Erkenntnis: Das zufällige Austauschen von Wörtern (den Text leicht „falsch“ zu machen) war der effektivste Einzeltrick, und die Kombination mit Rückwärtslesen und Vorausblicken erzeugte die beste Gesamtleistung.

Technisches Resümee: Datenaugmentierung für datenbeschränkte Sprachmodell-Vortrainings

1. Problemstellung

Das Paper adressiert das aufkommende „datenbeschränkte, rechenintensive“ Regime in der Entwicklung von Large Language Models (LLMs). Da der Bestand an hochwertigem öffentlichem Internettext sich dem Erschöpfungspunkt nähert, steht die Industrie vor einer Decke, bei der die Rechenkapazität die Datenverfügbarkeit überholt. Infolgedessen müssen Modelle ein Multi-Epoch-Training auf fixen Korpora durchlaufen.

Die Autoren identifizieren einen kritischen Fehlermodus in diesem Szenario: Das Standard-Autoregressive (AR) Vortraining leidet unter schwerem Overfitting. In ihren Experimenten erreichte ein 150-Mio.-Parameter-Modell, das auf einem 75-Mio.-Token-Korpus trainiert wurde (etwa das 40-fache unter dem Chinchilla-optimalen Budget), sein Minimum im Validierungsverlust bei Epoche 16 und verschlechterte sich danach kontinuierlich, was auf einen Übergang von Generalisierung zu Memorierung hindeutet. Während Diffusionsmodelle als robustere Alternative vorgeschlagen wurden, stehen sie derzeit vor praktischen Hürden hinsichtlich der Inferenzkosten, der Generierung dynamischer Längen und der Infrastrukturreife. Das Paper postuliert, dass eine unmittelbarere Lösung darin besteht, durch Datenaugmentierung während der Trainingszeit eine Art Diffusions-ähnliche Regularisierung in Standard-AR-Modelle einzuführen.

2. Methodik

Die Autoren führen drei orthogonale Kategorien der Datenaugmentierung ein, die darauf abzielen, die (Input, Label)-Paare, die dem Modell während des Trainings präsentiert werden, zu modifizieren, ohne die Modellarchitektur oder die Verlustfunktion zu ändern. Zum Zeitpunkt der Evaluierung sind alle Augmentierungen deaktiviert, und das Modell wird unter der Standard-Left-to-Right (L2R) Next-Token-Prediction-Einstellung getestet.

Kategorie 1: Token-Level-Rauschen

Inspiriert durch den Rauschprozess in Diffusionsmodellen, korrumpiert diese Kategorie Input-Token, erfordert jedoch, dass das Modell die ursprüngliche, unkorrumpierte Sequenz vorhersagt.

Maskierung: Ein Bruchteil der Token wird durch ein spezielles ``-Token ersetzt.
Zufälliger Ersatz (Random Replacement): Ein Bruchteil der Token wird durch einen zufällig aus dem Vokabular gezogenen Token ersetzt. Dies erzeugt ein „semantisch schwierigeres“ Signal als Maskierung, da der Ersatz ein plausibler, aber falscher Token ist.

Kategorie 2: Sequenz-Permutationen

Diese Kategorie ordnet Trainingssequenzen neu an, um die Vorhersagerichtung oder -struktur zu verändern.

Right-to-Left (R2L): Die Sequenz wird umgekehrt, und das Modell sagt die Token in umgekehrter Reihenfolge voraus, geleitet durch einen Richtungs-Token.
Fill-in-the-Middle (FIM): Die Sequenz wird in ein Prefix-Suffix-Middle (PSM) oder Suffix-Prefix-Middle (SPM) Format umgeordnet. Das Modell muss das mittlere Segment unter Berücksichtigung von Präfix und Suffix vorhersagen.

Kategorie 3: Target Offset Prediction

Anstatt den unmittelbaren nächsten Token ( $x_{t+1}$ ) vorherzusagen, wird das Modell darauf trainiert, einen zukünftigen Token $x_{t+i}$ bei einem Stichproben-Offset $i \ge 1$ vorherzusagen.

Gewichtungsschemata: Die Autoren untersuchen eine uniforme Stichprobenziehung sowie eine exponentiell abfallende Gewichtung über den Horizont $i$ . Das exponentielle Schema konzentriert die Wahrscheinlichkeitsmasse auf kleine Offsets (hauptsächlich $i=1$ ), während gelegentlich größere Horizonte abgetastet werden, was als implizites Curriculum wirkt.
Mechanismus: Ein spezieller Token <next_i> wird vorangestellt, um den aktiven Offset anzuzeigen.

Diese Kategorien können gleichzeitig in einer sequenziellen Pipeline angewendet werden: Zuerst wird Rauschen angewendet, gefolgt von Permutation (falls aktiv) und schließlich der Einfügung von Richtungs-/Offset-Token.

3. Experimentelles Setup

Modell: Ein kausales Sprachmodell mit 150 Mio. Parametern basierend auf der Llama-Architektur (20 Layer, 512 Hidden Size).
Datensatz: 75 Mio. Token aus DCLM-RefinedWeb.
Trainingsplan: Warmup-Stable-Decay (WSD) Learning Rate Schedule. Ablationsstudien nutzten primär die stabile Phase, um die relative Leistung effizient zu vergleichen, wobei eine Teilmenge der Durchläufe zur Robustheitsprüfung die volle Decay-Phase durchlief.
Metriken: Die primäre Metrik ist der Held-out Validierungsverlust unter Standard-L2R Next-Token-Prediction. Die Zero-Shot-Genauigkeit auf fünf Downstream-Benchmarks (HellaSwag, PIQA, ARC-Challenge, WinoGrande, COPA) dient als bestätigendes Indiz.

4. Kernergebnisse

Leistung der einzelnen Augmentierungen

Token-Rauschen: Zufälliger Token-Ersatz übertraf Maskierung konsistent. Die beste einzelne Methode war Random Replacement bei 15%, die einen minimalen Validierungsverlust von 3,841 erreichte (gegenüber Baseline 4,015). Maskierung bei 15% erreichte 3,910. Niedrigere Raten (5%) boten weniger Regularisierung, während höhere Raten (30%) abnehmende Erträge zeigten.
Sequenz-Permutationen: Eine Mischung von R2L mit 50% war effektiv (Min-Loss 3,910), während FIM keinen Nutzen brachte (Min-Loss 3,947, gleich wie Baseline) und im gleichen Maße wie die Baseline überfittete. Die Autoren führen das Scheitern von FIM auf einen Verteilungsunterschied zwischen dem Trainingsformat und der Evaluierungseinstellung zurück.
Target Offset: Exponentielle Gewichtung über Offsets $i \le 5$ war die stärkste einzelne Augmentierung (Min-Loss 3,870). Uniforme Gewichtung bot keinen Nutzen. Ein begrenzter uniformer Offset ( $i \le 2$ ) bot moderate Regularisierung (3,890), konvergierte jedoch früher.

Kombinationsleistung

Die Studie zeigte, dass Kombinationen hochsensibel auf Hyperparameter und Interaktionstypen reagieren:

Synergie: Die Kombination von R2L und Target Offset (exponentiell) war synergetisch und erreichte einen minimalen Verlust von 3,841, was mit der besten Einzelmethode gleichzog.
Interferenz: Die Kombination von Token-Rauschen und Target Offset verursachte starke Interferenzen und hob den minimalen Verlust nahe an das Baseline-Niveau (z. B. Random 15% + Offset $i \le 5$ exp. resultierte in 3,995). Die Autoren führen dies darauf zurück, dass Token-Rauschen den lokalen Kontext korrumpiert, der für die Offset-Vorhersage erforderlich ist.
Optimale Konfiguration: Die besten Ergebnisse wurden durch die Kombination aller drei Kategorien mit sorgfältiger Abstimmung erzielt. Speziell Random Replacement bei 5% (nicht 15%) kombiniert mit R2L 50% und Offset $i \le 5$ (exponentiell) erreichte den insgesamt besten minimalen Validierungsverlust von 3,805. Diese Konfiguration reduzierte den Verlust um 0,210 gegenüber der Baseline.
Robustheit: Die Rankings, die in der stabilen Phase etabliert wurden, blieben nach der WSD-Decay-Phase erhalten. Die beste 3-Kategorien-Kombination erreichte einen Decay-Phase-Minimum von 3,792.

Downstream-Generalisierung

Alle augmentierten Modelle übertrafen die Baseline in der Zero-Shot-Genauigkeit über fünf Benchmarks hinweg. Die beste 3-Kategorien-Kombination erreichte eine mittlere Genauigkeit von 42,9% (gegenüber Baseline 41,0%). Obwohl der Validierungsverlust nicht perfekt mit dem Genauigkeits-Ranking korrelierte (wahrscheinlich aufgrund von Rauschen auf der 150M-Skala), bestätigte der Trend, dass ein niedrigerer Validierungsverlust im Allgemeinen zu besserer Generalisierung führt.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass Datenaugmentierung eine praktikable, leichtgewichtige Strategie ist, um die Dateneffizienz von AR-Pretraining in datenbeschränkten Regimen zu mildern. Die wichtigsten Erkenntnisse sind:

Regularisierung durch Augmentierung: Augmentierungen ermöglichen es Modellen, aussagekräftige Signale aus wiederholten Durchläufen über fixe Daten zu extrahieren, wodurch der beobachtete Overfitting-Kollaps im Standard-AR-Training verzögert oder verhindert wird.
Random Replacement > Masking: Entgegen BERT-typischer Konventionen ist zufälliger Token-Ersatz ein überlegener Regularisierer für AR-Pretraining, wahrscheinlich aufgrund der erhöhten Schwierigkeit, plausible, aber falsche Token im Vergleich zum expliziten Abwesenheitssignal eines Mask-Tokens zu identifizieren.
Format-Erhaltung: Augmentierungen, die den Inhalt bewahren, aber die Reihenfolge ändern (R2L), sind effektiver als solche, die das Sequenzformat radikal ändern (FIM), relativ zur Evaluierungsverteilung.
Hyperparameter-Sensitivität: Der Erfolg von Kombinationen hängt stark von den Rauschraten ab. Hohe Rauschraten (15%) stören die Offset-Ziele, während niedrigere Raten (5%) als komplementäre Regularisierer wirken.
Praktikabilität: Im Gegensatz zu Diffusionsmodellen erfordert dieser Ansatz keine Änderungen an der Architektur oder eine neue Inferenz-Infrastruktur, was ihn zu einer unmittelbar anwendbaren Lösung für aktuelle LLM-Trainings-Pipelines macht.

Die Autoren kommen zu dem Schluss, dass Datenaugmentierung für das LLM-Pretraining im Vergleich zu Datenfilterung oder Mischstrategien bisher unterforscht geblieben ist, aber als erstklassige Technik zur Bewältigung der herannahenden Datendecke ernsthafte Aufmerksamkeit verdient.