🤖 machine learning

Data Augmentations for Data-Constrained Language Model Pretraining

Dit artikel stelt voor dat het combineren van token-niveau ruis, sequentiepermutaties en doel-offsetvoorspelling als dataaugmentatietechnieken effectief overfitting tegengaat bij de pretraining van autoregressieve taalmodellen, wat productieve multi-epoch training op vaste, beperkte corpora mogelijk maakt.

Oorspronkelijke auteurs: Michael K. Chen, Xikun Zhang, Zhen Wang

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michael K. Chen, Xikun Zhang, Zhen Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar zeer hongerige student (het AI-model) leert om verhalen te schrijven. In het verleden was de beste manier om deze student te onderwijzen het geven van een enorme bibliotheek met boeken om te lezen. Hoe meer boeken de student las, hoe slimmer hij werd.

Maar nu zijn we tegen een muur aangelopen. We zijn de hoogwaardige boeken op het internet kwijtgeraakt. Ondertussen worden onze computers (de leraren) ongelooflijk krachtig en snel. We bevinden ons in een situatie waarin we te veel rekenkracht hebben maar niet genoeg nieuwe data.

Het Probleem: De "Overgelezen" Student

Omdat we geen nieuwe boeken hebben, moeten we onze student dezelfde 75 miljoen woorden keer op keer laten lezen.

In de oude manier van trainen (genoemd "Autoregressief" of AR), als je een student dezelfde tekst te vaak laat lezen, stopt hij met het leren van het verhaal en begint hij de exacte woorden te memoriseren.

De Analogie: Stel je voor dat je een enkele pagina van een boek 100 keer leest. Uiteindelijk ken je niet alleen het verhaal; je weet precies waar elke komma staat. Maar als je wordt getest op een nieuwe pagina die je nog niet hebt gezien, faal je omdat je alleen de oude hebt uit je hoofd geleerd.
Het Resultaat: De AI wordt erg goed in de trainingsdata, maar de prestaties op nieuwe, ongeziene data worden steeds slechter naarmate hij langer traint. Hij "overfit".

De Oplossing: Data Augmentatie (De "Twist"-methode)

De auteurs van dit artikel vroegen zich af: Hoe kunnen we de student hetzelfde boek 100 keer laten lezen zonder dat hij het simpelweg uit zijn hoofd leert?

Hun antwoord is Data Augmentatie. In plaats van de student telkens exact dezelfde tekst te geven, "verdraaien" of "door elkaar husselen" ze de tekst lichtjes voordat de student deze leest. Dit dwingt de student om daadwerkelijk de betekenis en context te begrijpen, in plaats van alleen de volgorde van woorden te memoriseren.

Ze probeerden drie belangrijke manieren om de tekst te verdraaien:

1. Het "Blinddoek" en "Verkeerd Woord" Spel (Token-Level Ruis)

Maskeren (De Blinddoek): Ze dekken sommige woorden af met een zwart blokje (een `` token). De student moet het ontbrekende woord raden op basis van de rest van de zin.
Willekeurige Vervanging (Het Verkeerde Woord): In plaats van een zwart blokje, vervangen ze een woord door een ander woord dat grammaticaal wel klopt, maar feitelijk onjuist is.
- Voorbeeld: Het veranderen van "De kat zat op de mat" naar "De kat zat op de hoed."
- De Bevinding: Verrassend genoeg werkte het "Verkeerde Woord" spel beter dan de "Blinddoek". Waarom? Omdat het raden van een ontbrekend woord makkelijk is als je een leegte ziet. Maar het opmerken dat "hoed" het verkeerde woord is wanneer de zin er nog steeds correct uitziet, is een veel zwaardere mentale workout. Het dwingt de student om veel beter op te letten.

2. Het "Terugspoelen" en "Invullen van de Leegte" Spel (Sequentie Permutaties)

Rechts-naar-links (Terugspoelen): Ze laten de student de zin achterstevoren lezen, van het laatste woord naar het eerste.
Invullen van het Midden: Ze nemen een zin, halen het middelste deel eruit, en vragen de student om het midden te voorspellen op basis van het begin en het einde.
- De Bevinding: Achterstevoren lezen werkte geweldig als een regularisator (het stopte het memoriseren). Echter, het "Invullen van het Midden" spel maakte de zaken voor algemene teksten juist slechter. De auteurs suggereren dat dit komt omdat het "Invullen"-formaat zo anders is dan hoe we normaal lezen (van links naar rechts), dat het de student eerder in de war bracht dan dat het hielp.

3. Het "Glazen Bol" Spel (Target Offset Predictie)

In plaats van te vragen "Wat is het volgende woord?", vragen ze "Wat is het woord drie stappen verderop?"
De Bevinding: Dit werkt goed, maar alleen als ze het zorgvuldig doen. Als ze te vaak vragen naar woorden in de verre toekomst, raakt de student in de war. Als ze meestal het volgende woord vragen, maar af en toe een woord verderop in de toekomst, fungeert het als een perfect leercurriculum.

De Winningsstrategie: De "Perfecte Storm"

De auteurs kozen niet zomaar één spel; ze combineerden ze. Echter, ze ontdekten dat sommige spellen met elkaar botsen.

De Botsing: Als je woorden afdekt (Maskeren) én vraagt naar woorden ver in de toekomst, raakt de student overweldigd. De context is te versnipperd om een goede gok te doen.
De Harmonie: Als je Willekeurige Vervanging (woorden wisselen) + Terugwaarts Lezen + Af en toe vooruitkijken gebruikt, blijft de student scherp.

Het Resultaat:
Door deze specifieke combinatie van "twists" te gebruiken, was de AI in staat om 100 epochs te trainen (het lezen van de data 100 keer) zonder zijn vermogen om te generaliseren te verliezen.

Zonder de trucjes: De AI bereikte zijn piek bij epoch 16 en werd daarna slechter.
Met de trucjes: De AI bleef verbeteren en bereikte een veel lagere foutmarge (betere prestaties) dan welke enkele methode alleen al had kunnen bereiken.

De Kernboodschap

Het artikel bewijst dat wanneer we door een tekort aan nieuwe data komen, we de training niet hoeven te stoppen. We moeten alleen veranderen hoe we de data presenteren. Door kleine, slimme "vervormingen" aan de tekst toe te voegen, kunnen we krachtige computers veel langer effectief laten leren, waardoor voorkomen wordt dat ze simpelweg de trainingsset uit hun hoofd leren.

Belangrijkste les: Het willekeurig wisselen van woorden (de tekst een klein beetje "fout" maken) was de meest effectieve enkele truc, en het combineren hiervan met achterstevoren lezen en vooruitkijken creëerde de beste algehele prestatie.

Technische Samenvatting: Data-augmentaties voor Pretraining van Taalmodellen met Beperkte Data

1. Probleemstelling

Het artikel behandelt het opkomende "data-beperkte, compute-overvloedige" regime in de ontwikkeling van Large Language Models (LLM's). Naarmate de voorraad hoogwaardige publieke internetteksten de uitputting nadert, staat de industrie voor een plafond waarbij de rekencapaciteit (compute) de beschikbaarheid van data overtreft. Gevolgelijk moeten modellen meerdere epochs trainen op vaste corpora.

De auteurs identificeren een kritieke faalmodus in deze setting: standaard autoregressieve (AR) pretraining lijdt aan ernstige overfitting. In hun experimenten bereikte een model met 150 miljoen parameters, getraind op een corpus van 75 miljoen tokens (ongeveer 40× onder het Chinchilla-optimale budget), zijn minimale validatieverlies bij epoch 16 en verslechterde daarna continu, wat duidt op een verschuiving van generalisatie naar memorisatie. Hoewel diffusiemodellen als een robuuster alternatief zijn voorgesteld, kampen zij momenteel met praktische hindernissen wat betreft inferentiekosten, generatie met dynamische lengtes en de volwassenheid van de infrastructuur. Het artikel stelt dat een meer directe oplossing is om via data-augmentatie tijdens de training diffusie-achtige regularisatie te introduceren in standaard AR-modellen.

2. Methodologie

De auteurs introduceren drie orthogonale categorieën data-augmentatie die ontworpen zijn om de (input, label) paren die aan het model worden gepresenteerd tijdens de training te wijzigen, zonder de modelarchitectuur of de verliesfunctie aan te passen. Tijdens de evaluatie staan alle augmentaties uit en wordt het model getest onder de standaard links-naar-rechts (L2R) next-token voorspellingsinstelling.

Categorie 1: Token-niveau Ruis

Geïnspireerd door het ruisproces in diffusiemodellen, corrupt de deze categorie input-tokens terwijl het model wordt gevraagd de originele, ongecorrumpeerde sequentie te voorspellen.

Masking: Een fractie van de tokens wordt vervangen door een speciaal `` token.
Random Replacement: Een fractie van de tokens wordt vervangen door een willekeurig getrokken vocabulaire-token. Dit creëert een "semantisch moeilijker" signaal dan masking, aangezien de vervanging een plausibel maar onjuist token is.

Categorie 2: Sequentie Permutaties

Deze categorie herordent trainingssequenties om de voorspellingsrichting of structuur te wijzigen.

Rechts-naar-Links (R2L): De sequentie wordt omgekeerd en het model voorspelt tokens in omgekeerde volgorde, gestuurd door een richting-token.
Fill-in-the-Middle (FIM): De sequentie wordt geherordend in een prefix-suffix-middle (PSM) of suffix-prefix-middle (SPM) formaat. Het model moet het middelste segment voorspellen op basis van de prefix en suffix.

Categorie 3: Target Offset Predictie

In plaats van het onmiddellijke volgende token ( $x_{t+1}$ ) te voorspellen, wordt het model getraind om een toekomstig token $x_{t+i}$ te voorspellen bij een gesamplede offset $i \ge 1$ .

Wegingsschema's: De auteurs verkennen uniforme sampling en exponentieel afnemende weging over de horizon $i$ . Het exponentiële schema concentreert de waarschijnlijkheidsmassa op kleine offsets (voornamelijk $i=1$ ) terwijl het af en toe grotere horizonten samplet, wat fungeert als een impliciet curriculum.
Mechanisme: Een speciaal token <next_i> wordt voorafgevoegd om de actieve offset aan te geven.

Deze categorieën kunnen simultaan worden toegepast in een sequentiële pipeline: ruis wordt eerst toegepast, gevolgd door permutatie (indien actief), en tot slot de invoeging van richting-/offset-tokens.

3. Experimentele Opzet

Model: Een causaal taalmodel met 150 miljoen parameters gebaseerd op de Llama-architectuur (20 lagen, 512 hidden size).
Dataset: 75 miljoen tokens van DCLM-RefinedWeb.
Trainingsschema: Warmup-Stable-Decay (WSD) learning rate schema. Ablatie-studies maakten primair gebruik van de stabiele fase om relatieve prestaties efficiënt te vergelijken, waarbij een subset van de runs een volledige decay-fase onderging voor robuustheidscontroles.
Metrieken: De primaire metriek is de helderstaande (held-out) validatieverlies onder standaard L2R next-token voorspelling. Zero-shot accuratesse op vijf downstream benchmarks (HellaSwag, PIQA, ARC-Challenge, WinoGrande, COPA) dient als bevestigend bewijs.

4. Belangrijkste Resultaten

Individuele Augmentatie Prestaties

Token Ruis: Random token replacement presteerde consequent beter dan masking. De beste individuele methode was Random Replacement bij 15%, die een minimaal validatieverlies van 3.841 bereikte (vs. baseline 4.015). Masking bij 15% behaalde 3.910. Lagere percentages (5%) boden minder regularisatie, terwijl hogere percentages (30%) een afnemend rendement vertoonden.
Sequentie Permutaties: R2L bij 50% mixing was effectief (min. loss 3.910), terwijl FIM geen voordeel bood (min. loss 3.947, gelijk aan baseline) en overfitte met hetzelfde tempo als de baseline. De auteurs schrijven het falen van FIM toe aan een distributieverschil tussen het trainingsformaat en de evaluatie-instelling.
Target Offset: Exponentiële weging over offsets $i \le 5$ was de sterkste individuele augmentatie (min. loss 3.870). Uniforme weging bood geen voordeel. Een begrensde uniforme offset ( $i \le 2$ ) bood matige regularisatie (3.890) maar convergeerde eerder.

Combinatie Prestaties

De studie toonde aan dat combinaties zeer gevoelig zijn voor hyperparameters en interactietypes:

Synergie: Het combineren van R2L en Target Offset (exponentieel) was synergetisch en bereikte een minimaal verlies van 3.841, waarmee het de beste individuele methode evenaarde.
Interferentie: Het combineren van Token Noise en Target Offset veroorzaakte sterke interferentie, waardoor het minimale verlies terugging naar bijna baseline-niveau (bijv. Random 15% + Offset $i \le 5$ exp. resulteerde in 3.995). De auteurs schrijven dit toe aan het feit dat token ruis de lokale context corrumpeert die nodig is voor offset-voorspelling.
Optimale Configuratie: De beste resultaten werden bereikt door alle drie de categorieën te combineren met zorgvuldige afstemming. Specifiek, Random Replacement bij 5% (niet 15%) gecombineerd met R2L 50% en Offset $i \le 5$ (exponentieel) behaalde het algemeen beste minimale validatieverlies van 3.805. Deze configuratie verminderde het verlies met 0.210 ten opzichte van de baseline.
Robuustheid: De rangschikkingen vastgesteld in de stabiele fase bleven behouden na de WSD decay-fase. De beste 3-categorie combinatie bereikte een decay-fase minimum van 3.792.

Downstream Generalisatie

Alle geaugmenteerde modellen presteerden beter dan de baseline op zero-shot accuratesse over vijf benchmarks. De beste 3-categorie combinatie behaalde een gemiddelde accuratesse van 42.9% (vs. baseline 41.0%). Hoewel het validatieverlies niet perfect correleerde met de accuratesse-rang (waarschijnlijk door ruis op de 150M schaal), bevestigde de trend dat een lager validatieverlies over het algemeen vertaalt naar betere generalisatie.

5. Betekenis en Claims

Het artikel claimt dat data-augmentatie een levensvatbare, lichtgewicht strategie is om de data-inefficiëntie van AR-pretraining in data-beperkte regimes te verzachten. De belangrijkste conclusies zijn:

Regularisatie via Augmentatie: Augmentaties stellen modellen in staat om betekenisvolle signalen te extraheren uit herhaalde passes over vaste data, waardoor de overfitting-instorting die wordt waargenomen bij standaard AR-training wordt uitgesteld of voorkomen.
Random Replacement > Masking: In tegenstelling tot de BERT-conventies is random token replacement een superieure regularisator voor AR-pretraining, waarschijnlijk door de verhoogde moeilijkheid van het identificeren van plausibele maar onjuiste tokens versus het expliciete afwezigheidssignaal van een mask.
Formaat Behoud: Augmentaties die de inhoud behouden maar de volgorde wijzigen (R2L) zijn effectiever dan augmentaties die de sequentie-structuur radicaal veranderen (FIM) ten opzichte van de evaluatie-distributie.
Hyperparameter Gevoeligheid: Het succes van combinaties is sterk afhankelijk van de ruis-percentages. Hoge ruis-percentages (15%) verstoren de offset-doelen, terwijl lagere percentages (5%) fungeren als complementaire regularisatoren.
Praktische Toepasbaarheid: In tegen tegenstelling tot diffusiemodellen vereist deze aanpak geen architecturale wijzigingen of nieuwe inferentie-infrastructuur, wat het een direct toepasbare oplossing maakt voor huidige LLM-trainingpipelines.

De auteurs concluderen dat hoewel data-augmentatie voor LLM-pretraining minder onderzocht is vergeleken met data-filtering of mengstrategieën, het serieus aandacht verdient als een 'first-class' techniek voor het navigeren door het naderende data-plafond.