Internal Data Repetition Destroys Language Models

Technische Samenvatting: Interne Datarepetitie Vernietigt Taalmodellen

Probleemstelling
Nu de pretraining van taalmodellen (LM's) een door data beperkt regime betreedt, raken hoogwaardige publieke corpora uitgeput, wat meerepochale training en het gebruik van imperfect gededupliceerde datasets noodzakelijk maakt. Hoewel agressieve deduplicatie de standaard is, blijven exacte duplicaten, geparafraseerde sjablonen en semantisch redundante pagina's bestaan. Eerdere gecontroleerde studies naar datarepetitie, zoals Hernandez et al. [11], gingen vooraf aan de Chinchilla-stijl compute-optimale schaalwetten. Bijgevolg maten zij de kosten van repetitie indirect via reducties in het "effectieve aantal parameters" en op vaste token-budgetten die ondergetrainde grote modellen en overgetrainde kleine modellen gebruikten. Dit artikel adresseert de noodzaak om de kosten van exacte document-niveau repetitie te kwantificeren binnen het moderne Chinchilla-paradigma, waarbij prestaties worden gemeten in FLOPs in plaats van in parameteraantallen, en trainingsbudgetten worden geoptimaliseerd voor compute-efficiëntie.

Methodologie
De auteurs voeren een gecontroleerde studie uit waarbij de impact van de repetitiestructuur wordt geïsoleerd, terwijl het totale compute-budget en het fractie van de herhaalde tokens constant worden gehouden.

• Experimentele Opzet: De studie traint Qwen3-stijl decoder-only transformers met parameteraantallen $N \in \{34, 48, 63, 93, 153, 344\}$M op de FineWeb-Edu-Dedup corpus.
• Repetitieprotocol: Voor elke run worden 10% van de trainings-tokens ($f=0.1$) getrokken uit een specifieke pool van documenten, terwijl 90% afkomstig is van unieke documenten. De structuur van de repetitie wordt gevarieerd door het aantal herhalingen $R$ (hoe vaak elk document in de pool wordt afgespeeld) en de poolgrootte $D_r$ te veranderen. Dit creëert een iso-FLOP curve waarbij de totale compute $C = 6NT$ constant blijft, maar de concentratie van herhaalde data verandert.
• Metrieken: De auteurs introduceren Compute-Equivalent Gain (CEG) en Compute-Equivalent Loss (CEL). CEG wordt gedefinieerd als de ratio van de compute die een run zonder repetitie nodig zou hebben om dezelfde loss te bereiken als een run met herhaalde data, gedeeld door de werkelijk bestede compute. $CEL = 1 - CEG$. Een waarde van $CEG < 1$ geeft aan dat repetitie heeft geleid tot een verlies in compute-efficiëntie.
• Baseline: Een passende no-repetition Chinchilla schaalwet, $L(C) = E + KC^{-\gamma}$, wordt afgeleid van zes $OT=1$ (Chinchilla-optimale) baselines om evaluatie-losses om te zetten naar equivalente compute-kosten.
• Theoretische Analyse: Om het mechanisme te begrijpen, leiden de auteurs gesloten vorm expressies af voor train- en test-loss in een misgespecificeerd lineair regressiemodel met verbatim duplicaten, waarbij de blokdiagonaal noise covariantie wordt geanalyseerd die wordt geïntroduceerd door herhaalde samples.

Belangrijkste Resultaten

1. Niet-monotone Schadepiek: De evaluatie-loss is niet monotoon ten opzichte van het aantal herhalingen $R$. In plaats daarvan piekt de schade bij een intermediair aantal herhalingen. Het herhalen van een middelgrote subset een gemiddeld aantal keren veroorzaakt meer schade dan het herhalen van een zeer kleine subset vele malen of een grote subset enkele malen.
2. Schaalwet voor de Locatie van de Piek: De locatie van deze piek ($R_{peak}$) volgt een machtswet ten opzichte van de modelgrootte $N$ en de totale compute $C$. Specifiek, $R_{peak} \propto N^{-0.96}$ en $R_{peak} \propto C^{-0.25}$. Dit impliceert dat naarmate modellen opschalen, de meest schadelijke repetitiestructuur bestaat uit minder herhalingen van een grotere pool van documenten.
3. Significante Compute-Equivalent Loss: Bij de grootste geteste schaal (344M parameters, $OT=1$), resulteert de slechtst denkbare repetitiestructuur in een CEG van ongeveer 0-zes zeven en een CEL van 0,33. Dit betekent dat de run dezelfde loss bereikt als een run zonder repetitie die getraind is met slechts twee derde van de FLOPs.
4. Statistisch Mechanisme: De niet-monotone piek wordt gereproduceerd in een eenvoudig misgespecificeerd lineair regressiemodel. De auteurs tonen aan dat dit fenomeen voortkomt uit een statistische afweging tussen memorisatie en generalisatie in aanwezigheid van gedupliceerde samples, wat suggereert dat het effect niet specifiek is voor transformer-architecturen, aandachtmechanismen of optimizers.

Betekenis en Claims
Het artikel claimt de studie naar datarepetitie te moderniseren door de metriek te verschuiven van "effectieve parameters" naar "compute-equivalente eenheden", wat aansluit bij de huidige industriële praktijken.

• Precisie in Kostenkwantificering: De bevindingen stellen beoefenaars in staat om de verspilde compute te kwantificeren die wordt veroorzaakt door de specifieke structuur van duplicaten in pretraining corpora, en niet alleen de omvang van de duplicaten.
• Voorspelbaarheid: De geïdentificeerde machtswet ($R_{peak} \propto N^{-0.96}$) biedt een heuristiek voor het voorspellen van de meest schadelijke repetitieconfiguraties voor een gegeven modelgrootte, wat betere data-curatie strategieën mogelijk maakt.
• Generaliseerbaarheid: Door aan te tonen dat dezelfde kwalitatieve verliespiek optreedt in een eenvoudig lineair regressiemodel, beargumenteren de auteurs dat de schade van repetitie een fundamentele statistische eigenschap is van gedupliceerde samples in misgespecificeerde learners, in plaats van een artefact van specifieke deep learning componenten.

De auteurs blijven bescheiden over de absolute waarden van CEG en CEL, waarbij zij opmerken dat deze afhangen van een drieparameter schaalwet-fit op een beperkt aantal baselines. Zij stellen echter dat de kwalitatieve niet-monotoniciteit en het bestaan van een worst-case repetitiestructuur robuuste bevindingen zijn. Het werk concludeert dat het simpelweg rapporteren van de fractie van de gedupliceerde data onvoldoende is; de concentratie en het aantal herhalingen van die duplicaten zijn cruciale determinanten van de trainings-efficiëntie.