Technische Samenvatting: Een Bittere Les voor Datafiltering

Probleemstelling

Het standaardparadigma voor het voortrainen van grote taalmodellen (LLMs) omvat strenge datafiltering, waarbij tekst uit bronnen zoals Common Crawl (CC) wordt gecureerd om alleen "hoogwaardige" subsets te behouden. Hoewel deze aanpak algemeen wordt geaccepteerd als essentieel, met name in regimes met beperkte rekencapaciteit, staat het haaks op schaalwetten die suggereren dat prestaties verbeteren met steeds toenemende datavolumes. Filtering reduceert het beschikbare tokenbudget drastisch (bijvoorbeeld behoudt DCLM-Baseline slechts ~1% van CC), wat de prestaties van modellen die worden getraind onder omstandigheden van hoge rekencapaciteit en data-schaarste potentieel beperkt.

Dit artikel onderzoekt de hypothese dat datafiltering noodzakelijk is in de limiet van grote rekencapaciteit. Specifiek wordt onderzocht of trainen direct op de volledige, ongefilterde Common Crawl-pool uiteindelijk betere prestaties kan leveren dan trainen op zorgvuldig gecureerde, gefilterde subsets, wanneer modellen voldoende groot zijn en lang genoeg worden getraind.

Methodologie

De auteurs voeren een systematische schaalstudie uit om de optimale prestaties ($L^\star$) te evalueren die haalbaar zijn op verschillende datasets, gedefinieerd als de minimale verliezen die behaald kunnen worden door variatie in modelgrootte ($M$) en trainingsstappen ($N$) zonder computatiebeperkingen.

1. Experimentele Opzet:

   • Datasets: De primaire dataset is een subset van Common Crawl van 240 biljoen tokens (DCLM-Pool). De auteurs maken subsets aan variërend van 670 miljoen tot 10 miljard tokens.
   • Filters: Ze vergelijken de ongefilterde pool met vijf gefilterde varianten:
     • Engelse filter: Verwijdert niet-Engelse tekst.
     • Herhalingsfilter: Verwijdert documenten met excessieve herhaling.
     • Stopwoordfilter: Zorgt voor de aanwezigheid van veelvoorkomende Engelse stopwoorden.
     • RefinedWeb: Een combinatie van bovenstaande plus vergelijkbare filters.
     • DCLM-Baseline: Een zwaar gefilterde pijplijn die ongeveer 2,1% van de originele data behoudt.
   • Modellen: Dichte Llama-achtige transformers variërend van 15 miljoen tot 7 miljard parameters.
   • Maten: De primaire maten zijn de gemiddelde negatieve log-likelihood (NLL) op C4, Fineweb-Edu en Cosmopedia. Ook downstream benchmarks (ARC-Easy, PIQA, SocialIQA) worden geëvalueerd.

2. Schaalstrategie:

   • De studie schaalt zowel de modelgrootte als de trainingsstappen (inclusief meerdere epoches) om het "kruispunt" te observeren waar de ongefilterde pool gefilterde datasets overtreft.
   • Ze introduceren "afvaldata"-experimenten door willekeurig gegenereerde strings en documenten met door elkaar geschudde woorden in de trainingspool in te brengen om de robuustheid van het model tegen ruis te testen.
   • Schaalwetten worden afgeleid om de rekenkundige drempel (in FLOPs) te voorspellen die vereist is voor de ongefilterde pool om optimaal te worden voor specifieke poolgroottes.

3. Theoretische Analyse:

   • Het artikel presenteert een theoretisch model gebaseerd op lage-rang matrixfactorisatie met orthogonale invoer. Dit model toont aan dat als de rang (capaciteit) van een model voldoende is om het aantal verschillende taken (of data-distributies) te dekken, het het voorspellingsprobleem optimaal kan representeren zonder interferentie van "ruis"-taken. Omgekeerd lijden kleinere modellen onder interferentie.

Belangrijkste Resultaten

1. Het "Geen Filter"-Voordeel op Schaal

De centrale bevinding is dat de volledige ongefilterde Common Crawl-pool uiteindelijk alle gefilterde varianten overtreft wanneer modellen voldoende groot zijn en voldoende stappen worden getraind.

• Kleine Modellen: In regimes met lage rekencapaciteit (kleine modellen, weinig stappen) leveren gefilterde datasets (zoals DCLM-Baseline) vaak lagere verliezen op.
• Grote Modellen: Naarmate de modelgrootte toeneemt (bijvoorbeeld van 330 miljoen tot 1 miljard parameters), sluit het prestatieverschil zich en keert het zich om. De ongefilterde pool bereikt het laagste verlies (bijvoorbeeld 3,37 NLL op het 1 miljard modellen), en overtreft zelfs de meest agressieve filters.
• Pareto-grens: Bij het uitzetten van verlies tegen rekencapaciteit (FLOPs) gaat de ongefilterde pool over van de slechtst presterende dataset naar de beste naarmate de rekencapaciteit toeneemt. Opmerkelijk is dat sommige gefilterde datasets (zoals die alleen op herhaling zijn gefilterd) nooit op de Pareto-grens verschijnen; er is altijd een betere dataset op elk gegeven niveau van rekencapaciteit.

2. Robuustheid tegen "Afvaldata"

De studie test de grenzen van de modelrobuustheid door data van lage kwaliteit in te brengen:

• Willekeurige Strings: Modellen die worden getraind op een mengsel van CC en willekeurig gegenereerde strings (tot 200% van de poolgrootte) komen uiteindelijk overeen met de prestaties van de schone pool naarmate de modelgrootte toeneemt.
• Geschudde Woorden: Verrassend genoeg herstellen modellen die worden getraind op documenten met door elkaar geschudde woordvolgorde (waarbij alleen unigram-distributies behouden blijven) niet alleen hun prestaties, maar overtreffen ze in sommige gevallen (modellen van 330 miljoen+) de ongefilterde pool na voldoende trainingsstappen. Dit suggereert dat grote modellen nuttige signalen (bijvoorbeeld co-occurrence-statistieken) kunnen extraheren, zelfs uit sterk gedegradeerde datastructuren.

3. Schaalwetten en Rekenkundige Drempels

De auteurs leiden schaalwetten af om te voorspellen wanneer de ongefilterde pool optimaal wordt voor de volledige DCLM-Pool van 240 biljoen tokens.

• Het aantal trainingsstappen (epoches) dat nodig is voor de ongefilterde pool om RefinedWeb te verslaan, groeit superlineair met de poolgrootte.
• Echter, de vereiste rekenkracht voor dit kruispunt is sterk lineair. De auteurs schatten dat voor de volledige pool van 240 biljoen tokens de ongefilterde aanpak optimaal wordt bij ongeveer $10^{30}$ FLOPs. Hoewel dit de huidige schattingen voor de voorhoede overstijgt (~$5 \times 10^{26}$ FLOPs), ligt het binnen het bereik van projecties voor de nabije toekomst (bijvoorbeeld $10^{29}$ FLOPs in 2030).

4. Modeldegradatie en Feitelijke Juistheid

• Distributieverandering: Hoewel modellen robuust zijn voor geschudde woorden in termen van gemiddeld verlies, vertonen ze degradatie op het allereerste token van een document (waar de distributieverandering het acuutst is). De auteurs betogen echter dat dit verwaarloosbaar is voor de meeste use-cases die langere contexten omvatten.
• Feitelijke Juistheid: Een voorlopige analyse van MMLU-gerelateerde documenten in CC suggereert dat actief schadelijke, onfeitelijke inhoud (bijvoorbeeld complottheorieën die gevestigde feiten weerleggen) relatief zeldzaam is in vergelijking met ondersteunende of neutrale inhoud. Theoretische analyse suggereert dat filtering alleen gunstig is als de "ruis" zeer wijdverbreid is en de filter een hoog waar-positief-naar-fout-positief-verhouding heeft, wat mogelijk niet geldt voor de brede distributie van CC.

Betekenis en Beweringen

Het artikel betoogt dat datafiltering mogelijk last heeft van de "Bittere Les" (Sutton, 2019): door mensen ontworpen heuristieken die goed presteren op kleine schaal, worden uiteindelijk vervangen door eenvoudige, schaalbare aanpakken die gebruikmaken van verhoogde rekencapaciteit.

• Afwijzing van de Noodzaak van Filtering: De auteurs verwerpen de hypothese dat datafiltering strikt noodzakelijk is. Ze leveren bewijs dat geen enkele bestaande filter waarschijnlijk een verbetering zal opleveren ten opzichte van trainen direct op Common Crawl, gegeven voldoende rekencapaciteit en modelcapaciteit.
• Robuustheid van Grote Modellen: Voldoende grote modellen zijn zeer robuust tegen irrelevante of "afval"-data en kunnen nuttige informatie extraheren uit ruige bronnen, inclusief geschudde tekst.
• Toekomstige Implicaties: Hoewel filtering belangrijk blijft in huidige regimes met beperkte rekencapaciteit, suggereert het artikel dat naarmate de rekenbudgetten opschalen naar $10^{30}$ FLOPs, de optimale strategie kan verschuiven naar het gebruik van de volledige, ongefilterde datapool, waardoor complexe curation-pijplijnen overbodig worden.

De auteurs concluderen dat hoewel schadelijke data (bijvoorbeeld onfeitelijke inhoud die hoogwaardige tekst nabootst) theoretisch kan bestaan, deze niet wijdverbreid genoeg is in Common Crawl om de enorme dataverlies te rechtvaardigen die wordt veroorzaakt door agressieve filtering, vooral wanneer het alternatief simpelweg het trainen van grotere modellen voor langere tijd is.