Era-Aware Language Modeling: Training a Decoder-Only Transformer on a Balanced Gutenberg Corpus

Technische Samenvatting: Era-bewuste Taalmodellering op een Gebalanceerde Gutenberg-corpus

Probleemstelling
Huidige grote taalmodellen (LLM's) worden voornamelijk getraind op web-gescrapte corpora (bijv. Common Crawl) die zwaar scheefgetrokken zijn naar hedendaags Engels. Deze temporele bias beperkt de mogelijkheid om te bestuderen hoe de historische samenstelling van trainingsdata de generatieve stijl van een model beïnvloedt. Bovendien zijn in natuurlijk voorkomende web-corpora de topische inhoud en het stilistische register met elkaar verstrengeld, wat het moeilijk maakt om het specifieke effect van "era" (de historische periode van het schrijven) te isoleren van de onderwerpen, onafhankelijk van de inhoud.

Methodologie
De auteurs presenteren GutenbergLM, een kleine decoder-only transformer die vanaf nul is getraind op een doelgericht, era-gebalanceerde corpus afgeleid van geheel Project Gutenberg. De methodologie is gestructureerd in vier primaire fasen:

1. Corpusconstructie en Balancering:

   • Bron: De auteurs hebben de volledige Project Gutenberg RDF-catalogus geparsed (78.672 records) en gefilterd op 62.497 Engelstalige boeken.
   • Era-classificatie: Boeken werden gestratificeerd in drie era's op basis van het geboortejaar van de auteur (of publicatiedatum als fallback): Vroeg (≤1800), Midden (1801–1900) en Modern (>1900).
   • Gebalanceerde Steekproef: Om de natuurlijke dominantie van de "Midden"-era (69,3% van de ruwe catalogus) te voorkomen, voerden de auteurs deterministische, op een seed gebaseerde sampling uit om exact 5.334 boeken per era te selecteren, wat resulteerde in een perfect gebalanceerde corpus van 16.002 boeken.
   • Deduplicatie en Opschoning: Bijna-duplicaten werden verwijderd met behulp van MinHash met Locality-Sensitive Hashing (LSH) bij een Jaccard-drempelwaarde van 0,85, wat 15.509 unieke boeken overliet. Tekstopschoning omvatte het verwijderen van Project Gutenberg-boilerplate, het herstellen van encoding-artefacten en het normaliseren van witruimte.
   • Splitsing: Er werd een boek-niveau gestratificeerde splitsing toegepast (90% train, 5% validatie, 5% test) om stilistische lekkage tussen de sets te voorkomen.

2. Tokenizer:

   • Een SentencePiece byte-pair-encoding (BPE) tokenizer met een vocabulaire van 32.000 werd getraind op de trainingscorpus.
   • Het beschikt over byte-level fallback om een zero out-of-vocabulary tokens te garanderen en digit-splitting die is afgestemd op historische datumformaten.
   • Drie expliciete controle-tokens (<ERA_EARLY>, <ERA_MIDDLE>, <ERA_MODERN>) werden gereserveerd om era-conditionering mogelijk te maken.

3. Modelarchitectuur:

   • Schaal: Een 109,5M-parameter decoder-only transformer die de LLaMA-stijl ontwerpkeuzes volgt.
   • Componenten: De architectuur bevat 12 lagen, 768 modeldimensies, 12 attention heads, RMSNorm, SwiGLU feed-forward netwerken en Rotary Position Embeddings (RoPE).
   • Optimalisaties: Weight tying tussen embeddings en de taalmodellering-kop, gradient checkpointing en bias-vrije lineaire lagen werden geïmplementeerd.

4. Trainingsprocedure:

   • Hardware: Een enkele NVIDIA A10G GPU (11 GB VRAM) op een AWS EC2-instantie.
   • Configuratie: Het model werd getraind voor één epoch over 1,46 miljard tokens (11.000 optimizer stappen).
   • Technieken: De pipeline maakte gebruik van mixed-precision (BF16) optimalisatie, AdamW met cosine learning-rate decay, en GPU-adaptieve batch presets (effectieve batchgrootte van 128).

Belangrijkste Resultaten

• Trainingsefficiëntie: De enkele-epoch run voltooide in 13,12 uur, met een constante doorvoer van 31.405 tokens/seconde en een piek GPU-geheugengebruik van 14,4 GB.
• Perplexity: Het model bereikte een uiteindelijke trainingsverlies van 2,93, een validatie-perplexity van 25,6 en een helder-test perplexity van 24,03. Het gat tussen de trainings- en validatieverlies (0,316 nats) suggereert dat het model nog niet in een sterk overfit regime verkeert.
• Generatiemetrieken: Op de testset behaalde het model een BLEU-4 van 0,093, een ROUGE-L F1 van 0,189 en een BERTScore F1 van 0,837. De auteurs merken op dat lage n-gram overlap scores typisch zijn voor open-ended creatieve taken, terwijl de hoge BERTScore wijst op semantische plausibiliteit.
• Kwalitatieve Generatie: Era-geconditioneerde generaties toonden aan dat de controle-tokens het model succesvol stuurden naar onderscheidende, tijdsperiode-passende vocabulaire, syntaxis en onderwerp zonder expliciete topische prompting. Zo genereerde <ERA_EARLY> archaïsche juridische/bijbelse registers, terwijl <ERA_MODERN> hedendaagse sociale scènes produceerde.

Betekenis en Beperkingen
Het artikel positioneert GutenbergLM als een reproduceerbaar referentiepunt voor het bestuderen van de relatie tussen de temporele compositie van de trainingscorpus en stilistisch gedrag, vrij van de topische verwarringen van web-schaal data.

De auteurs hanteren een bescheiden toon met betrekking tot hun claims:

• Granulariteit: De era-classificatie vertrouwt op een grove heuristiek (geboortejaar van de auteur), wat mogelijk geen rekening houdt met stilistische verschuivingen aan het einde van een carrière of vertaalde werken.
• Evaluatiehiaten: De kwantitatieve era-specifieke perplexity-verdeling werd alleen gelogd voor de Modern-subset; de Early en Middle subsets missen specifieke kwantitatieve metrieken in dit rapport.
• Trainingsomvang: Het model is getraind voor slechts één epoch. Het learning rate schema was geconfigureerd voor een langere horizon, wat impliceert dat er potentieel voor verdere reductie van de perplexity is bij uitgebreidere training.
• Schaal: De studie is beperkt tot een enkele-GPU omgeving en een schaal van onder de 100M parameters, hoewel de auteurs opmerken dat de ongebruikte geheugenruimte suggereert dat grotere batchgroottes of contextlengtes mogelijk zijn.

Het werk stelt geen nieuwe toepassingen of toekomstige architecturale wijzigingen voor, maar vestigt eerder een gecontroleerde pijplijn voor het isoleren van de variabele "era" in taalmodellering.