Era-Aware Language Modeling: Training a Decoder-Only Transformer on a Balanced Gutenberg Corpus
Dit artikel introduceert GutenbergLM, een decoder-only transformer met 109,5 miljoen parameters die vanaf nul is getraind op een temporeel gebalanceerde Project Gutenberg-corpus met era-conditioning tokens, waarmee wordt aangetoond dat expliciete temporele stratificatie het model in staat stelt om onderscheidende, periode-gepaste schrijfstijlen te genereren over de vroege, middeleeuwse en moderne literaire tijdperken heen.