Era-Aware Language Modeling: Training a Decoder-Only Transformer on a Balanced Gutenberg Corpus
Questo articolo introduce GutenbergLM, un transformer decoder-only da 109,5 milioni di parametri addestrato da zero su un corpus di Project Gutenberg temporalmente bilanciato con token di condizionamento dell'epoca, dimostrando che la stratificazione temporale esplicita consente al modello di generare stili di scrittura distinti e appropriati al periodo attraverso le ere letterarie Antica, Media e Moderna.