Era-Aware Language Modeling: Training a Decoder-Only Transformer on a Balanced Gutenberg Corpus
Cet article présente GutenbergLM, un transformateur de type décodeur seul de 109,5 millions de paramètres, entraîné à partir de zéro sur un corpus de Project Gutenberg temporellement équilibré avec des jetons de conditionnement d'époque, démontrant que la stratification temporelle explicite permet au modèle de générer des styles d'écriture distincts et appropriés à la période à travers les ères littéraires ancienne, moyenne et moderne.