Era-Aware Language Modeling: Training a Decoder-Only Transformer on a Balanced Gutenberg Corpus
Este artigo apresenta o GutenbergLM, um transformer decodificador de apenas 109,5 milhões de parâmetros treinado do zero em um corpus do Project Gutenberg temporalmente equilibrado com tokens de condicionamento de era, demonstrando que a estratificação temporal explícita permite ao modelo gerar estilos de escrita distintos e apropriados ao período através das eras literárias Inicial, Média e Moderna.