Era-Aware Language Modeling: Training a Decoder-Only Transformer on a Balanced Gutenberg Corpus
Este artículo presenta GutenbergLM, un transformador de solo decodificador de 109,5 millones de parámetros entrenado desde cero con un corpus de Project Gutenberg temporalmente equilibrado con tokens de condicionamiento de época, demostrando que la estratificación temporal explícita permite al modelo generar estilos de escritura distintos y apropiados para cada periodo a través de las eras literarias Temprana, Media y Moderna.