Era-Aware Language Modeling: Training a Decoder-Only Transformer on a Balanced Gutenberg Corpus
이 논문은 시대 조건부 토큰을 포함하여 시간적으로 균형 잡힌 프로젝트 구텐베르크 코퍼스로부터 처음부터 학습된 109.5M 파라미터 규모의 디코더 전용 트랜스포머인 GutenbergLM을 소개하며, 명시적인 시간적 계층화가 초기, 중기, 현대 문학 시대에 걸쳐 뚜렷하고 시대에 적합한 문체를 생성할 수 있음을 입증한다.