Era-Aware Language Modeling: Training a Decoder-Only Transformer on a Balanced Gutenberg Corpus
本論文は、時代条件付けトークンを用いた時間的に均衡なプロジェクト・グーテンベルクのコーパスを用いてゼロから学習させた、1億950万パラメータを持つデコーダーのみのトランスフォーマーであるGutenbergLMを紹介するものであり、明示的な時間的層化によって、初期、中期、および近代の文学的時代にわたる、明確で時代に即した執筆スタイルを生成できることを実証している。