Era-Aware Language Modeling: Training a Decoder-Only Transformer on a Balanced Gutenberg Corpus
本文介绍了 GutenbergLM，这是一个拥有 1.095 亿参数的仅解码器 Transformer 模型，该模型从零开始在经过时间平衡处理的古腾堡计划（Project Gutenberg）语料库上进行训练，并引入了时代调节标记（era-conditioning tokens），证明了显式的时间分层能够使模型在早期、中期和现代文学时代之间生成截然不同的、符合特定时期的写作风格。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个巨大的、超级聪明的机器人，它通过阅读数百万本书来学习写作。通常，当我们教这些机器人时，我们会把整个互联网都喂给它们。问题在于，互联网大部分是由过去20年间产生的内容组成的。这就像是教一个历史系学生只看当天的时事新闻；他们可能很擅长处理时事，但却无法理解1700年代或1800年代的人是如何说话的。
这篇论文介绍了一个名为 GutenbergLM 的新项目。你可以把它想象成一个针对小型、高效机器人的“时空旅行写作课”。研究人员没有使用混乱的互联网，而是给这个机器人喂养了一套精心策划的图书馆——来自 Project Gutenberg（一个庞大的免费古籍收藏库）的书籍。
以下是他们是如何完成的，分为简单的几个步骤：
1. 构建完美的图书馆（语料库）
研究人员并没有随机抓取书籍。他们想确保机器人能均衡地学习三个不同的“时代”：
- 早期时代： 1800年以前编写的书籍。
- 中期时代： 1801年至1900年之间的书籍。
- 现代时代： 1900年以后的书籍。
通常情况下，图书馆里1800年代的书籍要比1700年代的多得多。为了解决这个问题，研究人员扮演了严格图书管理员的角色。他们统计了每个时代的书籍数量，并从每个组中挑选了完全相同数量的书籍（每个时代大约5,300本）。这确保了机器人不会对某个特定时期产生偏见。他们还对书籍进行了清洗，删除了重复的副本以及标准的“Project Gutenberg”法律页眉，以便机器人只学习故事本身。
2. 教机器人说话（分词/Tokenization）
在计算机阅读之前，它必须将单词分解成更小的部分，称为“标记”（tokens）。研究人员构建了一个包含32,000个单词的特殊字典（分词器）。
- 秘诀所在： 他们在字典中加入了三个特殊的“魔法词”（或控制标记）：
<ERA_EARLY>、<ERA_MIDDLE>和<ERA_MODERN>。 - 运作方式： 把这些想象成收音机的旋钮。当机器人看到
<ERA_EARLY>旋钮时，它就知道该切换到一种听起来像1700年代人的“声音”；当它看到<ERA_MODERN>时，它会切换到现代的声音。
3. 机器人的大脑（架构）
机器人本身是一个“仅解码器结构的 Transformer”（decoder-only transformer），这是一种高级说法，指一种旨在预测句子中下一个单词的现代AI大脑。
- 它规模相对较小（约1.09亿个参数），这使其非常高效。
- 它使用了现代技术来学习得更快、记忆上下文更好，例如 旋转位置嵌入（Rotary Position Embeddings，帮助它理解单词顺序）和 SwiGLU（一种能高效处理信息的神经元类型）。
- 它是在单块显卡（NVIDIA A10G）上训练了约13小时完成的。
4. 结果：奏效了吗？
在训练运行结束后，研究人员测试了机器人。以下是他们的发现：
- 它学会了写作： 机器人成功学会了以很高的准确率预测句子中的下一个单词（其“困惑度”得分约为24，对于小型模型来说相当不错）。
- “收音机旋钮”奏效了： 当他们要求机器人以
<ERA_EARLY>标签开始写一个故事时，它生成的文本听起来非常古老，使用了诸如“thence”（由此）和“unto”（向/于）之类的词汇，并引用了旧的日期。当他们使用<ERA_MODERN>标签时，文本听起来像是一部当代小说，提到了“俱乐部”和“平台”等事物。 - 没有作弊： 机器人不仅仅是死记硬背书籍；它学习了每个时代的“风格”。它可以生成具有时代感的全新句子，而无需被告知故事的具体内容。
为什么这很重要
该论文认为，目前的多数AI模型因为是在混乱的现代互联网数据上训练的，所以是“时间盲”的。本项目证明了，如果你通过时间段来精心平衡你的训练数据，你就可以教会一个小型AI仅仅通过拨动一个开关，就能理解并模仿不同的历史写作风格。
简而言之： 研究人员构建了一个时空旅行写作导师。他们给它喂养了营养均衡的古今书籍，给了它一组特殊的“时代按钮”，并展示了同一个大脑如何通过切换，就能让写作风格在1700年代、1800年代或今天之间自由切换。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。