NorBERTo: A ModernBERT Model Trained for Portuguese with 331 Billion Tokens Corpus
本文介绍了 NorBERTo，这是一个专为巴西葡萄牙语设计的现代仅编码器模型，基于包含 3310 亿个词元的最大规模公开单语语料库（Aurora-PT）训练而成，其在多个语义基准测试中取得了最先进的性能，并为下游自然语言处理任务提供了一种高效且可部署的解决方案。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试教一个机器人理解葡萄牙语。长期以来，最先进的机器人就像那些读过几本好书却未曾踏足整座图书馆的学生。本文介绍了一款名为NorBERTo的新机器人，以及一座名为Aurora-PT的庞大新图书馆，它帮助机器人进行学习。
以下是他们如何做到的故事，以简洁的方式说明：
1. 问题：机器人需要一座更大的图书馆
在此之前，最优秀的葡萄牙语机器人（如BERTimbau和Albertina）是在包含约 20 亿至 30 亿个“词元”（tokens）的图书馆上训练的。虽然表现不错，但这就像试图通过阅读几本小说和一本字典来学习一门语言。
作者们意识到，要打造真正聪明的机器人，他们需要一座规模如巨型城市般的图书馆。他们希望构建一个能够理解巴西葡萄牙语细微差别的机器人，而无需依赖一个庞大、昂贵且会生成无尽故事（这些故事容易编造，即“产生幻觉”）的超级计算机。
2. 新图书馆：Aurora-PT
团队构建了Aurora-PT，这是一个全新的文本集合。
- 规模：它包含3310 亿个词元。为了便于理解，如果旧图书馆只是一个书架，那么 Aurora-PT 就是一整座仓库。它目前是最大的葡萄牙语开源图书馆。
- 清洗：他们并非将所有内容一股脑地堆砌进去。他们像严格的图书管理员一样，使用自动化工具剔除垃圾、重复页面和有害内容。他们仅保留了来自维基百科、博客和网页等多样化来源的高质量、纯净文本。
3. 新机器人：NorBERTo
利用这座庞大的图书馆，他们训练了一款名为NorBERTo的新机器人。
- 设计：他们没有采用旧式的标准机器人设计，而是使用了一种名为ModernBERT的现代蓝图。这就像从自行车升级为高速电动自行车。它具备特殊功能，使其能够阅读更长的句子而不致困惑，并大幅提升信息处理速度。
- 规模：他们构建了两个版本：“基础”模型（约 1.5 亿个“脑细胞”或参数）和“大型”模型（约 3.95 亿个）。
- 训练：他们仅使用葡萄牙语文本从零开始训练机器人。它没有作弊，即没有从英语知识中起步；它纯粹通过 Aurora-PT 图书馆学习葡萄牙语。
4. 试驾：表现如何？
团队对 NorBERTo 进行了一系列驾驶测试（基准测试），以评估其理解葡萄牙语的能力与旧冠军相比如何。
- “逻辑”测试（文本蕴含）：想象向机器人展示两个句子，并询问：“第二个句子是否在逻辑上紧随第一个句子？”
- 结果：NorBERTo（大型）赢得了这一类别，击败了之前的最佳模型。这证明了现代设计加上庞大的图书馆等于更优的逻辑能力。
- “含义”测试（语义相似度）：想象询问：“这两个句子是否在表达相同的意思？”
- 结果：旧冠军 BERTimbau 在此领域仍保持领先。作者解释说，这可能是因为 BERTimbau 从英语训练中获得了先发优势，而 NorBERTo 则必须从零开始学习一切。
- “改写”测试（MRPC）：机器人能否判断两个句子是否只是表达同一意思的不同方式？
- 结果：NorBERTo（大型）彻底碾压了竞争对手，在葡萄牙语特定任务中取得了有史以来的最高分。
5. 核心结论
该论文得出结论：你不需要一个庞大、昂贵的“超级机器人”（如那些撰写故事的巨型 AI 模型）就能很好地完成特定任务。
通过将庞大、纯净的图书馆（Aurora-PT）与现代、高效的设计（ModernBERT）相结合，他们创造了一个“金发姑娘”式的机器人：
- 它不过小（比旧模型更聪明）。
- 它不过大（比巨型 AI 更便宜、运行更快）。
- 它对于现实世界的任务来说恰到好处，例如分类电子邮件、理解客户问题或帮助搜索引擎找到正确答案。
简而言之：他们建造了一座更大、更纯净的图书馆，以及一个更聪明、更高效的机器人，证明了要理解葡萄牙语，你不必成为房间里最大的 AI——你只需要正确的工具和正确的数据。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。