💬 NLP

Paramanu: Compact and Competitive Monolingual Language Models for Low-Resource Morphologically Rich Indian Languages

本文介绍了 Paramanu，这是一个由五种主要印度语言的开源数据从头开始训练而成的紧凑且具成本效益的单语语言模型家族，该系列模型利用专门的分词器和训练技术，尽管其规模较小且仅使用单 GPU 训练预算，却表现出了优于大型多语言模型的性能。

原作者： Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

发布于 2026-01-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，人工智能的世界就像一座巨大且繁忙的图书馆。长期以来，这座图书馆几乎完全充满了英文书籍。虽然也有一些其他语言的书籍，但它们通常只是英文书籍的翻译，或者其编写方式假设读者是用英文思考的。如果你试图在这座图书馆里阅读一本关于印度语言的书，你可能会发现书页被撕裂了，单词被破碎成细小、混乱的碎片，或者整个故事根本讲不通。

你所询问的这篇论文介绍了一个全新的、专门化的书籍系列，叫做 PARAMANU。以下是他们如何构建它以及它为何重要的故事，用简单的语言进行了解释。

问题所在：“一码通”的西装并不合身

目前的巨型 AI 模型就像是为英语使用者制作的巨大、沉重的西装。当研究人员试图将这些西装强行套在印度语言（如印地语、泰米尔语或孟加拉语）的使用者身上时，西装并不合身。

“破碎单词”问题： 印度语言在形态上非常丰富，这意味着单词会为了增加含义而改变形状（比如通过添加“s”表示复数或通过“ed”表示过去时，但其复杂程度要高得多）。大型模型经常把这些单词切碎成微小、无用的碎片，就像试图通过只咬掉苹果皮来吃掉整个苹果一样。这使得 AI 变得缓慢且低效。
“英文大脑”问题： 即使这些模型会说印度语言，它们在底层往往仍以英文“思考”，从而导致表达生硬或产生偏见。
“成本过高”问题： 从头开始构建一个新的 AI 通常需要花费数百万美元，并且需要超级计算机。这使得印度的研究人员或预算较少的人无法构建属于自己的工具。

解决方案：PARAMANU “量身定制”的西装

作者创建了 PARAMANU，这是一个由五个小型、定制化 AI 模型组成的家族。每一个模型都是专门为一种主要的印度语言设计的：孟加拉语、印地语、马拉地语、泰米尔语和泰卢固语。

请不要把它们看作巨大的、沉重的西装，而要看作是专为穿着者设计的轻便、合身的制服。

1. 从零开始构建，而非修补而成

他们并没有拿一个英文模型并尝试去“教”它印度语言（这就像试图仅通过使用法语单词来教一个法国人说印地语），而是从底层开始构建这些模型，仅使用印度数据。这就像是用当地的砖块和木材建造房子，而不是进口那些不适应当地气候的材料。

2. “智能粉碎机”（分词器/Tokenizer）

其中一项最重要的创新是创建了一种新的拆解单词的方式，称为分词器（tokenizer）。

旧方法： 想象一个粉碎机，它把像“unbelievable”这样的单词切成“un”、“believ”、“able”。它丢失了词根的含义。
PARAMANU 的方法： 他们创建了一个理解印度语言语法的“智能粉碎机”。它能保持单词词根的完整性（如“unbeliev”）并只分离后缀。这使得 AI 处理单词的速度更快，且产生的“碎片”更少。这被称为低生育率（low-fertility），意味着它不会产生过多不必要的碎片。

3. “预算友好型”构建

最令人惊讶的部分是成本。通常，训练一个 AI 就像发射火箭；它需要庞大的预算。

PARAMANU 的窍门： 他们成功地在单张显卡（标准的计算机部件）上训练了这些模型，预算不到 1,000 美元。
类比： 这就像是在车库里用一把普通的扳手和几百美元就造出了一辆高性能赛车，而不是需要一个工厂和百万美元的预算。这让那些资源有限的研究人员也能构建具有竞争力的工具。

4. 扩展记忆力（上下文缩放）

AI 模型有“记忆限制”（上下文窗口），即它们一次能阅读多少文本。通常，如果你想读一本更长的书，你需要一台更大的计算机。

创新点： 作者开发了一种数学技巧（使用被称为 RoPE 插值 的技术），允许模型“拉伸”其记忆。
类比： 想象你有一把短尺子。他们并没有发明一把更长的尺子，而是发明了一种方法，通过重新标记这把短尺子，使得短尺子上的每一英寸都代表地图上的里数。这让模型可以在不需要更昂贵硬件的情况下阅读更长的文本序列。

结果：小而强大

当他们测试这些小型模型（参数量在 1.08 亿到 3.67 亿之间——可以把这些参数理解为模型的“脑细胞”）与许多大型模型（有些拥有数十亿个脑细胞）进行对比时：

弱者反超： 这些小型 PARAMANU 模型在各自特定的语言中，表现往往优于那些庞大、昂贵的多语言模型。
效率： 它们在性能和成本之间实现了更好的平衡。它们就像是一辆紧凑、省油的汽车，其油耗表现优于豪华的燃油轿车。

“指令”图书馆

为了让这些模型能够胜任实际任务（如回答问题或遵循指令），团队创建了一套孟加拉语的“指令”示例。然后，他们将这些示例仔细地翻译成其他四种语言。这就像是在 AI 的母语中给它一本食谱，教会它如何烹饪它应该提供的菜肴。

总结

该论文认为，对于语法丰富且数字资源较少的语言，最好的策略并不是构建一个更大、更昂贵的模型。相反，最好的策略是构建更小、更专业化的模型，这些模型具备以下特点：

原生性： 仅针对特定语言进行训练。
智能化： 使用理解该语言结构的分词器。
易获得性： 任何拥有适度预算的人都可以进行训练。

他们证明了，你不需要十亿美元的预算来为印度语言构建优秀的 AI；你只需要正确的工具以及对语言特定需求的关注。

技术摘要：PARAMANU

问题陈述

当前的大型语言模型（LLMs）主要在英语和高资源欧洲语言上进行训练，这导致了在处理如印度语言这类低资源、形态丰富的语言时出现显著的性能差异。多语言模型经常遭受“以英语为中心偏见”的影响，即它们会“用英语思考”，从而导致在非拉丁字母脚本上的性能下降。此外，这些模型经常使用“通用语言”分词器（tokenizer），这会导致在形态丰富的语言中出现过度切分，从而产生高分词率（token fertility）、增加推理成本并降低流畅度。通过持续预训练或微调将现有的以英语为中心的模型适配到印度语言面临着诸多挑战，例如词表扩展效率低下、嵌入对齐偏差以及灾难性遗忘，这些过程通常需要超出资源匮乏的研究人员所能负担的计算资源。

方法论

作者推出了 PARAMANU，这是一个单语自回归仅解码器语言模型家族，专门针对五种主要的印度语言进行从零开始的训练：孟加拉语、印地语、马拉地语、泰米尔语和泰卢固语。这些模型的规模从 108M 到 367M 参数不等，旨在单块 GPU 上进行训练，且预算控制在 1,000 美元以内。

核心技术组件：

数据策展与清洗：
- 预训练语料库包含约 54.6 GB 的 UTF-8 文本（250 亿至 660 亿个 token），源自网络抓取的新闻、博客和维基百科（IndianCorp v2, Vacaspati）。
- 严格的清洗工作包括使用正则表达式过滤 HTML/XML、移除非文字字符、语言识别（使用 cld3 和 IndianLID-FTN）、毒性过滤以及通过 MurmurHash5 进行去重。
- 句子切分利用了特定语言的标点符号（例如孟加拉语和天城文脚本中的“danda” |）。
形态对齐的分词技术：
- 为了解决过度切分问题，作者开发了一种结合了字节对编码（BPE）与 Unigram 语言模型 token 的混合分词器。
- Unigram token 通过概率剪枝捕捉全局形态结构，并被合并到 BPE 词表中。
- 这种方法将词干和频繁出现的后缀保留为原子级的子词，与标准的 BPE 或像 Sarvam 2B 和 Llama-3 这样的多语言模型相比，显著降低了分词率（每个单词产生的 token 数量）。
通过位置插值实现上下文缩放：
- 为了在硬件上下文窗口有限（例如在单块 A100 GPU 上为 256 个 token）的情况下训练更长的序列（高达 4096 个 token），作者对旋转位置嵌入（RoPE）采用了收缩因子。
- Token 位置索引 $p$ 被缩放为 $p' = p \cdot (L/y)$ ，其中 $L$ 是硬件允许的上下文长度， $y$ 是目标长度。这使得模型能够通过将绝对位置映射到较窄的硬件支持范围内，同时保留相对距离，从而学习长程依赖关系。
指令微调：
- 为孟加拉语创建了一个包含 23,000 条指令的数据集，其中包括人工编写的样本、翻译的 Dolly 指令以及自指令（self-instruct）样本。
- 这些指令被机器翻译（并经过人工后编辑）至印地语、马拉地语、泰米尔语和泰卢固语，以使模型与人类指令对齐。
模型架构：
- 基于 Transformer 解码器架构，利用 RMSNorm、SwiGLU 激活函数和权重绑定（weight tying）。
- 配置遵循 Chinchilla 缩放法则，模型规模在 108M 至 367M 参数之间。

核心贡献

PARAMANU 家族： 首个开源、仅限印度语言、规模在 400M 以下的解码器语言模型家族，专门针对孟加拉语、印地语、马拉地语、泰米尔语和泰卢固语，并在完全透明的特定语言数据上从零开始训练。
低分词率分词器： 新颖的形态对齐分词器，结合了 BPE 和 Unigram 方法，以减少 token 数量并提高印度脚本的形态连贯性。
高效训练技术： 一种基于插值的位置索引方法，实现了在单 GPU 设置下的长上下文训练，并使用了 $\mu$ P 迁移进行超参数优化。
指令数据集： 开发了新型指令微调数据集，通过将孟加拉语指令翻译至其他目标语言，促进了与人类指令的对齐。

结果

PARAMANU 模型在 MMLU、ARC、Belebele、XNLI 以及特定语言数据集（HellaSwag、XCOPA、XStoryCloze）上，与 21 个多语言及印度适配的 LLM（规模从 200M 到 8B 参数不等）进行了对比评估。

性能与规模的关系： 尽管规模较小（<400M 参数）且训练数据有限（<70B tokens），PARAMANU 模型在所有五种语言上的表现均优于大多数规模更大的多语言模型（高达 3B 参数）。
与更大模型的比较： 这些模型在所有语言中超过了 10 个较大规模（>3B 参数）的模型中的 6 个，包括那些使用上采样低资源数据的模型（如 xGLM）。虽然 LLaMA-3-8B 和 Bloomz-7B 因大规模指令微调而在整体表现上领先，但 PARAMANU 仍具有竞争力。
消融实验：
- 混合分词器相比标准 BPE 将下游任务性能提升了 0.56% 至 2.02%。
- 数据清洗进一步将得分提升了 1% 至 3.5%。
- 位置插值实现了在更长序列上的有效训练，且性能通常随上下文大小的增加而提升。
跨语言迁移： 模型在天城文脚本家族内展示了强大的零样本迁移能力（例如，马拉地语模型在印地语基准测试中表现良好），表明其在跨语言任务中的应用价值。

重要性与主张

论文指出，对于低资源、形态丰富的语言，最优策略并不一定是最大化模型规模或依赖海量多语言语料库。相反，构建具有低分词率、形态对齐分词器并基于清洗后的特定数据训练的特定语言模型，可以获得更优的性能-效率权衡。

PARAMANU 证明了在严苛的计算和预算约束下，小型单语模型可以与规模大得多的多语言替代方案相媲美。这种方法使先进的语言建模对于资源匮乏的研究人员和社区变得触手可及，为印度语言的 NLP 研究和下游应用提供了实用的基础。作者强调，他们开源发布模型、分词器和数据集，旨在弥合历史上在 AI 研究中代表性不足的语言之间的差距，促进透明度和社区驱动的进步。