💬 NLP

Echoes Across Vietnam's Highlands, Delta, and Coast: A Multilingual Corpus for Cham, Khmer, and Tay-Nung

本文介绍了 CKTN，这是首个针对越南语中的占米语、高棉语和岱依语的多语言语料库及基准测试，证明了由于文字和接触差异，标准的适配方法会失效，并提出了一种能够显著提高编码器性能和语义泛化能力的脚本感知预训练方案。

原作者： Anh Trac Duc Dinh, Khang Nhat Hoang Vo, Vinh Cong Doan, Tai Tien Ta, Khoa Duc Anh Lam

发布于 2026-07-10✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Anh Trac Duc Dinh, Khang Nhat Hoang Vo, Vinh Cong Doan, Tai Tien Ta, Khoa Duc Anh Lam

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人理解越南三种截然不同的少数民族语言：占米语（Cham）、高棉语（Khmer）和岱族-侬族语（Tay-Nung）。这些语言就像三种不同的乐器：占米语是一件弦乐器，可以用拉丁字母（拉丁脚本）来演奏，有时也用传统的弓弦（婆罗米脚本）；高棉语是一套复杂的架子鼓，音符之间没有清晰的间隙（词与词之间没有空格）；而岱族-侬族语则是一种看起来像标准长笛的管乐器（拉丁脚本），但可用的乐谱非常少。

问题在于：机器人的大脑（一个标准的 AI 模型）主要是在英语、中文和越南语上接受训练的。当它尝试阅读这些少数民族语言时，它会感到困惑。它看到一个单词，就会将其拆解成微小的、毫无意义的碎屑，就像试图一次只吃一粒碎屑来吃掉一整张披萨一样。这被称为碎片化（fragmentation）。

重大发现：“不要只数碎屑”

研究人员建立了一个庞大的新图书馆，名为 CKTN，其中包含 44,367 份文档和超过 2400 万个微小的词片（子词标记）。他们使用这个图书馆来测试机器人是否能够学习这些语言。

这里有一个转折：机器人的常规“成绩单”指标在欺骗他们。

陷阱： 机器人在“填空”测试（预测下一个词）和“寻找匹配句子”测试（检索）中可以获得完美分数。它看起来像个天才。
现实： 当被要求理解整篇文章的含义并将文章分类（例如“新闻”与“音乐”）时，机器人却表现得一败涂地。它只是在记忆表层的模式，就像是在匹配字体样式，而不是在理解故事。

论文指出，在单词预测和简单的匹配任务上具有低错误率，并不证明机器人真正理解了语言。 事实上，依赖这些测试会让你误以为机器人比实际情况更聪明。

解决方案：定制化的训练营

为了解决这个问题，团队不仅仅是喂给机器人更多的数据；他们还为它制定了一套专门的训练方案，称为 CKTN-ELECTRA。可以将其视为重塑机器人大脑的三个步骤：

扩充词典（词汇增强）： 机器人的原始词典对于这些语言来说太小了。团队专门为占米语、高棉语和岱族-侬族语添加了新词。现在，机器人不再将“Cham”拆分为“Ch”+“a”+“m”，而是将“Cham”看作一个完整的、坚实的整体。这使“碎屑”问题减少了 25–32%。
“脚本安全”游戏（脚本感知替换）： 他们使用了一种游戏，让机器人尝试猜测一个单词是否被替换掉了。通常，一个较弱的模型可能会仅仅因为看起来不同，就把一个高棉语单词换入一个占米语句子中。新的系统就像一个严格的裁判：“不准把高棉语脚本换进拉丁语句子中！” 这迫使机器人去学习单词的含义，而不是仅仅学习它们的视觉形状。
慢启动计划（线性调度）： 他们没有立即把机器人扔进深水区。他们从缓慢开始，让机器人先学习基础知识，然后再增加难度。这防止了机器人产生恐慌并学习错误的捷径。

结果：从困惑到冠军

经过这种特殊的训练，结果非常显著：

旧方法： 一个没有这些修复措施的标准模型（Rembert）在排序文章方面的准确率仅为 0.1454。它基本上是在瞎猜。
新方法： CKTN-ELECTRA 模型得分达到了 0.9214 的准确率。它成为了所有测试模型中的佼佼者。

然而，论文谨慎地指出了一点很有趣的事实： “寻找匹配句子”测试（信息检索）并没有发生太大变化。机器人原本在那方面就很擅长，因为它只需要匹配表层单词。真正的胜利在于理解含义（分类），而旧的测试忽略了这一点。

论文对什么说“不”

作者非常明确地指出了哪些做法是无效的：

不，仅仅增加数据是不够的。 如果你不修复词典和训练规则，机器人仍然无法理解含义，即使它在预测下一个词方面做得更好。
不，简单的单词匹配不是一个好的测试。 如果一个模型的得分在寻找相似单词方面很高，但在理解主题方面很低，那么它并没有真正“学习”这门语言。
不，我们还没有解决所有问题。 他们使用的数据主要来自政府新闻机构。这些数据正式且规范，但无法捕捉人们在社交媒体上实际使用的那种混乱、充满俚语的表达方式。论文暗示，机器人处理非正式文本时可能会遇到困难。

他们有多确定？

团队用硬性的数字衡量了这些结果。他们不仅仅是在猜测；他们运行了模型，划分了训练集和测试集，并计算了精确的分数。

他们证明了新方法（CKTN-ELECTRA）在分类任务上明显优于旧方法。
他们（根据其分析）建议，旧模型失败的原因是机器人的“大脑”过于碎片化，且训练游戏太容易作弊。
他们提醒，虽然他们的方法在处理新闻和正式文本方面表现出色，但目前还不清楚它在处理互联网上那种混乱、混合的语言时表现如何。

简而言之，论文表明，要教会机器人一种稀有语言，你不能仅仅扔给它一本词典。你必须修复它看待单词的方式，教它公平竞争，并针对那些真正需要理解力而非仅仅是模式匹配的任务进行测试。

技术摘要：越南高地、三角洲与海岸的回响

问题陈述

本文探讨了越南少数民族语言（特别是占米语 Cham、高棉语 Khmer 和泰侬语 Tay-Nung）在自然语言处理（NLP）研究中严重缺失的问题。作者认为，这不仅仅是一个简单的数据稀缺问题，其复杂性源于三个交织的因素：

脚本异质性（Script Heterogeneity）： 这些语言使用不同的书写系统（源自婆罗米字母的音节文字、无明确词界的高棉文字，以及基于拉丁字母的正字法），并且经常以混合或非标准化的数字形式出现。
词汇碎片化（Lexical Fragmentation）： 现有的多语言编码器（如 mBERT、XLM-R、RemBERT）为这些低资源语言分配的词表容量不足，迫使单词被拆分为长串的延续性子词片段（continuation subword pieces）。这削弱了词汇表示和下游迁移能力。
适配失效模式（Adaptation Failure Modes）： 标准的适配技术，特别是 ELECTRA 式的持续预训练（替换标记检测或 RTD），在脚本异质性的设置下会失效。一个从零开始初始化的弱生成器可能会产生平凡的替换（例如，将高棉文字符插入到拉丁文字符序列中），判别器可以通过这些表面的脚本线索进行检测，而非通过真正的语义理解。这导致模型虽然能最小化损失或擅长词汇重叠检索，却无法实现语义泛化。

方法论

作者提出了 CKTN，这是一个全新的多语言语料库和基准测试，并提出了一种**脚本感知适配方案（script-aware adaptation recipe）**来解决上述特定的失效模式。

1. CKTN 语料库与基准测试

作者构建了一个包含 44,367 份文档（超过 2400 万个子词标记）的语料库，来源包括越南政府及地区新闻机构（如越南之声、地方报纸）。该数据集涵盖：

占米语 (Cham)： 中南部沿海（南岛语系）。
**高棉语 (Khmer)：**湄公河三角洲（南岛语系/南亚语系）。
**泰侬语 (Tay-Nung)：**北部高地（壮侗语系）。

该基准测试支持三项任务：

持续预训练 (CPT)： 采用 80/20 的训练/开发集划分进行语言建模。
类别分类： 在每种语言的 9–10 个类别中进行 28 路分类，测试跨越词汇差异较大的文档时的语义泛化能力。
摘要-文档检索： 将摘要与源文章配对，测试通过共享表面形式进行的恢复能力。

2. 脚本感知适配方案

所提议的方法 CKTN-ELECTRA 通过三个关键组件修改了标准的 ELECTRA 预训练流程：

词表扩充 (Vocabulary Augmentation)： 在预训练之前，利用 CKTN 语料库上的候选选择过程扩展源词表。新标记通过其在原始分词器中的分解得分进行校准，以防止过度选择噪声片段。新标记的嵌入通过对其源标记分解部分的嵌入取平均值来进行初始化，从而将其锚定在现有的多语言空间中。
难度校准的替换采样 (Difficulty-Calibrated Replacement Sampling)： 为了防止判别器通过脚本不匹配学习“捷径”，替换采样器强制执行四个约束：
1. 替换项不得与原始标记完全相同。
2. 替换项必须是格式良好的（除非原始项是，否则不得出现控制符号或以标点为主的片段）。
3. 脚本兼容性： 候选项必须与局部上下文的脚本相匹配（例如，排除高棉文字符进入拉丁文字符的占米语/泰侬语序列）。
4. 嵌入相似度： 候选项必须落在特定的嵌入相似度区间内，以避免平凡的拒绝或无信息的重复。
线性生成器-判别器调度 (Linear Generator-Discriminator Scheduling)： 为了稳定训练（其中生成器是从零开始训练，而判别器是从预训练编码器初始化的），RTD 损失权重 ( $\lambda$ ) 在前几个 epoch 中从 0 开始线性增加到最大值。这允许生成器在判别器损失被完全应用之前，先学习到一个合理的目标语言分布。

关键结果

内在评估

分词质量： 与基准模型相比，CKTN-ELECTRA 显著降低了费率（fertility）（每个单词的标记数）达 25–32%，并将**延续标记比例（continuation-token ratio）**从 RemBERT 高达 44.5% 的水平降至所有三种语言中均低于 11%。
语言建模损失： 持续预训练大幅降低了所有基准模型的 MLM 损失，证实了该语料库对于标记级适配是充分的。然而，作者指出，低 MLM 损失并不保证高质量的文档表示。

外在评估

类别分类： CKTN-ELECTRA 取得了最强的性能（0.9214 准确率 / 0.7103 Macro-F1），显著优于 XLM-R (0.8169/0.5617)、mBERT (0.8024/0.5054)，并且明显优于标准的 RemBERT (0.1454/0.0053)。标准 RemBERT 的表现崩溃表明，如果没有经过校准的词表扩充，模型无法学习可迁移的语义结构。
信息检索： 与分类任务相反，检索指标（MRR@10, Recall@10）显示 CKTN-ELECTRA 的提升微乎其微，且基准模型依然保持高位。作者将其归因于该任务依赖于摘要与文章之间的词汇重叠，这掩盖了较差的语义泛化能力。

消融实验

移除脚本感知过滤或线性调度中的任何一项，都会导致分类性能崩溃至接近随机水平（例如，Macro-F1 下降至 ~0.0012），这证实了这两个组件对于防止判别器利用表面线索都是必要的。

重要性与主张

本文声称有三个主要贡献：

资源创建： 引入了 CKTN，这是第一个针对占米语、高棉语和泰侬语的大规模语料库和基准测试，使得研究脚本和接触变异下的低资源迁移成为可能。
识别失效模式： 作者证明了标准多语言编码器会对这些语言造成严重的碎片化，并且常见的适配信号（MLM 损失和词汇重叠检索）具有误导性，会在脚本异质性的设置下高估表示质量。
方法论进步： 所提出的脚本感知适配方案（词表扩充 + 校准后的 RTD）成功缓解了“捷径学习”问题，产生了一个碎片化程度更低且具有卓越分类性能的编码器。

作者总结道，虽然词汇重叠检索是一个方便的指标，但在低资源、脚本多样化的背景下，它并不是可靠的表示质量代理指标。真正的适配需要能够迫使模型学习“语义混淆性”而非“基于脚本的捷径”的方法。该工作的局限性在于其依赖于正式的新闻语体（缺乏非正式/语码转换文本），以及语料库规模相对较小，特别是对于泰侬语和高棉语检索子集。