The Morphological Core of Dungan: A Two-Dialect Finite-State Model and a Multi-Genre Evaluation

想象一下，你是一名试图破解谜题的侦探，但你的犯罪现场不是犯罪现场，而是一种语言。这篇论文存在于计算语言学的世界中，这是一个科学家们构建数字工具以理解人类语言如何运作的领域。为了破解这个谜题，他们使用了一种特定类型的工具，叫做有限状态模型（finite-state model）。把这个模型想象成一个超级有序的图书馆卡片目录或是一个火车站地图。它并不像人类那样试图理解句子的意义；它只是检查一个词是否符合特定的模式。它会问：“这个词是否有词干（主体部分）和标签（附加在末尾的小部分）？”如果模式匹配，工具就会说：“明白了！”如果不匹配，它就会说：“我不认识这个词。”

为什么有人会在意这个？因为对于许多语言，我们拥有词典和语法书，但我们却没有这些数字地图。没有它们，计算机就无法有效地翻译、进行拼写检查或在这些语言的文本中进行搜索。这篇论文探讨的问题既简单又棘手：一种语言究竟有多少是由这些带有模式的小碎片组成的，又有多少仅仅是一个巨大的独特词汇表？ 如果一种语言主要由模式组成，那么“地图”就可以做得既小巧又整洁；如果它主要是独特的单词，那么“地图”就需要非常庞大。

---

顿河语（Dungan）之谜

来认识一下顿河语，这是一种由一个百年前迁徙至此的中亚穆斯林群体所使用的语言。它是汉语的一个近亲，但有一个特别之处：它们不使用汉字，而是使用西里尔字母（与俄语相同的字母表）来书写。由于它们舍弃了汉字以及通常有助于区分词义的声调，顿河语有点像一场“猜猜是谁？”的游戏，因为许多字符在纸面上看起来完全一样。

这篇论文的作者 Anton 和 Sergey 决定为顿河语构建一个数字“地图”（有限状态分析器），以观察其语法在现实生活中是如何运作的。他们不想发明新的规则；他们想将现有的旧语法书中的规则转化为一台可以测量语言的运转机器。他们为两种方言构建了这个地图：甘肃变体（标准文学版）和陕西变体。

重大发现：微小的核心与庞大的词汇库

当他们用这个地图对来自三种不同类型文本（百科全书、民间故事和宗教叙事）的数千个句子进行运行时，他们发现了一些令人惊讶的事情。

1. “隐形”的语法
在许多语言中，单词的形式会不断变化（例如“walk”变成“walked”、“walking”、“walks”）。但在顿河语中，这种情况非常罕见。作者发现，在百科全书文本中，只有 9.3% 的单词实际上带有可见的“标签”。在民间故事中，比例为 13.4%；而在宗教叙事中，比例为 27.1%。

• 类比： 想象一座城市，90% 的建筑都是平淡无奇的方块。只有极少数建筑在顶部装饰有特殊的旗帜或装饰。顿河语的“语法”就是这些少有的旗帜。大多数时候，单词只是静静地存在，不发生变化。

2. “双黏着词”歧义
由于变化较少，一旦发生变化，情况就会变得混乱。作者发现，在工具识别出的单词中，有 78.1% 只有一个可能的含义。这是一个非常清晰的信号！然而，剩下的困惑几乎全部集中在仅有的两个微小的词片（黏着词）上：-di 和 -ni。

• 类比： 想象一个交通灯，它在 78% 的时间里都能完美工作。只有当灯光卡在“黄灯”或“红灯”时才会让人困惑，且没人知道它代表“停止”还是“通行”。在顿河语中，小部件 -di 可以表示“属于”（属格）或“正在进行”（进行时）；而 -ni 可以表示“在某个地方”（处所格）或“即将发生”（将来时）。计算机在没有更多上下文的情况下无法区分它们，但至少它知道困惑出在哪里。

3. “封闭”的核心
关于他们的地图有多“完整”，这是最重要的发现。他们问道：“当计算机无法识别一个单词时，是因为缺少语法规则，还是因为单词本身是新的？”
他们发现，在计算机无法处理的单词中，介于 78% 到 95% 之间的单词仅仅是不在词典中。语法规则本身实际上是“封闭”且完整的。他们未包含的内容（如某些罕见的过去时习惯或特定的语音变化）最多仅占失败案例的 4.5%。

• 类比： 想象你正在动物园里识别动物。你有一本完美的指南来识别狮子、老虎或熊。如果你看到一个你不认识的动物，那几乎可以肯定是因为它是一个你从未见过的物种，而不是因为你的指南缺少关于狮子如何走路的规则。顿河语的“前沿”不在于语法，而在于词汇量。

数字告诉了我们什么

作者非常仔细地测量了他们的工具所能做到的程度。

• 覆盖率： 当他们在从未见过的文本上测试其地图时，它成功识别了 80–85% 的单词。
• 形态学的力量： 如果他们只是使用一个单词列表而不使用任何语法规则，他们只能识别出 67.4% 的单词。通过加入语法规则（即“形态学”），他们将这一数字提升到了 72.6%。这是一个 5.2 个百分点的增益。这是一个有帮助的提升，但也证明了语法是“薄弱”的——主要的重任是由单词列表而非规则完成的。
• 准确性： 对于他们确实识别出的单词，该工具在寻找正确含义方面表现得很好，尽管有时会卡在那些棘手的 -di 和 -ni 词片上。

结论：通往未来的地图

论文得出结论：顿河语的“形态核心”是紧凑的、仅在少数类别中具有生产性，并且实际上是封闭的。语法是简单且已完成的；挑战仅仅在于学习所有的单词。

作者发布了他们的“地图”（分析器）、代码和测试，供任何人使用。他们承认，他们的工作是基于书面书籍和词典的一个假设，而非来自母语者的最终定论。他们甚至包含了一个“工作表”，邀请母语者参与进来纠正任何错误。这是一个起点，是一个数字基础，旨在帮助计算机最终理解这种独特的、使用西里尔字母书写的语言。开放的前沿不是游戏的规则，而是玩家本身。