Examining the Limits of Word2Vec with Toki Pona

技术摘要：探讨 Word2Vec 在托基旁（Toki Pona）语言中的极限

问题陈述
词嵌入，尤其是 Word2Vec，已在具有大规模词汇量（数万至数十万词）的自然语言中得到了广泛验证。然而，其在词汇量极低端的有效性仍未得到测试。本研究调查了 Word2Vec 是否能在托基旁语——一种核心词汇仅约 130 个词的构建语言——中成功捕捉语义关系。在这种极简系统中，单词具有高度的多义性（例如，tomo 既指房间也指车辆），且由于少量术语之间的高频交互，共现分布图谱本质上缺乏辨别力。

研究解决的第二个挑战是“语言噪声”的存在。托基旁社区语料库中约有 23% 的句子包含非核心标记，包括命名实体、外来词和新词。目前尚不清楚这些标记是提供了必要的上下文丰富性，还是作为噪声干扰了核心词汇的语义结构。

方法论
研究人员从托基旁社区（2016–2025）构建了一个包含 142 万个句子（795 万个标记）的语料库。为了隔离非核心标记的影响，研究准备了两个不同的数据集：

1. 全量语料库（Full Corpus）： 保留所有标记，包括非托基旁词汇。
2. 纯托基旁语料库（Pure Toki Pka Corpus）： 过滤掉所有包含非核心标记的句子，最终得到 110 万个句子（590 万个标记）。

研究使用 skip-gram 算法，在窗口大小为 5、迭代 10 轮的情况下，从头开始训练了两个 Word2Vec 模型。根据词汇表规模和语料库特征，确定的最优向量维度为 24 维。

评估采用了三种主要方法，并针对极小词汇量的限制进行了调整：

• 类别质心接近度（Category Centroid Proximity）： 使用了一组基于 WordNet 超级感官（supersenses）但针对托基旁语法灵活性进行了调整的 27 个语义类别作为基准真相。通过测量词向量与类别质心之间的余弦相似度，并以动态阈值（平均相似度 + 1 个标准差）进行衡量。
• 无监督聚类（Unsupervised Clustering）： 应用了采用完全链接法（complete linkage）的凝聚层次聚类，以确定是否自然产生了语义簇。通过计算不同距离阈值下的轮廓系数（Silhouette scores）来识别最佳聚类分离度，并与随机基准进行对比。
• 跨语言比较（Cross-Linguistic Comparison）： 使用表征相似性分析（RSA）将托基旁模型的语义结构与预训练的英语模型（Google News 语料库）进行比较，以评估收敛效度。

关键结果

• 结构稳定性： 两个模型的轮廓系数（全量语料库为 0.261，纯托基旁语料库为 0.267）均显著高于随机基准（0.166）。聚类结构的排列（如动物、颜色、亲属关系）在两个模型之间保持了高度的一致性，表明稀疏的非核心标记不会破坏基本的语义拓扑结构。
• 非核心标记的影响： 与“非核心标记作为噪声”的假设相反，全量语料库模型展示了更高的语义密度。全量语料库模型的类别质心平均余弦相似度（$\mu=0.879$）高于纯托基旁语料库模型（$\mu=0.817$）。这表明偶然出现的标记（例如用于 YouTube 的命名实体 Jutu）提供了上下文桥梁，将相关的核心概念（例如用于网站的 lipu）拉近到一起。
• 类别检索： 两个模型都成功识别了 124/125 个词-类别分配。虽然整体结构是稳定的，但移除非核心标记对特定抽象类别（如 evaluative.positive）的影响比对具体类别（如 animals）的影响更大。
• 跨语言一致性： 对表征相似性矩阵的定性分析显示，托基旁语中语义类别之间的相对接近模式镜像了英语模型中所发现的模式，这表明模型学习到了真实的语义结构，而非仅仅是语料库的人为产物。

意义与主张
本文主张，Word2Vec 的有效性更多是由分布模式而非单纯的词汇量规模驱动的，即使是在约 130 个词的极端低端水平下也是如此。研究证明，在高度多义且极简的语言中，依然可以产生有意义的语义结构。此外，本研究挑战了“外来词和命名实体等‘噪声’必然会降低嵌入质量”的假设；在这种情况下，此类标记似乎通过提供额外的分布上下文，增强了语义簇的凝聚力。研究结果表明，只要有足够的分布数据，词嵌入模型足以在词汇量大幅缩减的环境中发挥作用。