A Multilingual Dataset of Lexical, Syntactic, and Semantic Features from Wikipedia across Five Languages
本文介绍了一个公开可用的多语言数据集，该数据集包含来自五种语言、共计 1,860 篇维基百科文章的词汇、句法和语义特征，并通过统计验证证明了语言在独立于文本长度的情况下显著影响这些特征，从而为跨语言和计算语言学研究提供了一个强大的资源。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
语言常被描述为规则的集合，但对计算机而言，它是一片模式的景观。几十年来，语言学家一直试图通过人工方式绘制这些模式，编纂不同语言如何构建句子或其词汇量如何变化的记录。这些人工绘制的地图虽然具有价值，但制作缓慢，且往往会遗漏人类实际写作中那种微妙而连续的流动感。近年来，强大的计算机程序已经出现，它们能够阅读文本并将其转化为数学形状，以一种人类难以直观察觉的方式捕捉句子的“感觉”。这种新方法让研究人员不仅能通过词典定义，还能通过数百万个单词背后留下的深层统计指纹来比较语言。问题依然存在：这些数字指纹是揭示了语言在本质上的不同，还是仅仅是相似主题下的各种变体？
昆士兰科技大学的一位研究人员已向回答这一问题迈出了重要一步，他们建立了一个包含五种主要语言（英语、中文、西班牙语、法语和德语）的大规模共享文本库。该团队并非依赖少数几个著名案例，而是收集了近 1,900 篇百科全书文章，并仔细选择了在五种语言中都出现的主题，如历史、科学和政治。为了确保比较的公平性，每篇文章都被裁剪至相同的长度，从而创造了一个公平的竞争环境，其中唯一的真实差异仅在于语言本身。随后，团队将每篇文章通过一个复杂的分析流程。他们统计了独特单词出现的次数，测量了单词重复出现的频率，并追踪了句子中单词与其所依赖单词之间的距离。他们还使用了一种现代人工智能工具，将每篇文章前二十句的含义转换为一长串数字，从而为文本的语义内容创建了一个独特的数字签名。
这些比较的结果令人震惊。当研究人员将所有这些特征整合在一起进行绘图时，语言本身被证明是塑造数据的最强力量。它解释了整个文章集中超过三分之一的差异。相比之下，文本的长度或寻找文章的具体方法对整体模式几乎没有影响。这证实了每种语言独特的“声音”是一种稳健的特征，即使在主题和长度保持不变的情况下依然存在。分析显示，中文与其他语言截然不同，形成了一个独立的组别，而欧洲语言则聚集得更为紧密。英语和西班牙语被发现是最相似的一对，拥有最接近的统计特征。
这项研究还揭示了语言结构与意义之间深层的联系。研究人员发现，句子中单词的距离与它们在数字空间中含义的距离之间存在明确的联系。这表明，一种语言排列单词的方式并非随机，而是与其表达的概念紧密交织在一起。虽然目前的数据集仅限于这五种语言并依赖于百科全书式的写作，但它为未来的工作提供了一个可靠且可复现的基础。它提供了一种测试计算机程序理解不同语言能力的全新方式，并帮助科学家预测语言可能如何演变或相互关联。通过将人类言语的复杂性转化为清晰、可衡量的地图，这项工作让我们能够以一种此前无法实现的精度，观察语言隐藏的架构。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。