Wiktionary as a Crowdsourced Lexicon for English Dialects
本文通过描述性分析和社交媒体数据，评估了维基词典作为英语方言伦理化众包词典的价值，证明其在区域变体方面的覆盖范围达到或超过了诸如《牛津英语词典》之类的传统词典，同时也强调了方言响应型语言资源中所存在的宏观挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
语言并非一个单一、坚实的整体；它是一片变化的景观，随着你所处位置的不同而不断移动和改变。一个在伦敦具有某种含义的词，在奥克兰可能意味着完全不同的意思，或者在孟买根本不存在。几十年来，那些绘制这些语言领土的人一直依赖于传统的词典——由专家团队编写的、耗时多年来决定哪些词汇足够重要而值得收录的书籍。但语言世界的变化速度超过了任何编辑团队的跟进能力，对于全球范围内使用的众多英语变体而言尤其如此。随着计算机和人工智能变得越来越普遍，人们越来越需要教会它们如何理解这些地方性的差异。如果一台计算机无法区分新西兰短语和美国短语，它就无法理解使用这些语言的人。这为技术的公平性带来了问题，因为仅基于标准英语构建的系统往往难以应对人们实际使用的丰富且多样化的表达方式。
为了解决这个问题，研究人员正在寻找能够同时具备广度且及时的语言数据采集新方法。一个极具前景的来源是维基词典（Wiktionary），这是一个任何人都可以编辑的免费在线词典。与由少数付费专家编写的传统书籍不同，维基词典是一个众包项目，由来自世界各地的志愿者添加条目、定义和示例。研究人员提出的问题简单却困难：这个开放的、由社区构建的词典，能否作为一个可靠的地图，来描绘多种英语方言？具体而言，他们想知道维基词典在涵盖区域性词汇方面是否能与著名的《牛津英语词典》相媲美，以及在维基词典中发现的词汇是否确实出现在人们在社交媒体上的真实对话中。
研究人员首先将维基词典的内容与《牛津英语词典》进行了对比，涵盖了十二种不同的国家英语变体，从广为人知的英式英语和美式英语，到印度、肯尼亚和菲律宾等地的英语变体。他们发现，虽然传统词典在标准美式英语和英式英语的规模上仍保持着微弱优势，但维基词典在许多其他地区实际上覆盖了更广的范围。对于加拿大、爱尔兰和澳大利亚英语等变体，维基词典包含的条目明显多于传统词典。这种差异在英语属于非传统“核心圈”国家的国家中更为显著：传统词典对肯尼亚或巴基斯坦英语完全没有条目，而维基词典却拥有数百个此类变体的条目。这表明，这种由社区驱动的模型在捕捉那些专业编辑可能会忽略或尚未有时间收录的词汇方面，表现得非常出色。
为了测试这些词汇是否在现实世界中被使用，研究团队转向了社交媒体。他们查看了热门在线论坛 Reddit 上特定国家社区的数百万篇帖子和评论。他们将这些数字社区视为地理位置的代理，假设在纽西兰社区发帖的人很可能使用的是纽西兰英语。随后，他们检查了维基词典中针对每个国家列出的词汇是否频繁出现在相应的在线社区中。结果显示出强烈的关联性。当观察人们撰写的主贴时，维基词典中的词汇出现在了它们预期的位置。例如，特定于纽西兰的词汇最常出现在纽西兰社区，而代表印度的词汇则最常出现在印度社区。这种一致性表明，维基词典不仅仅是一个词汇列表，更是人们日常数字生活中语言使用情况的反映。
然而，研究也揭示了文本类型的重要性。当观察人们撰写的主贴时，词典与社交媒体数据之间的联系非常紧密，但当观察人们留下的评论时，这种联系变得弱得多。在评论区，语言更具对话性，并且经常与其他语言混合。例如，在纽西兰社区，一些看起来像是纽西兰英语的词汇，实际上是塔加洛语（菲律宾的一种语言）中的常用词，因为这两种语言拥有相似的拼写。这凸显了一个挑战：虽然词典很有用，但在快速、互动的对话中，人们使用语言的方式可能非常混乱，并受到多种因素的影响。研究人员发现，当文本更加正式或具有结构性（如主贴）时，词典的效果最好，而在评论区的快速往复对话中效果较差。
研究还仔细观察了单词是如何形成的。他们将维百科词典中发现的纽西兰英语新词类型与传统词典进行了比较。他们发现，在创造这些词汇的模式（例如将两个词组合在一起或稍微改变一个词的含义）方面，两者具有极高的一致性。这表明，尽管维基词典是由志愿者编写的，但他们构建条目的方式遵循着与专业语言学家相同的逻辑规则。研究人员指出，维基词典在收录短语和成语（即具有特定含义的词组）方面表现尤为出色，而这些内容在传统词典中经常缺失。这使得这种众包资源在理解语言色彩丰富、富有表现力的一面时显得尤为珍贵，而正式书籍有时会忽略这些部分。
最终，论文得出结论：维基词典是理解英语方言的一个强大且可行的工具，特别是对于那些在语言技术领域历史上代表性不足的地区。它并不取代对专业词典的需求，而是通过提供一个更快、更具包容性且更及时的语言演变视图来补充它们。研究人员提醒说，使用这些数据需要谨慎，特别是在处理不同语言可能混合或语境改变词义的在线对话时。但对于构建能够为所有人（而非仅仅为大多数人）服务的公平且准确的语言工具这一目标而言，这个开放的、由社区构建的词典提供了关键的一块拼图。它表明，当人们聚集在一起记录自己的语言时，他们创造出的资源既具有深刻的准确性，又具有卓越的广泛性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。