“Just do register analysis”, they said. “It’ll be easy”, they said: Evaluating the impact of lexico-grammatical tagging systems on multidimensional analysis
本研究系统地评估了五种用于多维分析的开源词汇语法标注系统，结果表明，尽管这些系统能够成功复制通用的语域区分，但由于特征操作化的不一致，而非底层自然语言处理流水线的差异，导致其生成的维度得分存在显著差异。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
将语言想象成一座巨大而繁忙的城市。每当我们说话或写作时，我们都在穿梭于不同的街区：有的像是充满闲聊的热闹集市（对话），有的像是充满事实的安静图书馆（学术写作），或者是一个戏剧性的舞台剧（小说）。语言学家长期以来一直希望绘制这些街区的地图，以了解它们的独特之处。为了实现这一目标，他们使用了一种强大的工具，称为“多维分析”（MDA）。你可以把 MDA 想象成一个高科技 GPS，它不仅仅观察单个词汇，还通过统计数百个微小的线索来衡量文本的“氛围”——比如使用了多少缩写、人们说“我”或“你”的频率有多高，或者出现了多少长而复杂的句子。这些线索被归类为“维度”，它们就像地图上的隐形轴线。其中一个轴线可能衡量一段文本是多么“爱聊天且具有参与感”，而另一个轴线则衡量它在多大程度上是“事实性的且疏离的”。
几十年来，研究人员一直依赖一种被称为“Biber Tagger”的特定且传奇的工具来统计这些线索。它就像是这座城市里每个人都在使用的原始且值得信赖的指南针。但问题在于：那个原始的指南针被锁在保险库里；没有人能看到它的运作方式，也无法直接使用它。因此，一群聪明的工程师建造了自己的开源版本的指南针，让每个人都能参与绘图游戏。但一个大问题仍然存在：这些新的指南针指向的方向是否与原始指南针完全一致？如果两名探险家使用不同的地图，他们会到达同一个街区，还是其中一人会在不同的部分迷路？这正是来自埃尔朗根-纽伦堡大学的一个研究小组试图解决的谜题。
研究人员决定对五种这样的“Bibber 式”工具进行测试。他们选取了一组大量的 19 世纪英国小说——特别关注了角色之间互相交谈的闲聊部分（对话）与作者讲述故事的部分（叙述）之间的差异。他们知道“原始”指南针已经显示出，对话通常是非常“具有参与感”和对话性的，而叙述则更具“信息性”和描述性。该团队运行了五种不同的开源工具来处理同一段文本：MAT、pseudobibeR、pybiber、BiberPlus 和 Biberpy。他们想看看这些工具是否会在地图布局上达成一致，还是会画出完全不同的城市。
结果呈现出一种“基本一致但需警惕异常值”的状态。首先是好消息：几乎所有的工具都成功找到了相同的大格局。它们都同意对话是爱聊天的，而叙述是事实性的。城市的总体轮廓保持不变。然而，当研究人员观察精确的坐标（即地图上的具体数字）时，他们发现这些工具并不总是对细节达成一致。一些工具，如 MAT 和 pybiber，产生的测量结果与原始工具非常接近。而另一些工具，如 Biberpy，则表现得有些狂野；它们将文本放置在距离原始指南针所处位置出奇之远的地方。
为什么会发生这种情况？研究人员深入挖掘了这些工具的“引擎室”以寻找罪魁祸主。他们发现，差异通常不是由底层的技术（例如工具用来理解语法的特定语言模型）引起的。问题在于这些工具统计特定事物的方式。事实证明，一些棘手的特征被统计的方式不同。例如，一个工具可能会以某种方式统计特定的问号或奇怪的句子结构，从而导致数值飙升，破坏最终得分。这就像如果一位地图绘制者决定把路面上每一颗小石子都当作“建筑”来计数，而另一位只计算摩天大楼；那么即使城市本身没有改变，建筑物的总数看起来也会完全不同。
该研究还检查了这些工具的速度。研究人员发现，使用现代技术（使用 Python）构建的工具通常很快，特别是如果你有一台带有图形处理器（GPU）辅助的高性能计算机时。MAT 工具稍慢一些，因为它需要人类点击按钮，而其他工具则可以自动运行。有趣的是，使用更“聪明”或更复杂的语言模型并不一定会让最终的地图更准确；它只会让绘图过程耗时更长。
最后，论文指出，虽然这些新工具很出色且大多可靠，但它们并不是原始工具的完美复制品。如果你想将你的新发现与使用原始“Biber Tagger”的旧研究进行直接比较，必须非常小心。你可能需要调整你的设置或过滤掉罕见词汇，以使数字能够对齐。研究人员警告说，某些工具（如 Biberpy）目前可能过于不同，不适合直接进行比较。他们还建议，该领域的未来在于提高这些工具的灵活性，允许研究人员精确选择他们想要如何统计事物，甚至可能开发出能够绘制英语以外语言的工具。语言之城广袤无垠，虽然我们拥有许多新的指南针，但我们仍需确保它们都能指向同一个北方。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。