Exploring Functional Shifts in Pos Tagging Across Various NLP Libraries: A Study of NLTK, spaCy and Textblob
本研究比较了 NLTK、TextBlob 和 spaCy 在处理由功能转换引起的花园路径句中的表现，发现 spaCy 在句法准确性方面显著优于其他两个库，并为改进包括针对非洲语言的 NLP 工具在内的工具提供了见解。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在教一个机器人读一本故事书。你希望它不仅能理解文字，还能理解这些词在句子中是如何表现的。比如，“run”是一个要求快速移动的指令，还是一个描述长时间段的名词？在计算机科学领域，这项工作被称为词性标注（Part-of-Speech tagging，简称 POS tagging）。这就像是一个数字荧光笔，为句子中的每个词涂上颜色，以显示它是名词、动词、形容词还是其他词性。对于我们人类来说，这似乎很简单，但对于计算机而言，当单词在句子中途变换“服装”时，事情就会变得棘手。这被称为功能转换（functional shift）。把它想象成一个演员，在一场戏中开始时扮演国王，然后突然戴上厨师帽开始做饭，而名字却完全没变。计算机必须根据周围的其他词来猜测这个新的角色。
更棘手的是花园路径句（garden path sentences）。这些句子会引导你的思维走上一条“花园小径”，让你以为是这样，结果最后却让你跌了一跤。例如，“The old man the boat”（老人操纵着船）。你的大脑想把“old man”读作一个人，但这句话实际上是指“老年人操作这艘船”。在这里，“man”是一个动词，而不是名词！如果计算机被这些转折搞糊涂了，它可能会误解整个故事，这对于翻译应用或搜索引擎等工具来说是一个大问题。因此，科学家们一直在测试不同的计算机程序，看看哪一个最擅长发现这些狡猾的词汇变化。
在这项研究中，一位名叫 Kayode Victor Amusan 的研究人员决定对三个流行的计算机程序——NLTK、TextBlob 和 SpaCy——进行测试。把这三个程序想象成语言课上的三个不同学生。老师（研究员）给了他们一叠由 56 个棘手的句子组成的题目，旨在迷惑他们。这些句子包括花园路径谜题、被转化为名词的词（比如将“singing”变成一种行为），以及改变位置从而改变含义的词。目标很简单：看哪个学生能正确识别出句子中每个词所扮演的角色。
结果有点像一场比赛，其中一名选手明显领先。在 56 个棘手的句子中，SpaCy 正确完成了 32 个。NLTK 和 TextBlob 并列第二，但它们各自只答对了 21 个句子。这意味着 SpaCy 在理解复杂句子中单词的“服装变化”方面明显更胜一筹。
研究仔细观察了具体的例子，以了解这些程序在哪里跌了跟头。例如，拿“round”这个词来说。它可以是一个圆圈（名词），一个形状（形容词），一个表示旋转的动词，或者一个表示环绕运动的副词。在像“The earth turns round once”这样的句子中，SpaCy 正确地将“round”识别为副词。然而，NLTK 和 TextBlob 则产生了混淆，将其标记为名词。同样，对于“that”这个词，它可以是代词、连词或形容词，SpaCy 展示了它几乎能在任何语境下区分其差异，而另外两个库经常出错。
研究人员发现，虽然这三个程序在处理最令人困惑的花园路径句（如“The complex houses married and single students”）时都表现挣扎，但 SpaCy 仍然比其他程序做得更多。例如，在一个“houses”实际上是动词（意为“提供住所”）的句子中，SpaCy 更容易捕捉到它不是一座建筑。研究表明，虽然 NLTK 和 TextBlob 适用于常规任务，但当语言变得复杂且单词开始变换角色时，SpaCy 是更强大的工具。
论文并未声称 SpaCy 是完美的，也没有说问题已经得到解决。事实上，它指出即使是 SpaCy 在 56 个句子中也答错了 24 个。它仅仅是建议，如果你需要计算机处理那些棘手、曲折的句子，SpaCy 是目前这三者中最可靠的选择。研究人员希望这些信息能帮助教师、学生和其他科学家构建更好的语言理解工具，甚至可能有助于未来的程序像理解其他语言一样轻松地学习非洲语言。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。