Operationalizing Linguistic Methods through Prompt-Engineering Skills: An Automatic Chinese Web Neologism Detection Pipeline
本文提出了一种用于检测中文网络新词的自动流水线，该流水线将传统的语言学原则转化为提示工程技能，在实现大规模语料库高覆盖率的同时，通过一种新颖的条件召回分解分析，识别出候选生成与语义分类是其中的关键瓶颈。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图寻找中国互联网上新近诞生的、时髦的网络流行语。这就像是在一片浩瀚而浑浊的海洋中捕鱼，水里充满了旧有的、已知的鱼类、随机的碎片，以及一些你从未见过的崭新且闪亮的生物。
这篇论文描述了一个专门设计的四阶段“捕鱼网”，旨在自动捕捉这些新的“网络鱼”（新词），而无需人类去查看每一件碎片。
以下是该过程的工作原理，使用了简单的类比：
大局观：将规则转化为“技能”
传统上，语言学家编写书籍来描述新词是如何产生的（例如，如何通过组合两个词来创造一个新词）。但这些书只是描述；它们并不会告诉计算机如何去“做”这件事。
作者们将这些语言学规则转化为了人工智能（大语言模型）的**“技能”**。你可以把它想象成给一个非常聪明但思维刻板的实习生一份具体的清单和一套示例，而不是仅仅对他说：“帮我找新词。”
四阶段流水线
第一阶段：大网（候选词生成）
团队从一个拥有 2.67 亿份中文网页文档的庞大库中开始。他们并没有使用标准的词典来切分文本，而是直接抓取了所有频繁出现的 2、3 或 4 个字符的可能组合。
- 结果： 他们捞起了一桶包含 120 万个潜在候选词的“原始渔获”。这是“原始捕获量”。
第二阶段：词典检查与“胶水测试”（预过滤）
- 词典检查： 他们检查了这些词是否已存在于 2005 年的标准中文词典中。如果存在，则将其剔除（因为它们不是“新”词）。
- 胶水测试 (PMI)： 他们使用了一种数学测试，观察候选词中的字符是否紧密地“粘连”在一起。例如，“社”和“死”结合得很好，构成了“社死”（一个新概念）；但像“苹果”和“云”这样的随机字符结合在一起时，连接感就很弱。如果“胶水”不够强，该候选词就会被丢弃。
- 结果： 桶里的容量缩减至 78.3 万个候选词。
第三阶段：语法建筑师（构词法完备性技能）
这是 AI 获得第一个“技能”的地方。AI 会观察剩余的候选词并询问：“这看起来像是一个真实的中文词汇结构吗？”
- 它会检查该词是否遵循诸如“形容词 + 名词”或“动词 + 宾语”之类的规则。
- 它并不关心 AI 是否曾经“听过”这个词，它只关心其结构是否合理。
- 结果： 桶里的容量缩减至 22.6 万个结构合理的候选词。
第四阶段：最终裁判（三分类法）
这一阶段分为两步，以决定这个词究竟是什么：
- 4A（规则过滤器）： 一个基于规则的简单过滤器快速剔除明显的垃圾信息（例如，以“the”开头或以介词结尾导致听起来像句子片段的词）。
- 4B（AI 裁判）： AI 使用第二个“技能”做出最终裁决。它必须在三个选项中做出选择：
- 新词 (Neologism)： 一个全新的、有效的流行语。
- 实体 (Entity)： 人名、地名或事物名（不是新词）。
- 无 (None)： 仅仅是随机的噪音或现有的短语。
- 结果： 最终的桶中包含 226,959 个分类项目，其中包括 4,853 个确认的新词。
“X 射线”评估：寻找漏洞
作者们不仅是说“我们找到了 4,853 个词！”，他们还想知道自己到底在哪里丢失了那些本该找到的词。他们使用了一种称为条件召回分解 (conditional recall decomposition) 的特殊“X 射线”方法。
想象一下你有一个漏水的桶，上面有五个洞。他们不仅测量最后剩下了多少水，还测量了在每一个特定洞口流失了多少水。
研究发现：
- 两个大漏洞： 他们发现，大多数“新词”都丢失在了最开始（第一阶段，因为初始网的覆盖范围不够宽）和最后阶段（4B 阶段，因为 AI 在判断一个词究竟是真正的“新词”还是已知的“实体”时遇到了困难）。
- 长度问题： 他们发现了一个基于词长的有趣模式：
- AI 在检查 2、3 或 4 个字符的词在结构上是否正确方面表现出色（几乎通过了所有测试）。
- 然而，当词变得更长时，AI 在判断它们是否为“新词”方面的表现就变差了。它擅长识别新的 2 字符词，但对于 4 字符词，其准确率显著下降。
核心结论
这篇论文证明了你可以将传统的语言学规则转化为现代 AI 的“技能”，从而自动寻找新词。他们发布了包含 4,853 个新词的列表及其“X 射线”测试方法作为公开资源。
然而，他们也发现了一个界限：虽然 AI 在检查一个词是否“看起来像个词”方面表现卓越，但在处理更难的任务——即判断该词是否真正“新颖”时，仍然显得有些吃力，尤其是在处理长且复杂的词汇时。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。