Efficient Candidate Discovery for Chinese Domain Lexicon Construction via Recursive Lexical Combination
本文提出了递归词汇组合（RLC），这是一种语料库驱动的方法，通过递归扩展词汇单元来显著缩小候选搜索空间，同时保持对新兴术语的高召回率，从而高效地构建中文领域词典，并在国家级数据资产政策文本的验证中证明了其有效性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代研究的广阔领域中，学者们正日益将文本本身视为一种主要的数据来源。无论是分析企业报告、政府政策还是新闻文章，其目标通常是从非结构化的句子中提取隐藏的特定含义。为了有效地实现这一目标，研究人员依赖于被称为“领域词典”的专业词表，这些词表充当了过滤器，用以识别特定领域中至关重要的精确词汇和短语。然而，语言是流动的，尤其是在像数据经济这样快速发展的领域。新概念不断涌现，且往往以标准词典尚未记录的词语组合形式出现。挑战在于如何在不淹没在无关词组海洋中的情况下找到这些新术语。如果计算机试图列出所有可能的单词组合方式，它会产生海量的候选词，其中大部分都是毫无意义的。如果它过度依赖现有列表，又会完全错过这些新思想。
来自中国地质大学（北京）和对外经济贸易大学的研究团队提出了一种应对这一问题的新方法。他们将研究重点放在了关于数据资产的中国政策文本上，这是一个新术语每天都在涌现的领域。他们没有去猜测哪些词可能重要，也没有尝试列出所有可能的组合，而是开发了一种被称为“递归词汇组合”（Recursive Lexical Combination）的方法。这种方法将文本视为一系列构建模块。它从简短、常见的词对开始，并提出了一个简单的问题：这种特定的组合在文中出现的频率是否足够高，以至于值得进一步扩展？如果答案是肯定的，该方法就会在右侧添加下一个词并再次检查。如果该组合变得稀少或消失，该路径的进程就会立即停止。这起到了过滤器的作用，在这些候选词成长为冗长、混乱的字符串之前，就将其剪枝剔除。
研究人员在一组国家级政策文件中测试了这种方法。他们将这种新方法与两种传统策略进行了对比：一种是仅将文本与已知术语的固定列表进行匹配，另一种是盲目生成所有可能的连续词组合。结果显示，新方法成功地将潜在候选词的列表缩减了一半以上，将类型数量从超过 35,000 个减少到约 15,000 个。尽管有如此显著的减少，该方法仍捕捉到了测试文档中约 80% 的真实重要术语。至关重要的是，它发现了原固定列表中缺失的近 80% 的新术语，证明了它可以在无需预先知晓的情况下发现新兴概念。
研究强调，这种剪枝的效率取决于术语的长度。对于短小的两个词组合，该方法保留了所有可能性，确保没有遗漏。随着术语变长，该方法变得更加具有选择性，剔除了更多的候选词。虽然这意味着一些非常长且罕见的术语未能被发现，但这种权衡换来了一个更小、更易于人类专家审查的清单。在计算机生成这个精炼后的列表后，人类专家会对剩余的候选词进行审查，以确认其含义和相关性。最后这一步显著提升了结果的准确性，将一份粗略的可能性清单转变为可靠的词典。
研究结果表明，对于语言变化迅速的领域，最好的方法不是仅仅依赖现有知识，也不是试图一次性处理所有内容。相反，一种混合工作流效果最好：利用文本本身来引导新组合的发现，在证据不足时及早停止搜索，然后由人类判断来最终确定列表。这一过程使得研究人员能够构建出既能捕捉新思想，又具备实用性的词典。研究证实，通过将寻找候选词的任务与验证其含义的任务分离，可以构建出既高效又能适应专业语言演变特性的领域词典。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。