Named Entity Recognition for Pre-Modern Serbian Cyrillic: Using Transformer-Based Models and Generative Data Augmentation
本文表明，通过生成式数据增强对基于 Transformer 的模型（特别是 XLM-RoBERTa）进行微调，可以显著提高针对低资源前现代塞尔维亚西里尔文文本的命名实体识别性能与泛化能力，实现了约 0.92 的领域内 F1 分数，并为更广泛的历史研究确立了一个使用 50% 合成数据训练的推荐模型。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在数字历史的寂静角落，一个被称为自然语言处理的计算机科学专业分支正致力于让机器能够读懂过去。这一领域教导计算机理解人类语言，不仅将其视为一串单词，更将其视为一个特定的名称——人名、地名和群体——都承载着独特意义的结构化系统。对于现代语言而言，这项任务已变得异常精准，使得软件能够瞬间扫描新闻文章或社交媒体动态，并提取出每一个特定城市或人物的提及。然而，当面对历史文献时，同样的技术却显得力不从心。这些文献往往使用在日常言语中已经消失的拼写和语法，且其存在量远少于现代写作。当语言变得稀有且数据匮乏时，那些擅长处理今日新闻的计算机往往会在数百年前的词汇面前跌跌撞撞。这为希望利用数字工具探索其馆藏的历史学家和档案管理员制造了障碍，因为软件无法可靠地将国王的名字与中世纪特许状中的普通名词区分开来。
一支研究团队致力于通过教导先进的计算机模型来识别前现代塞尔维亚西里尔字母文本，从而填补这一鸿沟。他们专注于一个特定的挑战：如何使这些模型足够鲁棒，以处理它们从未见过的文档——这些文档在拼写、风格或时代上可能与训练样本有所不同。为此，他们采用了名为“生成式数据增强”的技术。研究人员并没有等待历史学家手动标注数千份新文档（这是一个缓慢且昂贵的流程），而是要求一个强大的人工智能编写新的、合成的训练示例。他们引导这个人工智能去模仿中世纪特许状和法律文件的风格，创造出数千个看起来并听起来都像真实文献的虚假句子，并附带了正确的姓名和地点标签。随后，他们测试了两种不同类型的现代语言模型——一种是针对该地区的专业模型，另一种是经过多种语言训练的模型——以观察哪种模型能更好地从这种真实与合成数据的混合物中学习。
研究人员首先收集了一组真实的中世纪文献，包括十四世纪的皇家特许状和信件。这些文本由人类专家进行了仔细的标注，专家们标记了每一个出现的姓名、地点或对特定群体的引用。这个原始收藏规模很小，仅包含三千多个句子，对于训练一个复杂的计算机模型来说，这属于材料有限。为了扩展这一基础，团队使用生成式人工智能系统创建了遵循原始文本模式的新句子。他们制作了三个不同版本的训练数据：其中一个版本中合成句子占总量的百分之三十，另一个版本中占比百分之五十，第三个版本则使合成示例的数量翻倍至原始数据集的大小。这使他们能够测试：即使某些例子是人工生成的，向计算机喂入更多的示例是否会有助于它更好地理解历史语言的细微差别。
当研究团队将这些模型应用于与其训练类型相同的文档时，结果令人印象深刻。使用真实与合成数据混合训练的模型，特别是包含百分之三十合成示例的版本，达到了极高的准确度，在绝大多数情况下都能正确识别姓名和地点。其表现显著优于一种依赖于不同数学结构的旧式计算机模型。然而，真正的考验在于研究人员要求模型阅读完全陌生的历史文献，即那些未包含在训练集中的文档。这些新文本包括一份1500年的遗嘱、一份1778年写于维也纳教堂的手稿，以及一组来自十四世纪中叶的皇家特许状。这些文档代表了不同的时代和写作风格，迫使模型去证明它们是真的学会了语言，还是仅仅记住了训练样本。
结果表明，基于合成数据训练的模型比旧系统具有更强的适应性。使用百分之五十合成数据的模型被证明在所有新文档中最为可靠，即使面对最古老且风格迥异的文本，也能保持高水平的准确度。虽然使用百分之三十合成数据训练的模型在熟悉文本上的表现略好，但百分之五十的版本在处理陌生文本时表现得更为一致。这表明，添加适量的合成示例有助于计算机建立更灵活的理解，使其即使在拼写或语境发生变化时也能识别模式。研究人员发现，由于人名在训练数据中频繁出现，模型在识别人名方面表现尤为出色，但在处理较为罕见且多变的地点名称和群体引用时仍略显吃力。
研究结论指出，生成合成示例是教导计算机阅读历史文本的一种强大工具，但它并非解决一切问题的万灵药。合成数据的量至关重要：过少可能帮助有限，而过多则可能引入干扰信息从而使模型产生困惑。最佳结果来自于一种平衡的方法，即合成数据在补充真实历史记录的同时，不会使其失去重心。通过将训练好的模型及其使用的数据向公众开放，研究人员为数字人文领域提供了一个新工具。这项工作证明，通过将历史专业知识与现代人工智能进行正确的结合，我们可以开始解锁隐藏在数百年手写文献中的姓名与地点，使过去对学者及广大公众而言变得更加触手可及。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。