Leveraging External Knowledge for Historical Document Restoration via Retrieval-Augmented Large Language Models
本文介绍了 ARI，这是一个检索增强型大语言模型框架，通过将预训练大语言模型的知识与显式检索的外部上下文相结合，显著提升了历史文献（尤其是命名实体）的修复效果。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名试图破解谜团的侦探，但你唯一的线索是一页被水浸损、破旧不堪的 400 年前的日记。墨迹已经褪色，纸张破损，大量的文本缺失，取而代之的是空白的正方形区域。这正是历史学家阅读古代文献时的日常现实。几个世纪以来，这些记录一直是理解过去的唯一途径，但时间、湿度和粗心的抄写员使它们几乎变得无法阅读。为了解决这个问题，科学家们正在教计算机扮演“超级聪明猜谜者”的角色。他们使用一种叫做“掩码语言建模”（Masked Language Modeling）的技术，这就像是在玩一场高风险的“填空游戏”。计算机观察缺失部分周围的词汇，并尝试根据当前的句子猜测最合适的词。
然而，这里有一个陷阱。有时，缺失的词不仅仅是一个像“跑”或“吃”这样的常见动词。它可能是一个特定的人物姓名、一个罕见的地名，或者是一个只有当你了解整个世界历史时才能理解其含义的头衔。一个仅根据即时语境进行猜测的计算机可能会猜出“国王”，但实际答案可能是“世宗大王”，因为它脑子里没有完整的百科全书。这就是论文提出的一个简单但强大的问题：如果我们的侦探不仅盯着破损的页面看，而是身边还放着一座巨大的图书馆来查阅答案呢？
这项研究背后的研究人员在处理包括《朝鲜王朝实录》在内的韩国历史档案时，决定构建一种新型的侦探工具，名为 ARI（档案修复智能，Archive Restoration Intelligence）。他们意识到，虽然标准的计算机模型擅长猜测常用词，但在尝试恢复特定的名称和地点时经常会出错，因为它们缺乏“外部知识”。为了解决这个问题，团队结合了两个强大的理念：大语言模型（LLMs）——即那些读过互联网上几乎所有内容的 AI 系统，拥有深层的、内化的历史感；以及检索增强生成（RAG）。把 RAG 想象成给 AI 提供了一份“小抄”或一个搜索引擎。与其仅仅凭记忆进行猜测，AI 被允许搜索海量的其他历史文献，以寻找相似的句子并将其作为线索。
团队在数千份受损的韩国文献上测试了这个想法。他们发现，仅仅让 AI “思考”得更深入或使用其内部记忆是不够的，尤其是在处理那些棘手的部分时。但是，当他们赋予 AI 搜索相关历史记录（检索）的能力，并对其进行针对该特定任务的微调后，结果令人印象深刻。他们的新模型 ARI 显著优于现有方法，尤其是在恢复最困难的部分时：如人名、地点和日期等命名实体。事实上，当人类专家测试结果时，他们更倾向于 ARI 的建议，认为它比其他顶尖模型是一个更可靠的伙伴，能协助破译过去。
研究还表明，当 AI 能够看到所属时代的“语境”（例如知道当时哪位国王在位）以及当它能找到与受损文档非常相似的文档时，效果最好。然而，研究人员指出，如果 AI 训练数据与它试图修复的文档之间的时间跨度过大（例如试图用 18 世纪的书籍去修复 12 世纪的文本），准确率会略有下降。这表明，尽管这个工具很强大，但仍需要与正确的历史时代进行仔细匹配。最终，论文表明，通过将 AI 的大脑力量与数字图书馆相结合，我们终于可以读懂那些无法阅读的内容，将空白的正方形重新转化为鲜活的历史故事。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。