OCR-Based Field Extraction for Archaeological Pottery Metadata: The CENTURIA Dataset
本文介绍了包含 507 条手写罗马陶器记录的数据集 CENTURIA，并证明了通过仅使用 57 个标注样本对最先进的 OCR 模型进行微调，可以有效地弥合领域差距，将难以获取的档案元数据转化为高准确度的结构化、可搜索数据。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
历史常通过人们留下的遗物向我们诉说，但对于考古学家而言，最关键的线索往往就隐藏在他们自己的档案之中。陶器碎片——那些散落在古代遗址各处的残片——是研究人员了解过去社会日常生活、贸易路线和时间线的主要方式。由于陶土比几乎任何其他物质都能更好地抵御火力和时间的侵蚀，这些碎片成为了通往过去的通用语言。然而，它们所讲述的故事往往被锁在一种计算机无法读取的格式中。几十年来，考古学家一直通过手工记录这些发现：绘制破碎陶器的形状，并将细节记录在笔记本或卡片上。这些手写笔记包含了核心数据：碎片的发现地点、陶器类型以及尺寸大小。虽然物理草图可能会被扫描进电脑，但手写文本仍然只是图像，对于那些旨在帮助历史学家跨越数千年建立联系的搜索引擎和数据库来说，这些信息是不可见的。
挑战在于如何教会计算机阅读这些特定的、凌乱的笔记。与印刷书籍或打字文档不同，这些考古记录充满了独特的缩写、奇怪的符号以及因人而异的笔迹。笔记往往散落在页面各处，没有明确的阅读顺序，且墨迹可能已经褪色或被涂改。长期以来，使这些信息对现代研究发挥作用的唯一方法是雇佣人员将每一条笔记手动输入电脑，这是一个缓慢且昂贵的流程，导致大量的历史收藏处于无法被检索的状态。研究人员面临的问题是：现代人工智能是否能够自主学习阅读这些困难的手写档案，从而将一张静态的草图图像转化为一份可搜索的事实列表。
来自维也纳技术大学和奥地利考古研究所的一个研究小组致力于通过开发一种新工具和一种新技术测试来解决这一问题。他们将重点放在了卡伦图姆（Carnuntum）的大量陶器记录上，这是一个位于现今奥地利境内的主要罗马定居点。仅这一个遗址就拥有约7万份模拟记录，这是一座此前在计算机层面基本无法被检索的历史宝库。该团队收集了507份此类手写记录，构建了一个名为 CENTURIA 的数据集。该集合中的每条记录都经过人类专家的仔细检查和标注，从而创建了一个完美的“标准答案”，供计算机学习。这个数据集包括了原始扫描件、由人类书写的正确文本，以及一张结构化的地图，清晰地展示了文本的每一部分属于哪个类别，例如发现地点或陶器类型。
随后，研究人员测试了五种不同的人工智能模型，以观察它们在没有任何帮助的情况下能否阅读这些文档。这些模型是用于阅读其他领域手写内容的同类技术，但当团队让它们在没有任何训练的情况下处理这些陶器记录时，结果却很糟糕。计算机在几乎每一条记录中都犯了错误，对字母和数字的误读如此严重，以至于无法提取出正确的信息。错误率之高，使得机器本质上是在瞎猜，无法识别考古学家日常使用的特定缩写和符号。这证实了仅仅应用现有技术是不够的；计算机需要学习考古学家所使用的特定语言。
为了解决这个问题，团队尝试了一种称为“微调”（fine-tuning）的方法，这就像是给计算机上一门关于特定学科的短期强化课程。他们并没有向机器展示成千上万个例子（这需要耗费数年时间去创建），而是仅展示了57个已经过人工修正的陶器记录样本。他们微调了计算机的内部设置，以帮助其理解这些档案中独特的笔迹和缩写。变化是巨大的。经过这次短暂的训练，模型不再盲目猜测，而是开始高精度地阅读。错误率从30%以上降至不到2%。计算机现在可以以接近90%的成功率正确识别发现地点、陶器类型和测量数据。
这项研究还探讨了如何使这一过程达到足以投入实际应用的可靠程度。由于计算机并不完美，研究人员开发了一种系统，让两个不同的模型阅读同一份文档并对比它们的答案。如果两个模型对某项信息达成一致，系统就会接受其为正确。这种简单的检查机制使得团队能够自动信任超过一半的文档结果，同时将少数困难案例标记出来交由人工审核。这种方法意味着，一小支专家团队现在可以用极短的时间处理庞大的档案，其效率远高于手动处理。研究人员发现，只需投入极少量的专家时间来创建初始训练样本，他们就能解锁数十年的手写记录。
研究结果表明，数字化这些档案的障碍不在于技术的匮乏，而在于缺乏特定的训练数据。通过证明仅需一小组精心策划的示例就足以教会计算机如何阅读这些专业笔记，研究人员为全球范围内的档案数字化打开了大门。CENTURIA 数据集及本研究开发的方案，为将堆积如山的旧手写草图转化为动态、可搜索的数据库提供了蓝图。这意味着历史学家很快就能提出关于过去的复杂问题，例如陶器风格如何随时间演变或贸易路线如何转移，并通过搜索那些此前被锁在墨水和纸张中的数百万条记录来获取答案。这项工作证明，只要方法得当，隐藏在过去手写文字中的故事，终将被未来的机器所倾听。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。